Tag Archives: ArcGIS Content

ArcGIS Content, het nieuwe keukengereedschap

In mijn vorige blog schreef ik over een kijkje in onze keuken. Over hoe we in 5 jaar tijd zijn gegroeid van een Nederlandse topografische basiskaart naar een breed pallet aan content en alle technologische uitdagingen die daarbij komen kijken. Maar we zitten niet stil, het aanbod blijft groeien en het gebruik neemt steeds meer toe. Dat betekent dat ons platform ook moet meegroeien. Als beheerder van de omgeving voor ArcGIS Content deel ik graag met jullie waar we nu en in de nabije toekomst aan werken: zeg maar het nieuwe keukengereedschap.

Het ‘DevOps-principe’

DevOps is een inkorting van Developers Operators en het houdt de samenwerking in tussen deze twee groepen. Maar belangrijker is de samenwerking tussen verschillende disciplines. Omdat het content-team een relatief klein team is, zijn de taken al multidisciplinair verdeeld tussen de medewerkers. Nu is het beheer daar ook in opgenomen en werk ik nauw samen met de content engineers, zodat we elkaars werk goed begrijpen en elkaars keuzes kunnen begrijpen en afstemmen. Dit heeft mij heel veel geholpen bij het ontwikkelen van scripts en snellere releases van de infrastructuur en content. Dit principe sluit ook heel goed aan bij het agile werken, iets wat we al geruime tijd gewend zijn om te doen.

Veranderingen: webcaching proxy

De architectuur voor ArcGIS Content verandert drastisch. De meest voor ons in het oog springende wijziging is de introductie van een webcaching proxy. In eerste instantie gaan de basiskaarten op specifieke proxyservers geplaatst worden, zodat de achterliggende servers worden ontlast. We hebben namelijk het punt bereikt dat een dedicated cache voor de basiskaarten efficiënter is dan steeds meer servers in te zetten, waar de caches ook gepubliceerd staan. De backend blijft uiteraard nog steeds ArcGIS en de webcaching proxy is niet meer dan een kopie van de cache van de ArcGIS-server. De REST-interface, het opvragen van de offline basiskaart-packages en dynamische mapservices blijven nog steeds het domein van ArcGIS. Echter, doe je als gebruiker een verzoek naar een plaatje van een basiskaart, dan komt dit verzoek nooit bij onze ArcGIS-server terecht, maar wordt direct door de webcache afgehandeld. Voor gebruikers overigens een wijziging waar niets van te merken is, alles blijft werken zoals het werkt en net zo snel als eerst. Wellicht zelfs iets sneller.

Een webcache is overigens pas interessant bij heel veel hits. Wij verwerken per dag meer dan vijf miljoen hits op alleen de basiskaarten. Voor deze basiskaarten zetten we nu al meerdere ArcGIS-servers in. Het inrichten en onderhouden van een webcache vergt veel kennis, tijd en extra computerkracht. Bij minder belasting is een webcache simpelweg niet rendabel en is out-of-the-box ArcGIS beter te gebruiken, of gewoon ArcGIS Online.

Veranderingen: automatisch ‘uitrollen’

Een andere belangrijke verandering in de infrastructuur is het automatisch ‘uitrollen’. We gebruiken hier een zogeheten end-state configuration tool voor. Wij geven in een configuratiebestand aan wat de beoogde configuratie is en deze programmatuur zorgt ervoor dat alle servers afgestemd worden op deze beoogde situatie. Dit heeft voor ons twee belangrijke voordelen. We kunnen zeer eenvoudig een kopie van onze omgeving inrichten voor testdoeleinden en we kunnen extra servers toevoegen als de belasting toeneemt. We weten via een dergelijke end-state configuration in elk geval zeker dat alle servers identiek aan elkaar zijn. Of het nu een loadbalancer, een ArcGIS-server of een webcache is.

Dit zijn mooie ontwikkelingen die technologisch gezien erg interessant zijn. Wie mij een beetje kent, weet dat ik urenlang kan doorpraten over dit werk en hoeveel plezier ik eraan beleef. Gelukkig houdt mijn werk na het inrichten van deze veranderingen niet op: we zijn bezig om het opslaan en verwerken van big data in de infrastructuur te verbeteren.

LinkedInFacebookTwitterDeel deze blogpost
Posted in Achter de schermen, Content | Tags: , , , | Plaats een reactie

ArcGIS Content, een kijkje in de keuken

Goede basisdata is het begin van een goed geografisch informatiesysteem. Vijf jaar geleden lanceerde Esri Nederland de eerste versie van de topografische basiskaart in het Rijksdriehoekstelsel. In navolging daarvan kwamen andere basiskaarten beschikbaar en werd belangrijke open data aangeboden, zoals de BAG, BGT, BRT, postcodevlakken en demografie. Hoe zag het er de afgelopen jaren achter de schermen eigenlijk uit? Als beheerder van de contentomgeving wil ik jullie graag een persoonlijke kijk geven in onze ‘contentkeuken’.

Het prille begin

We begonnen met een basisinrichting van ArcGIS Server. Een omgeving die in een extern datacentrum stond. Vanuit die omgeving boden we een aantal basiskaarten aan. De belangrijkste gebruikers waren ArcGIS Desktop-gebruikers; maximaal enkele miljoenen hits per maand. Een groot contrast met nu, met per dag meer dan 5 miljoen hits op alle ArcGIS Content-services.

In 2012 werd ArcGIS Online geïntroduceerd. Het gebruik van de basiskaarten nam daardoor toe, want ze waren beter vindbaar. We moesten daardoor de omgeving wel uitbreiden, maar de architectuur voldeed nog. In die tijd las ik ergens dat een goede beheerder zo min mogelijk te doen heeft (dan is tenslotte alles up-and-running). Dat was van toepassing op die tijd: het beheer was nog eenvoudig.

Wat er veranderde met het AHN

2014 was een omslagpunt: het Actueel Hoogtebestand Nederland (AHN) werd vrijgegeven. Dit betekende het einde van de eenvoud van onze ArcGIS Server-omgeving met alleen basiskaarten. De toevoeging van het AHN zou alle lucht uit de servers persen met grote risico’s op storingen.

Met de opgedane kennis uit het verleden gingen we terug naar de tekentafel. Betrouwbaarheid en snelheid waren het credo. In de praktijk betekende dit een veelvoud aan servers, alles redundant uitgevoerd en verspreid over twee datacenters. De infrastructuur was hiermee klaar om de groei in gebruik verder te blijven faciliteren.

Leren van de Esri ANP Verkiezingskaarten

Hoewel de nieuwe omgeving op verschillende scenario’s was voorbereid, volgde al snel een leerzaam traject: de verkiezingen. Een relatief eenvoudige kaart visualiseerde realtime per gemeente de verkiezingsuitslag. Veel nieuwssites plaatsten deze kaart, waarmee er direct een groot bereik was. Dit ging om duizenden hits per seconde. We moesten snel bijschalen… en nog meer bijschalen qua hardware. Een uitzonderlijke situatie, maar ook dan moet de kaart blijven werken.

Met alle ervaringen zijn we continu bezig om de contentomgeving te monitoren, slimmer in te richten en te automatiseren. Door de aanwezige redundantie in de infrastructuur is er altijd wel voldoende capaciteit. Zelfs als er een server uitvalt. Er vielen begin vorig jaar op één moment zelfs meerdere servers uit. Graafwerkzaamheden zorgden voor meerdere glasvezelkabelbreuken bij één van de datacentra. Wij weten van die situatie, maar gebruikers van onze kaarten hebben het nooit gemerkt.

Blijven groeien

We zitten niet stil. Dat kan ook niet, want elk jaar blijft het gebruik van ArcGIS Content verdubbelen. Als beheerder vind ik het fantastisch om bij te mogen dragen in het groeien van deze omgeving. De groei blijft onze verwachtingen overtreffen. Het contentteam zelf groeit ook mee, het aanbod groeit mee en de hoeveelheid gebruikers groeit mee.

Ik ben er trots op dat we een robuuste omgeving aanbieden, waarin we gebruikers kunnen faciliteren met een rijke hoeveelheid content en de uitval van servers gewoon kunnen opvangen. En achter de schermen werken we alweer aan de volgende uitbreiding van de back-end, zodat we de betrouwbaarheid en snelheid van ArcGIS Content blijven waarborgen.

Posted in ArcGIS, ArcGIS Online, Content, Support | Tags: , , , , , | Plaats een reactie

Vernieuwde topografische basiskaart, een kijkje in de keuken

ArcGIS Content is een volwaardig product binnen het ArcGIS-platform. Het huidige aanbod is zeer gevarieerd en bestaat onder andere uit Basisregistraties, Grenzen en plaatsen, Geocoderen en routeren, Hoogtegegevens, Demografie en lifestyle en nog veel meer.

Esri Nederland startte het leveren van content met de Topografische basiskaart in het Rijksdriekhoekstelsel (Topo RD). Er was en is een grote behoefte aan een topografische kaart in het Rijksdriehoekstelsel die naadloos gebruikt kan worden in het hele ArcGIS-platform. Dit blijkt onder meer uit het aantal tile requests op deze basiskaart. Op een gemiddelde werkdag zijn dit er nu al meer dan 4 miljoen.

Onlangs is de Topo RD in een nieuw jasje gestoken. Hierbij hebben we de kaart helemaal opnieuw samengesteld en gevisualiseerd. In dit blog licht ik de belangrijkste verschillen toe, maar graag ga ik eerst in op een vraag die ik laatst van een gebruiker kreeg: ‘Hoe maak je eigenlijk zo’n basiskaart?’.

Zoomniveaus
Bij elke goede basiskaart wordt er op verschillende zoomniveaus verschillende data getoond: wanneer je ver bent uitgezoomd wil je bijvoorbeeld geen fietspaden zien, als je diep gaat inzoomen juist wel. Bij (raster) basiskaarten wordt dit geregeld door verschillende zoomniveaus te hanteren en voor ieder zoomniveau een aparte kaart te maken. Voor de basiskaarten van Esri Nederland geldt, dat deze zich in deze context houden aan Praktijkrichtlijn Tiling 1.1 van Geonovum. Deze richtlijn hanteert 15 zoomniveaus en dus bestaat de Topo RD-basiskaart uit 15 logisch opeenvolgende, maar wel verschillende kaarten. De kaart die op het diepste niveau getoond wordt, wordt door middel van een resampling-techniek ook getoond op twee diepere niveaus. Hierdoor heeft de Topo RD-basiskaart dus eigenlijk 17 schaalniveaus.

Bij het maken van een kaart voor een bepaald zoomniveau, wordt eerst de primaire databron bepaald. Vervolgens wordt er gekeken wat er uit die databron wordt gebruikt. Mochten er zaken missen in de primaire databron, dan wordt er gekeken of er ook data uit andere bronnen toegevoegd kan worden.

Oude en vernieuwde Topografische basiskaart: de verschillen
De verschillen tussen de oude en de vernieuwde Topo RD zitten vooral in de gebruikte databronnen. Voor geen enkel zoomniveau is de primaire databron hetzelfde gebleven. Hieronder een overzicht.

tabel topo

Dat alle primaire databronnen gewijzigd zijn, zal een gemiddelde gebruiker van de basiskaart niet opvallen. Dit is het gevolg van het kiezen voor min of meer dezelfde opmaak. Zo is bijvoorbeeld de kleur voor hoofdwegen (grijs) hetzelfde gebleven en zijn ook de meeste labels op dezelfde manier opgemaakt. Toch zal de oplettende gebruiker wel gemerkt hebben dat de kaart is gewijzigd, omdat er op verschillende vlakken wel degelijk voor een andere opmaak is gekozen. Daarnaast zorgt de toevoeging van de AHN met een hillshade voor een heel ander beeld in reliëfrijke gebieden.

Benieuwd naar de belangrijkste verschillen? Neem dan eens een kijkje in de StoryMap:

topo

 

Een kijkje in de toekomst

De Topo RD is op dit moment beschikbaar als een basiskaart die is opgebouwd met raster tiles. In de toekomst krijgen wij de mogelijkheid om RD-basiskaarten ook aan te bieden via vector tiles. Vector tiles hebben als voordeel ten opzichte van raster tiles dat ze altijd scherp zijn, dynamische labels hebben, weinig opslag vereisen én dat de opmaak achteraf door de gebruiker is aan te passen. Er is ook een nadeel ten opzichte van raster tiles: complexere symbologie is, in elk geval voorlopig, niet mogelijk met vector tiles. De huidige basiskaarten van Esri Nederland die opgebouwd zijn op basis van raster tiles, blijven we daarom actualiseren en verder ontwikkelen. We kunnen daarom verwachten dat er tijdelijk twee typen van de Topografische basiskaart in RD naast elkaar zullen bestaan, waarbij u als gebruiker zelf kunt kiezen voor de meest geschikte variant voor elk proces.

Reageren op dit blog kan via content@esri.nl

Posted in ArcGIS, ArcGIS Online, Content, Esri | Tags: , , , | Plaats een reactie