Archief: Patrick Deelman

Patrick Deelman is engineer bij Esri Nederland

Recente Posts

ArcGIS Content, het nieuwe keukengereedschap

In mijn vorige blog schreef ik over een kijkje in onze keuken. Over hoe we in 5 jaar tijd zijn gegroeid van een Nederlandse topografische basiskaart naar een breed pallet aan content en alle technologische uitdagingen die daarbij komen kijken. Maar we zitten niet stil, het aanbod blijft groeien en het gebruik neemt steeds meer toe. Dat betekent dat ons platform ook moet meegroeien. Als beheerder van de omgeving voor ArcGIS Content deel ik graag met jullie waar we nu en in de nabije toekomst aan werken: zeg maar het nieuwe keukengereedschap.

DevOps is een inkorting van Developers Operators en het houdt de samenwerking in tussen deze twee groepen. Maar belangrijker is de samenwerking tussen verschillende disciplines. Omdat het content-team een relatief klein team is, zijn de taken al multidisciplinair verdeeld tussen de medewerkers. Nu is het beheer daar ook in opgenomen en werk ik nauw samen met de content engineers, zodat we elkaars werk goed begrijpen en elkaars keuzes kunnen begrijpen en afstemmen. Dit heeft mij heel veel geholpen bij het ontwikkelen van scripts en snellere releases van de infrastructuur en content. Dit principe sluit ook heel goed aan bij het agile werken, iets wat we al geruime tijd gewend zijn om te doen.

De architectuur voor ArcGIS Content verandert drastisch. De meest voor ons in het oog springende wijziging is de introductie van een webcaching proxy. In eerste instantie gaan de basiskaarten op specifieke proxyservers geplaatst worden, zodat de achterliggende servers worden ontlast. We hebben namelijk het punt bereikt dat een dedicated cache voor de basiskaarten efficiënter is dan steeds meer servers in te zetten, waar de caches ook gepubliceerd staan. De backend blijft uiteraard nog steeds ArcGIS en de webcaching proxy is niet meer dan een kopie van de cache van de ArcGIS-server. De REST-interface, het opvragen van de offline basiskaart-packages en dynamische mapservices blijven nog steeds het domein van ArcGIS. Echter, doe je als gebruiker een verzoek naar een plaatje van een basiskaart, dan komt dit verzoek nooit bij onze ArcGIS-server terecht, maar wordt direct door de webcache afgehandeld. Voor gebruikers overigens een wijziging waar niets van te merken is, alles blijft werken zoals het werkt en net zo snel als eerst. Wellicht zelfs iets sneller.

Een webcache is overigens pas interessant bij heel veel hits. Wij verwerken per dag meer dan vijf miljoen hits op alleen de basiskaarten. Voor deze basiskaarten zetten we nu al meerdere ArcGIS-servers in. Het inrichten en onderhouden van een webcache vergt veel kennis, tijd en extra computerkracht. Bij minder belasting is een webcache simpelweg niet rendabel en is out-of-the-box ArcGIS beter te gebruiken, of gewoon ArcGIS Online.

Een andere belangrijke verandering in de infrastructuur is het automatisch ‘uitrollen’. We gebruiken hier een zogeheten end-state configuration tool voor. Wij geven in een configuratiebestand aan wat de beoogde configuratie is en deze programmatuur zorgt ervoor dat alle servers afgestemd worden op deze beoogde situatie. Dit heeft voor ons twee belangrijke voordelen. We kunnen zeer eenvoudig een kopie van onze omgeving inrichten voor testdoeleinden en we kunnen extra servers toevoegen als de belasting toeneemt. We weten via een dergelijke end-state configuration in elk geval zeker dat alle servers identiek aan elkaar zijn. Of het nu een loadbalancer, een ArcGIS-server of een webcache is.

Dit zijn mooie ontwikkelingen die technologisch gezien erg interessant zijn. Wie mij een beetje kent, weet dat ik urenlang kan doorpraten over dit werk en hoeveel plezier ik eraan beleef. Gelukkig houdt mijn werk na het inrichten van deze veranderingen niet op: big data komt ook om de hoek kijken.

LinkedInFacebookTwitterDeel deze blogpost
Posted in Achter de schermen, Content | Tags: , , , | Plaats een reactie

ArcGIS Content, een kijkje in de keuken

Goede basisdata is het begin van een goed geografisch informatiesysteem. Vijf jaar geleden lanceerde Esri Nederland de eerste versie van de topografische basiskaart in het Rijksdriehoekstelsel. In navolging daarvan kwamen andere basiskaarten beschikbaar en werd belangrijke open data aangeboden, zoals de BAG, BGT, BRT, postcodevlakken en demografie. Hoe zag het er de afgelopen jaren achter de schermen eigenlijk uit? Als beheerder van de contentomgeving wil ik jullie graag een persoonlijke kijk geven in onze ‘contentkeuken’.

We begonnen met een basisinrichting van ArcGIS Server. Een omgeving die in een extern datacentrum stond. Vanuit die omgeving boden we een aantal basiskaarten aan. De belangrijkste gebruikers waren ArcGIS Desktop-gebruikers; maximaal enkele miljoenen hits per maand. Een groot contrast met nu, met per dag meer dan 5 miljoen hits op alle ArcGIS Content-services.

In 2012 werd ArcGIS Online geïntroduceerd. Het gebruik van de basiskaarten nam daardoor toe, want ze waren beter vindbaar. We moesten daardoor de omgeving wel uitbreiden, maar de architectuur voldeed nog. In die tijd las ik ergens dat een goede beheerder zo min mogelijk te doen heeft (dan is tenslotte alles up-and-running). Dat was van toepassing op die tijd: het beheer was nog eenvoudig.

2014 was een omslagpunt: het Actueel Hoogtebestand Nederland (AHN) werd vrijgegeven. Dit betekende het einde van de eenvoud van onze ArcGIS Server-omgeving met alleen basiskaarten. De toevoeging van het AHN zou alle lucht uit de servers persen met grote risico’s op storingen.

Met de opgedane kennis uit het verleden gingen we terug naar de tekentafel. Betrouwbaarheid en snelheid waren het credo. In de praktijk betekende dit een veelvoud aan servers, alles redundant uitgevoerd en verspreid over twee datacenters. De infrastructuur was hiermee klaar om de groei in gebruik verder te blijven faciliteren.

Hoewel de nieuwe omgeving op verschillende scenario’s was voorbereid, volgde al snel een leerzaam traject: de verkiezingen. Een relatief eenvoudige kaart visualiseerde realtime per gemeente de verkiezingsuitslag. Veel nieuwssites plaatsten deze kaart, waarmee er direct een groot bereik was. Dit ging om duizenden hits per seconde. We moesten snel bijschalen… en nog meer bijschalen qua hardware. Een uitzonderlijke situatie, maar ook dan moet de kaart blijven werken.

Met alle ervaringen zijn we continu bezig om de contentomgeving te monitoren, slimmer in te richten en te automatiseren. Door de aanwezige redundantie in de infrastructuur is er altijd wel voldoende capaciteit. Zelfs als er een server uitvalt. Er vielen begin vorig jaar op één moment zelfs meerdere servers uit. Graafwerkzaamheden zorgden voor meerdere glasvezelkabelbreuken bij één van de datacentra. Wij weten van die situatie, maar gebruikers van onze kaarten hebben het nooit gemerkt.

We zitten niet stil. Dat kan ook niet, want elk jaar blijft het gebruik van ArcGIS Content verdubbelen. Als beheerder vind ik het fantastisch om bij te mogen dragen in het groeien van deze omgeving. De groei blijft onze verwachtingen overtreffen. Het contentteam zelf groeit ook mee, het aanbod groeit mee en de hoeveelheid gebruikers groeit mee.

Ik ben er trots op dat we een robuuste omgeving aanbieden, waarin we gebruikers kunnen faciliteren met een rijke hoeveelheid content en de uitval van servers gewoon kunnen opvangen. En achter de schermen werken we alweer aan de volgende uitbreiding van de back-end, zodat we de betrouwbaarheid en snelheid van ArcGIS Content blijven waarborgen.

Posted in ArcGIS, ArcGIS Online, Content, Support | Tags: , , , , , | Plaats een reactie