Category Archives: Content

Heel Holland BAGt, met elke dag een nieuwe BAG

De service van de BAG (Basisregistratie Adressen en Gebouwen) is nu ‘dagvers’: elke dag krijgt de service een update. Het is mooi dat er een actuele kaart is voor alle gebruikers. En dat zijn er nogal wat: in 2017 had de BAG maar liefst 30 miljoen hits! Vanuit het content-team is er hard gewerkt om de BAG dagvers te krijgen. Wat is ervoor gedaan? En wat is er daardoor allemaal mogelijk?

In de afgelopen jaren

De BAG was één van de eerste datasets die Esri Nederland beschikbaar stelde voor haar klanten. Datasets van PDOK, zoals basisregistraties, worden beschikbaar gesteld in GML-formaat. Om organisaties tijd te laten besparen met het omzetten van dit gecompliceerde formaat biedt Esri Nederland sinds 2013 de BAG in het formaat file geodatabase. Eerst werd dit halfjaarlijks gedaan en later kwam er een maandelijkse update.

En heel Holland BAGt inmiddels! Naast de 30 miljoen hits op de services heeft de kosteloze Datasets-groep van ArcGIS – waar alle datadownloads terug te vinden zijn – inmiddels al 1385 leden. Natuurlijk worden al onze file geodatabases geleverd met bijpassende map documents (.mxd voor gebruik in ArcMap) en map files (.mapx voor gebruik in ArcGIS Pro).

Nieuwe ontwikkelingen

De technologische innovaties denderen ondertussen gestaag door en inmiddels hebben we ook alle lagen als individuele services beschikbaar. Deze services zijn direct in de ArcGIS-applicatie (zowel op desktop, mobiel als online) te gebruiken. En met gebruiken bedoel ik ook écht gebruiken (!), niet alleen bekijken. Want het is mogelijk om op deze BAG-services selecties te doen, exports en zelfs analyses uit te voeren. Op deze manier heeft u toegang tot alle gebruikstoepassingen die u nodig heeft, zonder dat u zelf de data hoeft te beheren. En dat scheelt natuurlijk veel tijd.

Mijn collega’s en ik zijn echter altijd op zoek naar nieuwe innovaties en de laatste maanden heb ik gewerkt aan ons allernieuwste project; de BAG versie 2, die wij omschrijven als BAGv2. De BAGv2 is een dagverse service, die dus elke nacht geüpdatet wordt. Zo weet u zeker dat u altijd de meest recente data van de BAG gebruikt, zonder dat u deze zelf hoeft te beheren.

Ook wij maken dankbaar gebruik van de service. Zo zagen we onlangs dat een medewerker van de gemeente Amersfoort de verblijfsobjecten in een pand op een wel heel originele manier had geregistreerd. Daar werden wij wel vrolijk van! Helaas werd dit al snel weer aangepast, en door de dagversheid van de nieuwe BAG konden we er dus niet lang van genieten!

smiley-bag-amersfoort

Verblijfsobjecten in een pand in Amersfoort

In de dataset zelf hebben we wat wijzigingen doorgevoerd. Dit is zowel in de service als in de file geodatabase terug te vinden. Zo hebben we besloten om de historische gegevens niet meer mee te leveren. Deze gegevens zorgden voor veel verwarring en daarom leveren we op dit moment alleen nog de huidige BAG-data. Daarnaast hebben we ons datamodel verbeterd. We genereren onze adressen op een andere manier en hebben onze relatieklassen verbeterd, waardoor deze nog accurater zijn dan voorheen. Ook hebben we verblijfsobjectvlakken toegevoegd aan de file geodatabase.

Analysemogelijkheden

Verder wilden we de BAG toegankelijker maken voor analyses. Voor ik bij Esri kwam werken woonde ik in Schotland waar ik GIS & Data Officer was bij het Central Scotland Green Network Trust. Daar behoorden geografische analyses tot mijn belangrijkste taken. Hierbij maakte ik meestal gebruik van datasets van andere partijen, waarbij ik geen invloed had op het datamodel. Ik weet dan ook als geen ander dat het datamodel van de benodigde datasets analysemogelijkheden erg kan beperken. Dit wilden we dan ook verbeteren in deze nieuwste BAG-versie.

Voorheen had de Verblijfsobject-laag één attribuut voor gebruiksdoel. Als een verblijfsobject meerdere gebruiksdoelen had, dan stonden deze allemaal in hetzelfde veld. Voor een analyse bleek dit erg onhandig. Nu hebben we behalve dit attribuut een aantal extra attributen toegevoegd. Zo is er nu een attribuut met het eerst-voorkomende gebruiksdoel, handig voor high-level analyses waar detail minder belangrijk is. Voor de gedetailleerdere analyses hebben we voor ieder gebruiksdoel een aparte kolom gemaakt in de attribuuttabel. Hierin wordt voor ieder gebruiksdoel aangegeven of het op het individuele verblijfsobject van toepassing is. Zo zijn analyses eenvoudiger uit te voeren op een of meerdere gebruiksdoelen.

bag-dagvers

De nieuwe gebruiksfunctie-attributen in de BAG-verblijfsobjecten, weergegeven in ArcGIS Online

We hopen dat deze verbeteringen in de BAG-service het werk vereenvoudigen. Het betekent ook dat we de oude service in maart uitfaseren. Vergeet niet de REST-link die u gebruikt te controleren, omdat deze is veranderd naar https://basisregistraties.arcgisonline.nl/arcgis/rest/services/BAG/BAGv2/MapServer. Als u de service toevoegt aan uw applicatie door naar het item in ArcGIS Online te zoeken, dan zult u direct de nieuwste BAGv2 toevoegen. De BAG-lagen staan ook individueel geregistreerd, waardoor er nog meer gebruiksmogelijkheden direct op de service van toepassing zijn.

 Mocht u vragen of opmerkingen hebben, dan horen wij dat graag via content@esri.nl.

Naar de dagverse BAG-service

Naar de Datasets-groep (hier kunt u als lid onze nieuwe BAG file geodatabase downloaden)

LinkedInFacebookTwitterDeel deze blogpost
Posted in Achter de schermen, Content, open data | Tags: , , , , , | Plaats een reactie

De Topografische basiskaart: een vertrouwd beeld met nieuwe technologie

“Vector tiles hebben als voordeel ten opzichte van raster tiles dat ze altijd scherp zijn, dynamische labels hebben, weinig opslag vereisen én dat de opmaak achteraf door de gebruiker is aan te passen.” In mijn blog van vorig jaar noemde ze ik al even: vector tiles. In dit blog meer over de ontsluiting van de Topografische basiskaart die nu via vector tiles verloopt; een reconstructie.

vector-basiskaart-rd-rijksdriehoeksstelsel-esri-2

Eerste prototype

Eerst terug naar 2015, Palm Springs. Met een aantal collega’s, Esri-partners en klanten mocht ik de Esri Developer Summit bezoeken. Marc-Olivier Briat (senior developer) toonde het eerste prototype van een vector tiled basiskaart in het ArcGIS-platform. Ik was meteen om. Als verantwoordelijke voor de basiskaarten van Esri Nederland, zag ik direct de grote voordelen van vector tiles ten opzichte van de meer traditionele raster tiles. Door de mapbox vector tiles-specificatie over te nemen, konden we bovendien snel aan de slag met vector tiles in het ArcGIS-platform.

Rijksdriehoekstelsel

Hoera! Tenminste, dat zou je denken. Er was voor ons nog een belangrijke kanttekening te maken. De keuze voor de mapbox-specificatie maakt wel een snelle start met vector tiles mogelijk, maar kent voor ons in Nederland ook een nadeel. De mapbox-specificatie ondersteunt namelijk alleen Web Mercator als projectie. Hiermee was bijvoorbeeld een vector tiled variant van de Topo RD (in EPSG:28992, Rijksdriehoekstelsel) niet mogelijk.

Hoewel er bij web-toepassingen steeds meer gebruik wordt gemaakt van de Web Mercator-projectie, gebruiken verreweg de meeste overheden en ook private partijen in Nederland het Rijksdriehoekstelsel (EPSG: 28992) als projectie. Voor mij reden te meer om tijdens en na de conferentie met Marc-Olivier en andere betrokkenen te schakelen om te onderzoeken wat er mogelijk zou zijn.

Uiteindelijk heeft Esri de mapbox-specificatie uitgebreid, om op die manier alle (gangbare) projecties te kunnen ondersteunen. Hierdoor konden wij aan de slag met een vector tiled basiskaart in het Rijksdriehoekstelsel.

Het eerste prototype van de Topo RD (vector tiled) basiskaart zag vlak voor de Esri GIS Tech 2017 het licht. Deze kaart kende, met de TOP10NL als meest gedetailleerde bron, nog niet zoveel detail als zijn raster getilede ‘broer’. In de Topo RD (raster tiled) wordt namelijk ook de Basisregistratie Grootschalige Topografie (BGT) al gebruikt.

Basisregistratie Grootschalige Topografie

Uiteraard wílden wij wel BGT toevoegen aan de vector tiles, om op die manier een even rijke kaart in vector tiles te kunnen bieden als in de raster tiles. Zo’n gedetailleerde landsdekkende bron als de BGT opnemen in vector tiles kende nog geen precedent. We zijn daarom vol goede moed een project gestart zonder te weten of dit wel echt zou gaan werken. Door een reeks van bewerkingen op de BGT, waarbij ArcGIS Pro met zijn multi-threading tools onmisbaar bleek, is het resultaat er uiteindelijk. En ik vind het verbluffend.

 

vector-basiskaart-rd-rijksdriehoeksstelsel-esri-1b

vector-basiskaart-rd-rijksdriehoeksstelsel-esri-1a

Topo RD (vector tiled) voor en na het toevoegen van BGT

De hele Topo RD op je telefoon

Als één van de voordelen van vector tiles noemde ik vorig jaar ‘weinig opslag’. Hoeveel is het dan? Inmiddels weten we dat. De hele Topo RD (vector tiled) is nu, inclusief de BGT, minder dan 4GB groot. Daarom bieden wij de Vector Tile Package vanaf heden aan ter download, zodat deze rijke kaart ook offline kan worden gebruikt, voor heel Nederland.

Meld je aan bij de groep Vector tiles in het rijksdriehoekstelsel – BETA om de Vector Tile Package te downloaden (named user is vereist!).

Op dit moment is het mogelijk om offline vector tiles te gebruiken in ArcGIS Pro en Explorer for ArcGIS. Voor andere apps, waaronder Collector for ArcGIS, staat dit op de planning.

Bekijk de Topografische basiskaart:

Posted in Achter de schermen, Content | Plaats een reactie

Vandaag is rood

De luchtfoto 25cm is begin dit jaar beschikbaar gesteld als open data. Beeldmateriaal.nl – een samenwerking tussen een aantal gemeenten, de provincies, Rijksoverheid en de waterschappen – heeft de Luchtfoto 25cm als open data vrijgegeven. Dit beeldmateriaal is veel gedetailleerder dan de huidige luchtfoto van 50cm. Met de vrijgave van de 25cm Luchtfoto zijn we ook verblijd met een ander cadeautje: de Colour Infra Red (oftewel CIR) luchtfoto. Beide datasets zijn inmiddels door Esri Nederland als onderdeel van ArcGIS Content als weblaag beschikbaar gemaakt voor ArcGIS-gebruikers. Wat is een Colour Infra Red luchtfoto eigenlijk? En wat kun je ermee?


Een gedeelte van de CIR-luchtfoto van Nederland.
Copyright beeldmateriaal.nl, Esri Nederland

Colour Infra Red is een bijzonder vorm van visualisatie. Het wordt ook wel ‘false colour’ genoemd, omdat de foto er voor ons nep uitziet. De foto bestaat voornamelijk uit tinten rood en grijs, wat ons niet meteen aan het groene Nederlandse landschap doet denken. Een CIR visualiseert de kleuren die wij normaal waarnemen op een andere manier. Maar nog belangrijker, behalve de gebruikelijke RGB (rood/groen/blauw) banden van een gewone kleurenfoto, wordt ook infrarood gebruikt. Dit licht is normaal niet met het blote oog waarneembaar, maar in een CIR-afbeelding krijgt infrarood een rode kleur. Het gewone rood wordt groen, groen wordt blauw en blauw wordt zwart:

blog-cir-luchtfoto-25cm-esri-rood

 

Dit heeft niet alleen een interessant effect op de afbeelding van de foto, maar het betekent ook dat bepaalde zaken er beter door te zien zijn. Door de foto te bekijken is er al veel uit halen! Met name het infrarood is belangrijk. Infrarood weerspiegelt namelijk op het chlorofyl, het groen in planten. CIR wordt daarom ook meestal gebruikt om vegetatie te analyseren. Hoe gezond is de vegetatie? Wat voor soorten bomen groeien daar? De verschillende tinten rood kunnen duiden op gezonde, snel groeiende vegetatie (veel chlorofyl is felrood) of juist zieke of dode planten (lichtroze) en het is ook mogelijk om verschillende plantensoorten te onderscheiden aan de hand van hun chlorofylwaarden. Zo hebben naaldbomen minder chlorofyl omdat ze geen bladeren hebben, en zijn dus ook minder felrood gekleurd.

 

Deze eigenschap zorgde ervoor dat CIR-fotografie voor het eerst al werd gebruikt in de Tweede Wereldoorlog. Omdat het verschil tussen vegetatie en niet-vegetatie snel is te zien, kon gericht camouflagemateriaal opsporen. Behalve vegetatie kun je ook andere informatie uit een CIR-luchtfoto halen. Nu is het verschil duidelijk te zien als we bijvoorbeeld naar sportvelden kijken. In een CIR-afbeelding wordt een veld van kunstgras weergegeven met grijs, terwijl een veld van natuurlijk gras met rood is afgebeeld. Door de mens gemaakte objecten zijn namelijk vaak grijs, met de uitzondering van kunstmatige objecten die rood of blauw/groen zijn, deze worden immers als groen en respectievelijk paars aangegeven. Zo kun je zien hoe verstedelijkt een gebied is. En: is een weg verhard of onverhard? Colour Infra Red ken ik zelf al langer. In archeologie, waar ik een achtergrond in heb, wordt via CIR gekeken naar onregelmatigheden die kunnen wijzen op archeologische sites, zoals celtic fields.

blog-cir-luchtfoto-25cm-esri-rood-2
De grachten van Amsterdam in Colour Infra Red, waarbij rode daken groen worden afgebeeld. Copyright Beeldmateriaal.nl, Esri Nederland.

Wat is eigenlijk de staat van het water? Water kan verschillende kleuren hebben, wat afhangt van de diepte en de helderheid van het water. Diep, helder water, wordt in een CIR-afbeelding als zwart afgebeeld. Als het water ondiep is (en daarom de bodem nog weerkaatst wordt) of het water troebel is (en er dus veel organische deeltjes in het water weerkaatst worden), wordt dit in een CIR-afbeelding blauw.

blog-cir-luchtfoto-25cm-esri-rood-3
Water kan in een CIR-afbeelding verschillende kleuren hebben, afhankelijk van de diepte en helderheid. Copyright Beeldmateriaal.nl, Esri Nederland.

De nieuwe Colour Infra Red luchtfoto is een gedetailleerde luchtfoto, maar met een nieuwe kleurverdeling. Dit kan het eenvoudiger maken om bepaalde objecten beter te herkennen en te analyseren. Bijvoorbeeld om het landschap te analyseren, vegetatie te monitoren, wordt er gekeken naar kunstmatige (door de mens gecreëerde) elementen in het landschap. CIR wordt ook voor militaire doeleinden gebruikt, omdat kunstmatige camouflage gemakkelijk is te herkennen.

 

Heeft u de nieuwe CIR-luchtfoto al voor een project gebruikt? Laat het ons weten via content@esri.nl!

 

Klik hier voor de nieuwe RGB luchtfoto 25cm weblaag

Klik hier voor de nieuwe CIR-luchtfoto 25cm weblaag

Bekijk de speciale StoryMap over de nieuwe beelden van de CIR Luchtfoto 25cm

Bekijk de speciale StoryMap over de nieuwe beelden van de Luchtfoto 25cm

Posted in ArcGIS, Content, open data | Plaats een reactie

ArcGIS Content, het nieuwe keukengereedschap

In mijn vorige blog schreef ik over een kijkje in onze keuken. Over hoe we in 5 jaar tijd zijn gegroeid van een Nederlandse topografische basiskaart naar een breed pallet aan content en alle technologische uitdagingen die daarbij komen kijken. Maar we zitten niet stil, het aanbod blijft groeien en het gebruik neemt steeds meer toe. Dat betekent dat ons platform ook moet meegroeien. Als beheerder van de omgeving voor ArcGIS Content deel ik graag met jullie waar we nu en in de nabije toekomst aan werken: zeg maar het nieuwe keukengereedschap.

DevOps is een inkorting van Developers Operators en het houdt de samenwerking in tussen deze twee groepen. Maar belangrijker is de samenwerking tussen verschillende disciplines. Omdat het content-team een relatief klein team is, zijn de taken al multidisciplinair verdeeld tussen de medewerkers. Nu is het beheer daar ook in opgenomen en werk ik nauw samen met de content engineers, zodat we elkaars werk goed begrijpen en elkaars keuzes kunnen begrijpen en afstemmen. Dit heeft mij heel veel geholpen bij het ontwikkelen van scripts en snellere releases van de infrastructuur en content. Dit principe sluit ook heel goed aan bij het agile werken, iets wat we al geruime tijd gewend zijn om te doen.

De architectuur voor ArcGIS Content verandert drastisch. De meest voor ons in het oog springende wijziging is de introductie van een webcaching proxy. In eerste instantie gaan de basiskaarten op specifieke proxyservers geplaatst worden, zodat de achterliggende servers worden ontlast. We hebben namelijk het punt bereikt dat een dedicated cache voor de basiskaarten efficiënter is dan steeds meer servers in te zetten, waar de caches ook gepubliceerd staan. De backend blijft uiteraard nog steeds ArcGIS en de webcaching proxy is niet meer dan een kopie van de cache van de ArcGIS-server. De REST-interface, het opvragen van de offline basiskaart-packages en dynamische mapservices blijven nog steeds het domein van ArcGIS. Echter, doe je als gebruiker een verzoek naar een plaatje van een basiskaart, dan komt dit verzoek nooit bij onze ArcGIS-server terecht, maar wordt direct door de webcache afgehandeld. Voor gebruikers overigens een wijziging waar niets van te merken is, alles blijft werken zoals het werkt en net zo snel als eerst. Wellicht zelfs iets sneller.

Een webcache is overigens pas interessant bij heel veel hits. Wij verwerken per dag meer dan vijf miljoen hits op alleen de basiskaarten. Voor deze basiskaarten zetten we nu al meerdere ArcGIS-servers in. Het inrichten en onderhouden van een webcache vergt veel kennis, tijd en extra computerkracht. Bij minder belasting is een webcache simpelweg niet rendabel en is out-of-the-box ArcGIS beter te gebruiken, of gewoon ArcGIS Online.

Een andere belangrijke verandering in de infrastructuur is het automatisch ‘uitrollen’. We gebruiken hier een zogeheten end-state configuration tool voor. Wij geven in een configuratiebestand aan wat de beoogde configuratie is en deze programmatuur zorgt ervoor dat alle servers afgestemd worden op deze beoogde situatie. Dit heeft voor ons twee belangrijke voordelen. We kunnen zeer eenvoudig een kopie van onze omgeving inrichten voor testdoeleinden en we kunnen extra servers toevoegen als de belasting toeneemt. We weten via een dergelijke end-state configuration in elk geval zeker dat alle servers identiek aan elkaar zijn. Of het nu een loadbalancer, een ArcGIS-server of een webcache is.

Dit zijn mooie ontwikkelingen die technologisch gezien erg interessant zijn. Wie mij een beetje kent, weet dat ik urenlang kan doorpraten over dit werk en hoeveel plezier ik eraan beleef. Gelukkig houdt mijn werk na het inrichten van deze veranderingen niet op: big data komt ook om de hoek kijken.

Posted in Achter de schermen, Content | Tags: , , , | Plaats een reactie

ArcGIS Content, een kijkje in de keuken

Goede basisdata is het begin van een goed geografisch informatiesysteem. Vijf jaar geleden lanceerde Esri Nederland de eerste versie van de topografische basiskaart in het Rijksdriehoekstelsel. In navolging daarvan kwamen andere basiskaarten beschikbaar en werd belangrijke open data aangeboden, zoals de BAG, BGT, BRT, postcodevlakken en demografie. Hoe zag het er de afgelopen jaren achter de schermen eigenlijk uit? Als beheerder van de contentomgeving wil ik jullie graag een persoonlijke kijk geven in onze ‘contentkeuken’.

We begonnen met een basisinrichting van ArcGIS Server. Een omgeving die in een extern datacentrum stond. Vanuit die omgeving boden we een aantal basiskaarten aan. De belangrijkste gebruikers waren ArcGIS Desktop-gebruikers; maximaal enkele miljoenen hits per maand. Een groot contrast met nu, met per dag meer dan 5 miljoen hits op alle ArcGIS Content-services.

In 2012 werd ArcGIS Online geïntroduceerd. Het gebruik van de basiskaarten nam daardoor toe, want ze waren beter vindbaar. We moesten daardoor de omgeving wel uitbreiden, maar de architectuur voldeed nog. In die tijd las ik ergens dat een goede beheerder zo min mogelijk te doen heeft (dan is tenslotte alles up-and-running). Dat was van toepassing op die tijd: het beheer was nog eenvoudig.

2014 was een omslagpunt: het Actueel Hoogtebestand Nederland (AHN) werd vrijgegeven. Dit betekende het einde van de eenvoud van onze ArcGIS Server-omgeving met alleen basiskaarten. De toevoeging van het AHN zou alle lucht uit de servers persen met grote risico’s op storingen.

Met de opgedane kennis uit het verleden gingen we terug naar de tekentafel. Betrouwbaarheid en snelheid waren het credo. In de praktijk betekende dit een veelvoud aan servers, alles redundant uitgevoerd en verspreid over twee datacenters. De infrastructuur was hiermee klaar om de groei in gebruik verder te blijven faciliteren.

Hoewel de nieuwe omgeving op verschillende scenario’s was voorbereid, volgde al snel een leerzaam traject: de verkiezingen. Een relatief eenvoudige kaart visualiseerde realtime per gemeente de verkiezingsuitslag. Veel nieuwssites plaatsten deze kaart, waarmee er direct een groot bereik was. Dit ging om duizenden hits per seconde. We moesten snel bijschalen… en nog meer bijschalen qua hardware. Een uitzonderlijke situatie, maar ook dan moet de kaart blijven werken.

Met alle ervaringen zijn we continu bezig om de contentomgeving te monitoren, slimmer in te richten en te automatiseren. Door de aanwezige redundantie in de infrastructuur is er altijd wel voldoende capaciteit. Zelfs als er een server uitvalt. Er vielen begin vorig jaar op één moment zelfs meerdere servers uit. Graafwerkzaamheden zorgden voor meerdere glasvezelkabelbreuken bij één van de datacentra. Wij weten van die situatie, maar gebruikers van onze kaarten hebben het nooit gemerkt.

We zitten niet stil. Dat kan ook niet, want elk jaar blijft het gebruik van ArcGIS Content verdubbelen. Als beheerder vind ik het fantastisch om bij te mogen dragen in het groeien van deze omgeving. De groei blijft onze verwachtingen overtreffen. Het contentteam zelf groeit ook mee, het aanbod groeit mee en de hoeveelheid gebruikers groeit mee.

Ik ben er trots op dat we een robuuste omgeving aanbieden, waarin we gebruikers kunnen faciliteren met een rijke hoeveelheid content en de uitval van servers gewoon kunnen opvangen. En achter de schermen werken we alweer aan de volgende uitbreiding van de back-end, zodat we de betrouwbaarheid en snelheid van ArcGIS Content blijven waarborgen.

Posted in ArcGIS, ArcGIS Online, Content, Support | Tags: , , , , , | Plaats een reactie