Category Archives: Content

Over content zoeken… en vinden!

Regelmatig ben ik in ArcGIS Online aan het struinen naar interessante data. En wat mij dan het meeste opvalt is hoevéél data er gedeeld wordt. Mooi dat dit gebeurt in de community! Er is ook een keerzijde aan de enorm grote hoeveelheid beschikbare data: het is soms moeilijk om tussen de kaartlagen de kaart te zien…

Status van de data

Esri is druk bezig om de zoekervaring binnen ArcGIS Online te verbeteren. Enkele voorbeelden hoe gebruikers beter kunnen zoeken binnen de organisatie:

Geef  een status mee aan de data, namelijk autoritatief of verouderd. Autoratief wil zeggen dat het actuele data betreft.

Categorieën in ArcGIS Online

En sinds de laatste update van ArcGIS Online is het ook mogelijk om categorieën te gebruiken. Dit zijn allemaal hulpmiddelen om de intern beschikbare data zo goed mogelijk te vinden.

Bij het zoeken buiten de organisatie is nog wel wat extra hulp nodig. Veel data die wel openbaar gedeeld is, bevat namelijk nauwelijks informatie over wat er in de laag staat. Zorg er dus voor dat de items een goede titel, labels en een beschrijving hebben (het liefst met een duidelijke thumbnail). Dan is het al veel eenvoudiger om data te vinden.

En Esri doet mee, zo zijn er in de Levende Atlas al categorieën geïntroduceerd:

Er staat bij een item aangegeven wanneer deze uit de Levende Atlas komt:

Het wereldbolletje links onderin geeft aan dat het een item is uit de Levende Atlas.

Daarnaast blijft Esri de zoekmogelijkheden in ArcGIS Online uitbreiden. Bij elke update, vier keer per jaar, groeien de mogelijkheden om snel bij de informatie te komen die u zoekt.

Tot slot nog dit: als u goede ideeën heeft over hoe het zoeken nóg beter kan, vergeet deze ideeën dan niet in te dienen op http://ideas.arcgis.com.

 

Posted in ArcGIS, Content | Tags: , , , | Reacties uitgeschakeld voor Over content zoeken… en vinden!

Heel Holland BAGt, met elke dag een nieuwe BAG

De service van de BAG (Basisregistratie Adressen en Gebouwen) is nu ‘dagvers’: elke dag krijgt de service een update. Het is mooi dat er een actuele kaart is voor alle gebruikers. En dat zijn er nogal wat: in 2017 had de BAG maar liefst 30 miljoen hits! Vanuit het content-team is er hard gewerkt om de BAG dagvers te krijgen. Wat is ervoor gedaan? En wat is er daardoor allemaal mogelijk?

In de afgelopen jaren

De BAG was één van de eerste datasets die Esri Nederland beschikbaar stelde voor haar klanten. Datasets van PDOK, zoals basisregistraties, worden beschikbaar gesteld in GML-formaat. Om organisaties tijd te laten besparen met het omzetten van dit gecompliceerde formaat biedt Esri Nederland sinds 2013 de BAG in het formaat file geodatabase. Eerst werd dit halfjaarlijks gedaan en later kwam er een maandelijkse update.

En heel Holland BAGt inmiddels! Naast de 30 miljoen hits op de services heeft de kosteloze Datasets-groep van ArcGIS – waar alle datadownloads terug te vinden zijn – inmiddels al 1385 leden. Natuurlijk worden al onze file geodatabases geleverd met bijpassende map documents (.mxd voor gebruik in ArcMap) en map files (.mapx voor gebruik in ArcGIS Pro).

Nieuwe ontwikkelingen

De technologische innovaties denderen ondertussen gestaag door en inmiddels hebben we ook alle lagen als individuele services beschikbaar. Deze services zijn direct in de ArcGIS-applicatie (zowel op desktop, mobiel als online) te gebruiken. En met gebruiken bedoel ik ook écht gebruiken (!), niet alleen bekijken. Want het is mogelijk om op deze BAG-services selecties te doen, exports en zelfs analyses uit te voeren. Op deze manier heeft u toegang tot alle gebruikstoepassingen die u nodig heeft, zonder dat u zelf de data hoeft te beheren. En dat scheelt natuurlijk veel tijd.

Mijn collega’s en ik zijn echter altijd op zoek naar nieuwe innovaties en de laatste maanden heb ik gewerkt aan ons allernieuwste project; de BAG versie 2, die wij omschrijven als BAGv2. De BAGv2 is een dagverse service, die dus elke nacht geüpdatet wordt. Zo weet u zeker dat u altijd de meest recente data van de BAG gebruikt, zonder dat u deze zelf hoeft te beheren.

Ook wij maken dankbaar gebruik van de service. Zo zagen we onlangs dat een medewerker van de gemeente Amersfoort de verblijfsobjecten in een pand op een wel heel originele manier had geregistreerd. Daar werden wij wel vrolijk van! Helaas werd dit al snel weer aangepast, en door de dagversheid van de nieuwe BAG konden we er dus niet lang van genieten!

smiley-bag-amersfoort

Verblijfsobjecten in een pand in Amersfoort

In de dataset zelf hebben we wat wijzigingen doorgevoerd. Dit is zowel in de service als in de file geodatabase terug te vinden. Zo hebben we besloten om de historische gegevens niet meer mee te leveren. Deze gegevens zorgden voor veel verwarring en daarom leveren we op dit moment alleen nog de huidige BAG-data. Daarnaast hebben we ons datamodel verbeterd. We genereren onze adressen op een andere manier en hebben onze relatieklassen verbeterd, waardoor deze nog accurater zijn dan voorheen. Ook hebben we verblijfsobjectvlakken toegevoegd aan de file geodatabase.

Analysemogelijkheden

Verder wilden we de BAG toegankelijker maken voor analyses. Voor ik bij Esri kwam werken woonde ik in Schotland waar ik GIS & Data Officer was bij het Central Scotland Green Network Trust. Daar behoorden geografische analyses tot mijn belangrijkste taken. Hierbij maakte ik meestal gebruik van datasets van andere partijen, waarbij ik geen invloed had op het datamodel. Ik weet dan ook als geen ander dat het datamodel van de benodigde datasets analysemogelijkheden erg kan beperken. Dit wilden we dan ook verbeteren in deze nieuwste BAG-versie.

Voorheen had de Verblijfsobject-laag één attribuut voor gebruiksdoel. Als een verblijfsobject meerdere gebruiksdoelen had, dan stonden deze allemaal in hetzelfde veld. Voor een analyse bleek dit erg onhandig. Nu hebben we behalve dit attribuut een aantal extra attributen toegevoegd. Zo is er nu een attribuut met het eerst-voorkomende gebruiksdoel, handig voor high-level analyses waar detail minder belangrijk is. Voor de gedetailleerdere analyses hebben we voor ieder gebruiksdoel een aparte kolom gemaakt in de attribuuttabel. Hierin wordt voor ieder gebruiksdoel aangegeven of het op het individuele verblijfsobject van toepassing is. Zo zijn analyses eenvoudiger uit te voeren op een of meerdere gebruiksdoelen.

bag-dagvers

De nieuwe gebruiksfunctie-attributen in de BAG-verblijfsobjecten, weergegeven in ArcGIS Online

We hopen dat deze verbeteringen in de BAG-service het werk vereenvoudigen. Het betekent ook dat we de oude service in maart uitfaseren. Vergeet niet de REST-link die u gebruikt te controleren, omdat deze is veranderd naar https://basisregistraties.arcgisonline.nl/arcgis/rest/services/BAG/BAGv2/MapServer. Als u de service toevoegt aan uw applicatie door naar het item in ArcGIS Online te zoeken, dan zult u direct de nieuwste BAGv2 toevoegen. De BAG-lagen staan ook individueel geregistreerd, waardoor er nog meer gebruiksmogelijkheden direct op de service van toepassing zijn.

 Mocht u vragen of opmerkingen hebben, dan horen wij dat graag via content@esri.nl.

Naar de dagverse BAG-service

Naar de Datasets-groep (hier kunt u als lid onze nieuwe BAG file geodatabase downloaden)

Posted in Achter de schermen, Content, open data | Tags: , , , , , | Reacties uitgeschakeld voor Heel Holland BAGt, met elke dag een nieuwe BAG

De Topografische basiskaart: een vertrouwd beeld met nieuwe technologie

“Vector tiles hebben als voordeel ten opzichte van raster tiles dat ze altijd scherp zijn, dynamische labels hebben, weinig opslag vereisen én dat de opmaak achteraf door de gebruiker is aan te passen.” In mijn blog van vorig jaar noemde ze ik al even: vector tiles. In dit blog meer over de ontsluiting van de Topografische basiskaart die nu via vector tiles verloopt; een reconstructie.

vector-basiskaart-rd-rijksdriehoeksstelsel-esri-2

Eerste prototype

Eerst terug naar 2015, Palm Springs. Met een aantal collega’s, Esri-partners en klanten mocht ik de Esri Developer Summit bezoeken. Marc-Olivier Briat (senior developer) toonde het eerste prototype van een vector tiled basiskaart in het ArcGIS-platform. Ik was meteen om. Als verantwoordelijke voor de basiskaarten van Esri Nederland, zag ik direct de grote voordelen van vector tiles ten opzichte van de meer traditionele raster tiles. Door de mapbox vector tiles-specificatie over te nemen, konden we bovendien snel aan de slag met vector tiles in het ArcGIS-platform.

Rijksdriehoekstelsel

Hoera! Tenminste, dat zou je denken. Er was voor ons nog een belangrijke kanttekening te maken. De keuze voor de mapbox-specificatie maakt wel een snelle start met vector tiles mogelijk, maar kent voor ons in Nederland ook een nadeel. De mapbox-specificatie ondersteunt namelijk alleen Web Mercator als projectie. Hiermee was bijvoorbeeld een vector tiled variant van de Topo RD (in EPSG:28992, Rijksdriehoekstelsel) niet mogelijk.

Hoewel er bij web-toepassingen steeds meer gebruik wordt gemaakt van de Web Mercator-projectie, gebruiken verreweg de meeste overheden en ook private partijen in Nederland het Rijksdriehoekstelsel (EPSG: 28992) als projectie. Voor mij reden te meer om tijdens en na de conferentie met Marc-Olivier en andere betrokkenen te schakelen om te onderzoeken wat er mogelijk zou zijn.

Uiteindelijk heeft Esri de mapbox-specificatie uitgebreid, om op die manier alle (gangbare) projecties te kunnen ondersteunen. Hierdoor konden wij aan de slag met een vector tiled basiskaart in het Rijksdriehoekstelsel.

Het eerste prototype van de Topo RD (vector tiled) basiskaart zag vlak voor de Esri GIS Tech 2017 het licht. Deze kaart kende, met de TOP10NL als meest gedetailleerde bron, nog niet zoveel detail als zijn raster getilede ‘broer’. In de Topo RD (raster tiled) wordt namelijk ook de Basisregistratie Grootschalige Topografie (BGT) al gebruikt.

Basisregistratie Grootschalige Topografie

Uiteraard wílden wij wel BGT toevoegen aan de vector tiles, om op die manier een even rijke kaart in vector tiles te kunnen bieden als in de raster tiles. Zo’n gedetailleerde landsdekkende bron als de BGT opnemen in vector tiles kende nog geen precedent. We zijn daarom vol goede moed een project gestart zonder te weten of dit wel echt zou gaan werken. Door een reeks van bewerkingen op de BGT, waarbij ArcGIS Pro met zijn multi-threading tools onmisbaar bleek, is het resultaat er uiteindelijk. En ik vind het verbluffend.

 

vector-basiskaart-rd-rijksdriehoeksstelsel-esri-1b

vector-basiskaart-rd-rijksdriehoeksstelsel-esri-1a

Topo RD (vector tiled) voor en na het toevoegen van BGT

De hele Topo RD op je telefoon

Als één van de voordelen van vector tiles noemde ik vorig jaar ‘weinig opslag’. Hoeveel is het dan? Inmiddels weten we dat. De hele Topo RD (vector tiled) is nu, inclusief de BGT, minder dan 4GB groot. Daarom bieden wij de Vector Tile Package vanaf heden aan ter download, zodat deze rijke kaart ook offline kan worden gebruikt, voor heel Nederland.

Meld je aan bij de groep Vector tiles in het rijksdriehoekstelsel – BETA om de Vector Tile Package te downloaden (named user is vereist!).

Op dit moment is het mogelijk om offline vector tiles te gebruiken in ArcGIS Pro en Explorer for ArcGIS. Voor andere apps, waaronder Collector for ArcGIS, staat dit op de planning.

Bekijk de Topografische basiskaart:

Posted in Achter de schermen, Content | Reacties uitgeschakeld voor De Topografische basiskaart: een vertrouwd beeld met nieuwe technologie

Vandaag is rood

De luchtfoto 25cm is begin dit jaar beschikbaar gesteld als open data. Beeldmateriaal.nl – een samenwerking tussen een aantal gemeenten, de provincies, Rijksoverheid en de waterschappen – heeft de Luchtfoto 25cm als open data vrijgegeven. Dit beeldmateriaal is veel gedetailleerder dan de huidige luchtfoto van 50cm. Met de vrijgave van de 25cm Luchtfoto zijn we ook verblijd met een ander cadeautje: de Colour Infra Red (oftewel CIR) luchtfoto. Beide datasets zijn inmiddels door Esri Nederland als onderdeel van ArcGIS Content als weblaag beschikbaar gemaakt voor ArcGIS-gebruikers. Wat is een Colour Infra Red luchtfoto eigenlijk? En wat kun je ermee?


Een gedeelte van de CIR-luchtfoto van Nederland.
Copyright beeldmateriaal.nl, Esri Nederland

Colour Infra Red is een bijzonder vorm van visualisatie. Het wordt ook wel ‘false colour’ genoemd, omdat de foto er voor ons nep uitziet. De foto bestaat voornamelijk uit tinten rood en grijs, wat ons niet meteen aan het groene Nederlandse landschap doet denken. Een CIR visualiseert de kleuren die wij normaal waarnemen op een andere manier. Maar nog belangrijker, behalve de gebruikelijke RGB (rood/groen/blauw) banden van een gewone kleurenfoto, wordt ook infrarood gebruikt. Dit licht is normaal niet met het blote oog waarneembaar, maar in een CIR-afbeelding krijgt infrarood een rode kleur. Het gewone rood wordt groen, groen wordt blauw en blauw wordt zwart:

blog-cir-luchtfoto-25cm-esri-rood

 

Dit heeft niet alleen een interessant effect op de afbeelding van de foto, maar het betekent ook dat bepaalde zaken er beter door te zien zijn. Door de foto te bekijken is er al veel uit halen! Met name het infrarood is belangrijk. Infrarood weerspiegelt namelijk op het chlorofyl, het groen in planten. CIR wordt daarom ook meestal gebruikt om vegetatie te analyseren. Hoe gezond is de vegetatie? Wat voor soorten bomen groeien daar? De verschillende tinten rood kunnen duiden op gezonde, snel groeiende vegetatie (veel chlorofyl is felrood) of juist zieke of dode planten (lichtroze) en het is ook mogelijk om verschillende plantensoorten te onderscheiden aan de hand van hun chlorofylwaarden. Zo hebben naaldbomen minder chlorofyl omdat ze geen bladeren hebben, en zijn dus ook minder felrood gekleurd.

 

Deze eigenschap zorgde ervoor dat CIR-fotografie voor het eerst al werd gebruikt in de Tweede Wereldoorlog. Omdat het verschil tussen vegetatie en niet-vegetatie snel is te zien, kon gericht camouflagemateriaal opsporen. Behalve vegetatie kun je ook andere informatie uit een CIR-luchtfoto halen. Nu is het verschil duidelijk te zien als we bijvoorbeeld naar sportvelden kijken. In een CIR-afbeelding wordt een veld van kunstgras weergegeven met grijs, terwijl een veld van natuurlijk gras met rood is afgebeeld. Door de mens gemaakte objecten zijn namelijk vaak grijs, met de uitzondering van kunstmatige objecten die rood of blauw/groen zijn, deze worden immers als groen en respectievelijk paars aangegeven. Zo kun je zien hoe verstedelijkt een gebied is. En: is een weg verhard of onverhard? Colour Infra Red ken ik zelf al langer. In archeologie, waar ik een achtergrond in heb, wordt via CIR gekeken naar onregelmatigheden die kunnen wijzen op archeologische sites, zoals celtic fields.

blog-cir-luchtfoto-25cm-esri-rood-2
De grachten van Amsterdam in Colour Infra Red, waarbij rode daken groen worden afgebeeld. Copyright Beeldmateriaal.nl, Esri Nederland.

Wat is eigenlijk de staat van het water? Water kan verschillende kleuren hebben, wat afhangt van de diepte en de helderheid van het water. Diep, helder water, wordt in een CIR-afbeelding als zwart afgebeeld. Als het water ondiep is (en daarom de bodem nog weerkaatst wordt) of het water troebel is (en er dus veel organische deeltjes in het water weerkaatst worden), wordt dit in een CIR-afbeelding blauw.

blog-cir-luchtfoto-25cm-esri-rood-3
Water kan in een CIR-afbeelding verschillende kleuren hebben, afhankelijk van de diepte en helderheid. Copyright Beeldmateriaal.nl, Esri Nederland.

De nieuwe Colour Infra Red luchtfoto is een gedetailleerde luchtfoto, maar met een nieuwe kleurverdeling. Dit kan het eenvoudiger maken om bepaalde objecten beter te herkennen en te analyseren. Bijvoorbeeld om het landschap te analyseren, vegetatie te monitoren, wordt er gekeken naar kunstmatige (door de mens gecreëerde) elementen in het landschap. CIR wordt ook voor militaire doeleinden gebruikt, omdat kunstmatige camouflage gemakkelijk is te herkennen.

 

Heeft u de nieuwe CIR-luchtfoto al voor een project gebruikt? Laat het ons weten via content@esri.nl!

 

Klik hier voor de nieuwe RGB luchtfoto 25cm weblaag

Klik hier voor de nieuwe CIR-luchtfoto 25cm weblaag

Bekijk de speciale StoryMap over de nieuwe beelden van de CIR Luchtfoto 25cm

Bekijk de speciale StoryMap over de nieuwe beelden van de Luchtfoto 25cm

Posted in ArcGIS, Content, open data | Reacties uitgeschakeld voor Vandaag is rood

ArcGIS Content, het nieuwe keukengereedschap

In mijn vorige blog schreef ik over een kijkje in onze keuken. Over hoe we in 5 jaar tijd zijn gegroeid van een Nederlandse topografische basiskaart naar een breed pallet aan content en alle technologische uitdagingen die daarbij komen kijken. Maar we zitten niet stil, het aanbod blijft groeien en het gebruik neemt steeds meer toe. Dat betekent dat ons platform ook moet meegroeien. Als beheerder van de omgeving voor ArcGIS Content deel ik graag met jullie waar we nu en in de nabije toekomst aan werken: zeg maar het nieuwe keukengereedschap.

DevOps is een inkorting van Developers Operators en het houdt de samenwerking in tussen deze twee groepen. Maar belangrijker is de samenwerking tussen verschillende disciplines. Omdat het content-team een relatief klein team is, zijn de taken al multidisciplinair verdeeld tussen de medewerkers. Nu is het beheer daar ook in opgenomen en werk ik nauw samen met de content engineers, zodat we elkaars werk goed begrijpen en elkaars keuzes kunnen begrijpen en afstemmen. Dit heeft mij heel veel geholpen bij het ontwikkelen van scripts en snellere releases van de infrastructuur en content. Dit principe sluit ook heel goed aan bij het agile werken, iets wat we al geruime tijd gewend zijn om te doen.

De architectuur voor ArcGIS Content verandert drastisch. De meest voor ons in het oog springende wijziging is de introductie van een webcaching proxy. In eerste instantie gaan de basiskaarten op specifieke proxyservers geplaatst worden, zodat de achterliggende servers worden ontlast. We hebben namelijk het punt bereikt dat een dedicated cache voor de basiskaarten efficiënter is dan steeds meer servers in te zetten, waar de caches ook gepubliceerd staan. De backend blijft uiteraard nog steeds ArcGIS en de webcaching proxy is niet meer dan een kopie van de cache van de ArcGIS-server. De REST-interface, het opvragen van de offline basiskaart-packages en dynamische mapservices blijven nog steeds het domein van ArcGIS. Echter, doe je als gebruiker een verzoek naar een plaatje van een basiskaart, dan komt dit verzoek nooit bij onze ArcGIS-server terecht, maar wordt direct door de webcache afgehandeld. Voor gebruikers overigens een wijziging waar niets van te merken is, alles blijft werken zoals het werkt en net zo snel als eerst. Wellicht zelfs iets sneller.

Een webcache is overigens pas interessant bij heel veel hits. Wij verwerken per dag meer dan vijf miljoen hits op alleen de basiskaarten. Voor deze basiskaarten zetten we nu al meerdere ArcGIS-servers in. Het inrichten en onderhouden van een webcache vergt veel kennis, tijd en extra computerkracht. Bij minder belasting is een webcache simpelweg niet rendabel en is out-of-the-box ArcGIS beter te gebruiken, of gewoon ArcGIS Online.

Een andere belangrijke verandering in de infrastructuur is het automatisch ‘uitrollen’. We gebruiken hier een zogeheten end-state configuration tool voor. Wij geven in een configuratiebestand aan wat de beoogde configuratie is en deze programmatuur zorgt ervoor dat alle servers afgestemd worden op deze beoogde situatie. Dit heeft voor ons twee belangrijke voordelen. We kunnen zeer eenvoudig een kopie van onze omgeving inrichten voor testdoeleinden en we kunnen extra servers toevoegen als de belasting toeneemt. We weten via een dergelijke end-state configuration in elk geval zeker dat alle servers identiek aan elkaar zijn. Of het nu een loadbalancer, een ArcGIS-server of een webcache is.

Dit zijn mooie ontwikkelingen die technologisch gezien erg interessant zijn. Wie mij een beetje kent, weet dat ik urenlang kan doorpraten over dit werk en hoeveel plezier ik eraan beleef. Gelukkig houdt mijn werk na het inrichten van deze veranderingen niet op: big data komt ook om de hoek kijken.

Posted in Achter de schermen, Content | Tags: , , , | Reacties uitgeschakeld voor ArcGIS Content, het nieuwe keukengereedschap