Category Archives: ArcGIS

‘Inspecteurs’ deden hun werk tijdens de Survey123-sessie

Inmiddels zit de Esri GIS Tech 2017 erop en zo ook onze presentatie over Survey123 for ArcGIS. In onze presentatie maakten we een survey voor het fictieve bedrijf Waturance, een Rotterdams verzekeringsbedrijf dat is gespecialiseerd in waterschade. Het maken van het inspectieformulier deden we aan de hand van de drie stappen van Survey123. Inspecteurs in de zaal werkten mee aan het vullen van de survey.

Presentatie

  1. Stel vragen

Iris Theunisse nam de rol aan van functioneel beheerder bij Waturance en ontwierp de survey. In eerste instantie heeft ze hierbij de webdesigner gebruikt. Hiermee kan je snel en eenvoudig een survey maken. Voor meer geavanceerde mogelijkheden, zoals het toevoegen van een bepaald aantal afbeeldingen afhankelijk van het aantal beschadigde objecten en het toevoegen van een handtekening, ging ze verder met Survey123 Connect. Deze survey is vervolgens gepubliceerd naar ArcGIS Online.

  1. Krijg de antwoorden

Na een eerste inspectie, een defecte sprinklerinstallatie in De Kuip, konden de deelnemers van de sessie de survey invullen via esri.nl/survey-web of esri.nl/survey-app (voor wie die de Survey123-app heeft). De surveys die werden ingevuld waren live te volgen via de webapp.

 

Er kwamen in totaal 88 surveys binnen, met leuke notities die de waargenomen waterschade beschrijven.

Survey_tabel

  1. Maak de beste beslissingen

Ten slotte heb ik, in mijn rol als data-analist, de resultaten geanalyseerd. Door de het aantal beschadigde objecten te vermenigvuldigen met de bevolkingsdichtheid is een impactanalyse gemaakt. Hiervoor heb ik van tevoren een model gemaakt in ModelBuilder met de feature layer met de survey-resultaten als input. Daarnaast heb ik buurtdata van het CBS als input gekozen voor de bevolkingsdichtheid. Deze CBS-data is als feature layer beschikbaar als content en kan dus direct gebruikt worden in een analyse. Van tevoren hadden al een aantal punten ingevoerd, waarbij er een hoge impact zou zijn op het Noordereiland. Maar met behulp van de in de zaal aanwezige inspecteurs, bleek ook in Stadsdriehoek, Nieuwe Werk en de Tarwewijk grote waterschade te zijn.

Survey_resultaat2

Deze presentatie liet zien dat Survey123 for ArcGIS handig is om surveys te maken die direct beschikbaar worden en te gebruiken zijn door het hele ArcGIS-platform. Door te werken met weergaven en deze te delen in groepen kan je precies regelen wat je met wie wilt delen. Via http://survey123.arcgis.com zijn ook direct gegevens en resultaten over de survey beschikbaar.

Degenen die hebben meegewerkt: bedankt voor uw aanwezigheid en het invullen van de surveys!

Kijk de presentatie terug

 

LinkedInFacebookTwitterDeel deze blogpost
Posted in Achter de schermen, Apps, ArcGIS | Tags: , , , , , , , , , | Plaats een reactie

Wat weet je al van NoSQL-databases?

Laatst kwam het voorbij in een gesprek: NoSQL-databases. Al eens wat over gehoord of gelezen? Deze manager wel, maar hij dacht dat er geen link was tussen NoSQL-databases en het ArcGIS-platform. Toen ik vertelde dat ze ook onderdeel zijn van het ArcGIS-platform nam het gesprek een verrassende wending.

 

Paradigmashift

Decennialang waren relationele databases de standaard. De laatste jaren zijn NoSQL-databases in opkomst en voltrekt zich in de IT-wereld een paradigmashift. Is er iets mis met relationele databases? Als we prof. Michael Stonebraker (MIT) mogen geloven wel. Stonebraker is een vooraanstaand computerwetenschapper en won diverse prijzen, waaronder in 2015 een IEEE-prijs voor het 10-Year Most Influential Paper.

Volgens Stonebraker zijn relationele databases achterhaald. Eigenlijk zijn het allemaal doorontwikkelingen van System R-software uit de jaren 70, dat weer is gebaseerd op hardware uit de jaren 70. Stonebraker stelt dus dat de softwarearchitectuur van de relationele databases van vandaag is geoptimaliseerd voor de hardware van eergisteren.

blog-boris-Michael-Stonebraker-esri

NoSQL-databases zijn een alternatief voor de gebruikelijke relationele databases, zoals Oracle, SQL Server en PostgreSQL. Op een aantal plekken in het ArcGIS-platform worden NoSQL-databases meegeleverd:

  • De Tile Cache Datastore (nieuw in 10.3.1) van Portal for ArcGIS gebruikt onder de motorkap Couchbase, een NoSQL-database.
  • De Spatiotemporal Datastore (nieuw in 10.4) van GeoEvent maakt onder de motorkap gebruik van ElasticSearch, een NoSQL-database.
  • De Big Datastore van GeoAnalytics (nieuw in 10.5) gebruikt onder de motorkap ook ElasticSearch.

Relationele databases hebben ook nadelen

Het is scherp gesteld, maar het klopt. Relationele databases hebben zich bewezen, maar er kleven ook beperkingen aan. Allereerst zijn ze ontworpen voor een statische wereld, waarin data strak is gestructureerd. Maar de praktijk is niet statisch en niet altijd strak gestructureerd. Het toevoegen, verwijderen of veranderen van kolommen is daardoor lastig: we zijn er zo vertrouwd mee dat we ons erbij hebben neergelegd dat dit nou eenmaal lastig is.

Verder hebben relationele databases moeite met big data. Ze zijn niet gemaakt om met echt veel data om te gaan. Ten slotte is horizontale schaalbaarheid (uitbreiden) duur en moeilijk. Hier heb je al snel een Storage Area Network (SAN) voor nodig – dit soort storage is duur en vraagt gespecialiseerde kennis.

 

NoSQL: sneller door anders denken

NoSQL-databases winnen terrein. Ze worden onder de motorkap gebruikt bij Facebook, LinkedIn en Google. Wat zijn NoSQL-databases en wat heb je eraan? Ze bieden support voor on- of semi-gestructureerde data en gaan flexibel om met wijzigingen in de structuur van de data.

En: NoSQL-databases bieden een betere performance. Een verklaring wordt vaak gezocht in het normaliseren van data, zoals gebruikelijk bij relationele databases. Door het normaliseren wordt data die bij elkaar hoort opgeslagen op verschillende plaatsen ‘op disk’. Er is al snel een join nodig om data bij elkaar te brengen die op verschillende plaatsen op de disk is opgeslagen. Zoals bekend zijn joins zware operaties. Oftewel: bij relationele databases komt er voor een eenvoudige dataraadpleging  al veel kijken.

blog-boris-nosql-esri

Goedkoop en makkelijk

NoSQL-databases slaan data anders op: bij elkaar, zodat er maar op een plek geschreven hoeft te worden. En voor het ophalen van data hoeft maar op een plek ‘op disk’ worden gekeken. De gedachte is dat NoSQL-databases juist daardoor zo snel zijn. Het is dus een heel andere denkwijze, vandaar dat er wordt gesproken over een paradigmashift.

Dit geeft te denken. Ook voor de manager die ik sprak. NoSQL-databases bieden horizontale schaalbaarheid op de hardware van nu. Gebruik daarom geen duur SAN, maar gebruik een stel dertien-in-een-dozijn computers. NoSQL-databases zijn ontworpen om daarop te kunnen werken. Daardoor is de specifieke specialistische kennis van SAN niet meer nodig (voor beheer) en leidt dat ertoe dat de uiteindelijke investering een stuk lager uitvalt.

 

Ook al bieden NoSQL-databases grote voordelen, Esri blijft relationele databases gewoon ondersteunen.

Posted in ArcGIS, Databases, Esri | Tags: , , , | Plaats een reactie

Vandaag is rood

De luchtfoto 25cm is begin dit jaar beschikbaar gesteld als open data. Beeldmateriaal.nl – een samenwerking tussen een aantal gemeenten, de provincies, Rijksoverheid en de waterschappen – heeft de Luchtfoto 25cm als open data vrijgegeven. Dit beeldmateriaal is veel gedetailleerder dan de huidige luchtfoto van 50cm. Met de vrijgave van de 25cm Luchtfoto zijn we ook verblijd met een ander cadeautje: de Colour Infra Red (oftewel CIR) luchtfoto. Beide datasets zijn inmiddels door Esri Nederland als onderdeel van ArcGIS Content als weblaag beschikbaar gemaakt voor ArcGIS-gebruikers. Wat is een Colour Infra Red luchtfoto eigenlijk? En wat kun je ermee?


Een gedeelte van de CIR-luchtfoto van Nederland.
Copyright beeldmateriaal.nl, Esri Nederland

 

Kleuren krijgen een andere kleur

Colour Infra Red is een bijzonder vorm van visualisatie. Het wordt ook wel ‘false colour’ genoemd, omdat de foto er voor ons nep uitziet. De foto bestaat voornamelijk uit tinten rood en grijs, wat ons niet meteen aan het groene Nederlandse landschap doet denken. Een CIR visualiseert de kleuren die wij normaal waarnemen op een andere manier. Maar nog belangrijker, behalve de gebruikelijke RGB (rood/groen/blauw) banden van een gewone kleurenfoto, wordt ook infrarood gebruikt. Dit licht is normaal niet met het blote oog waarneembaar, maar in een CIR-afbeelding krijgt infrarood een rode kleur. Het gewone rood wordt groen, groen wordt blauw en blauw wordt zwart:

blog-cir-luchtfoto-25cm-esri-rood

 

Vegetatie analyseren

Dit heeft niet alleen een interessant effect op de afbeelding van de foto, maar het betekent ook dat bepaalde zaken er beter door te zien zijn. Door de foto te bekijken is er al veel uit halen! Met name het infrarood is belangrijk. Infrarood weerspiegelt namelijk op het chlorofyl, het groen in planten. CIR wordt daarom ook meestal gebruikt om vegetatie te analyseren. Hoe gezond is de vegetatie? Wat voor soorten bomen groeien daar? De verschillende tinten rood kunnen duiden op gezonde, snel groeiende vegetatie (veel chlorofyl is felrood) of juist zieke of dode planten (lichtroze) en het is ook mogelijk om verschillende plantensoorten te onderscheiden aan de hand van hun chlorofylwaarden. Zo hebben naaldbomen minder chlorofyl omdat ze geen bladeren hebben, en zijn dus ook minder felrood gekleurd.

 

Kunstmatige objecten

Deze eigenschap zorgde ervoor dat CIR-fotografie voor het eerst al werd gebruikt in de Tweede Wereldoorlog. Omdat het verschil tussen vegetatie en niet-vegetatie snel is te zien, kon gericht camouflagemateriaal opsporen. Behalve vegetatie kun je ook andere informatie uit een CIR-luchtfoto halen. Nu is het verschil duidelijk te zien als we bijvoorbeeld naar sportvelden kijken. In een CIR-afbeelding wordt een veld van kunstgras weergegeven met grijs, terwijl een veld van natuurlijk gras met rood is afgebeeld. Door de mens gemaakte objecten zijn namelijk vaak grijs, met de uitzondering van kunstmatige objecten die rood of blauw/groen zijn, deze worden immers als groen en respectievelijk paars aangegeven. Zo kun je zien hoe verstedelijkt een gebied is. En: is een weg verhard of onverhard? Colour Infra Red ken ik zelf al langer. In archeologie, waar ik een achtergrond in heb, wordt via CIR gekeken naar onregelmatigheden die kunnen wijzen op archeologische sites, zoals celtic fields.

blog-cir-luchtfoto-25cm-esri-rood-2
De grachten van Amsterdam in Colour Infra Red, waarbij rode daken groen worden afgebeeld. Copyright Beeldmateriaal.nl, Esri Nederland.

 

Effect op water

Wat is eigenlijk de staat van het water? Water kan verschillende kleuren hebben, wat afhangt van de diepte en de helderheid van het water. Diep, helder water, wordt in een CIR-afbeelding als zwart afgebeeld. Als het water ondiep is (en daarom de bodem nog weerkaatst wordt) of het water troebel is (en er dus veel organische deeltjes in het water weerkaatst worden), wordt dit in een CIR-afbeelding blauw.

blog-cir-luchtfoto-25cm-esri-rood-3
Water kan in een CIR-afbeelding verschillende kleuren hebben, afhankelijk van de diepte en helderheid. Copyright Beeldmateriaal.nl, Esri Nederland.

 

Nieuwe kleurverdeling

De nieuwe Colour Infra Red luchtfoto is een gedetailleerde luchtfoto, maar met een nieuwe kleurverdeling. Dit kan het eenvoudiger maken om bepaalde objecten beter te herkennen en te analyseren. Bijvoorbeeld om het landschap te analyseren, vegetatie te monitoren, wordt er gekeken naar kunstmatige (door de mens gecreëerde) elementen in het landschap. CIR wordt ook voor militaire doeleinden gebruikt, omdat kunstmatige camouflage gemakkelijk is te herkennen.

 

Heeft u de nieuwe CIR-luchtfoto al voor een project gebruikt? Laat het ons weten via content@esri.nl!

 

Klik hier voor de nieuwe RGB luchtfoto 25cm weblaag

Klik hier voor de nieuwe CIR-luchtfoto 25cm weblaag

Bekijk de speciale StoryMap over de nieuwe beelden van de CIR Luchtfoto 25cm

Bekijk de speciale StoryMap over de nieuwe beelden van de Luchtfoto 25cm

Posted in ArcGIS, Content, open data | Plaats een reactie

ArcGIS Content, een kijkje in de keuken

Goede basisdata is het begin van een goed geografisch informatiesysteem. Vijf jaar geleden lanceerde Esri Nederland de eerste versie van de topografische basiskaart in het Rijksdriehoekstelsel. In navolging daarvan kwamen andere basiskaarten beschikbaar en werd belangrijke open data aangeboden, zoals de BAG, BGT, BRT, postcodevlakken en demografie. Hoe zag het er de afgelopen jaren achter de schermen eigenlijk uit? Als beheerder van de contentomgeving wil ik jullie graag een persoonlijke kijk geven in onze ‘contentkeuken’.

Het prille begin

We begonnen met een basisinrichting van ArcGIS Server. Een omgeving die in een extern datacentrum stond. Vanuit die omgeving boden we een aantal basiskaarten aan. De belangrijkste gebruikers waren ArcGIS Desktop-gebruikers; maximaal enkele miljoenen hits per maand. Een groot contrast met nu, met per dag meer dan 5 miljoen hits op alle ArcGIS Content-services.

In 2012 werd ArcGIS Online geïntroduceerd. Het gebruik van de basiskaarten nam daardoor toe, want ze waren beter vindbaar. We moesten daardoor de omgeving wel uitbreiden, maar de architectuur voldeed nog. In die tijd las ik ergens dat een goede beheerder zo min mogelijk te doen heeft (dan is tenslotte alles up-and-running). Dat was van toepassing op die tijd: het beheer was nog eenvoudig.

Wat er veranderde met het AHN

2014 was een omslagpunt: het Actueel Hoogtebestand Nederland (AHN) werd vrijgegeven. Dit betekende het einde van de eenvoud van onze ArcGIS Server-omgeving met alleen basiskaarten. De toevoeging van het AHN zou alle lucht uit de servers persen met grote risico’s op storingen.

Met de opgedane kennis uit het verleden gingen we terug naar de tekentafel. Betrouwbaarheid en snelheid waren het credo. In de praktijk betekende dit een veelvoud aan servers, alles redundant uitgevoerd en verspreid over twee datacenters. De infrastructuur was hiermee klaar om de groei in gebruik verder te blijven faciliteren.

Leren van de Esri ANP Verkiezingskaarten

Hoewel de nieuwe omgeving op verschillende scenario’s was voorbereid, volgde al snel een leerzaam traject: de verkiezingen. Een relatief eenvoudige kaart visualiseerde realtime per gemeente de verkiezingsuitslag. Veel nieuwssites plaatsten deze kaart, waarmee er direct een groot bereik was. Dit ging om duizenden hits per seconde. We moesten snel bijschalen… en nog meer bijschalen qua hardware. Een uitzonderlijke situatie, maar ook dan moet de kaart blijven werken.

Met alle ervaringen zijn we continu bezig om de contentomgeving te monitoren, slimmer in te richten en te automatiseren. Door de aanwezige redundantie in de infrastructuur is er altijd wel voldoende capaciteit. Zelfs als er een server uitvalt. Er vielen begin vorig jaar op één moment zelfs meerdere servers uit. Graafwerkzaamheden zorgden voor meerdere glasvezelkabelbreuken bij één van de datacentra. Wij weten van die situatie, maar gebruikers van onze kaarten hebben het nooit gemerkt.

Blijven groeien

We zitten niet stil. Dat kan ook niet, want elk jaar blijft het gebruik van ArcGIS Content verdubbelen. Als beheerder vind ik het fantastisch om bij te mogen dragen in het groeien van deze omgeving. De groei blijft onze verwachtingen overtreffen. Het contentteam zelf groeit ook mee, het aanbod groeit mee en de hoeveelheid gebruikers groeit mee.

Ik ben er trots op dat we een robuuste omgeving aanbieden, waarin we gebruikers kunnen faciliteren met een rijke hoeveelheid content en de uitval van servers gewoon kunnen opvangen. En achter de schermen werken we alweer aan de volgende uitbreiding van de back-end, zodat we de betrouwbaarheid en snelheid van ArcGIS Content blijven waarborgen.

Posted in ArcGIS, ArcGIS Online, Content, Support | Tags: , , , , , | Plaats een reactie

Kennis opdoen van nieuwe apps; over hoe we dat bij Esri Nederland aanpakken

Deze zomer hebben ik en een aantal van mijn collega’s niet stilgezeten. Terwijl veel collega’s op vakantie waren, hebben wij een mini-sprint gedaan. De focus daarvan lag op het inspecteren conform inspectiestandaarden. Hoe zijn wij daartoe gekomen?

De mouwen opstropen

Er zijn veel nieuwe apps beschikbaar in het ArcGIS-platform. Apps, zoals Workforce (esri.nl/workforce) en Survey123 for ArcGIS (esri.nl/survey123), waarmee het proces van veldwerk verder is te automatiseren. Om gebruikers van ArcGIS en andere organisaties goed te kunnen adviseren over deze apps, is het belangrijk dat wij, en óók de partners van Esri, weten wat er in de praktijk mee gedaan kan worden. Mouwen opstropen en gewoon eens aan de slag gaan, is dan hoe wij bij voorkeur deze kennis en ervaring op willen doen.

Beeldkwaliteitstandaard

Samen met een paar collega’s van Esri, medewerkers van MUG Ingenieursbureau en Royal HaskoningDHV zijn wij de apps gaan testen aan de hand van een praktijkcase. We hebben ons laten inspireren door de Digispectie bij de Waterschappen. De inspecteur beoordeelt de omgeving op basis van een beeldkwaliteitstandaard. Een kering met gaten in de grasmat valt in een bepaalde klasse, zonder gaten geldt een andere klasse. Waar Digispectie een beeldkwaliteitstandaard biedt voor de waterschappen, zo zijn er ook standaarden voor andere markten. Interessant! In hoeverre kunnen wij dat dan configureren in en met ArcGIS?

Beoordeling ondersteunen

Een veel voorkomende standaard voor het inspecteren van de openbare ruimte is de beeldkwaliteitstandaard van CROW, een kennisorganisatie op het gebied van infrastructuur, openbare ruimte, verkeer en vervoer en werk en veiligheid. Hiermee wordt de inspecteur met beschrijvende teksten en voorbeeldfoto’s ondersteund bij het inspecteren van de kwaliteit van de openbare ruimte.

blog-niels-apps-innovatie-1

Proces inrichten

Bij een mini-sprint kun je niet zonder vallen en opstaan. Je leert nieuwe technieken, over bepaalde standaarden en door dit met mensen uit diverse disciplines te doen kom je ook nog eens tot nieuwe inzichten. Zo kwamen wij aan het begin al snel tot de conclusie dat alleen kijken naar een inspectie-app, waarin het beeldkwaliteithandboek verwerkt zit, niet de totale oplossing kan zijn. Het is slechts een middel. Het proces begint bij het assetmanagementsysteem; er moeten werkorders gemaakt worden en na inspectie moeten de resultaten daarvan weer teruggevoerd worden naar het assetmanagementsysteem, informatieproducten over beeldkwaliteit en eventueel een zaaksysteem.

blog-niels-apps-innovatie-2

Survey 123 en Workforce for ArcGIS

Om dit proces te faciliteren hebben wij naast Survey123 for ArcGIS gebruik gemaakt van Workforce for ArcGIS. Deze app kan gevoed worden vanuit een assetmanagementsysteem (in dit geval Castor) en binnen de Workforce Dispatcher-app in de browser kunnen werkorders toegekend worden aan inspectiemedewerkers. De medewerkers in het veld zien dan in de Workforce-app op hun device de openstaande taken en kunnen direct Survey123 for ArcGIS openen om gegevens in te winnen.

blog-niels-apps-innovatie-3

blog-niels-apps-innovatie-4Alleen relevante vragen tonen

De inspectiestandaard voor beeldkwaliteit bestaat uit een forse boomdiagram aan vragen. Als een gebruiker bij de hoofdcategorie kiest voor groen-beplanting, worden er andere vragen gesteld dan wanneer er voor meubilair gekozen worden. Vanwege de slimme formulierenfuncties van Survey123 for ArcGIS worden in het veld alleen de relevante vragen gesteld en daarbij zijn ook netjes de plaatjes die helpen bij de beoordeling te zien. Op deze manier kan de inspecteur in met een minimale inspanning digitaal beeldkwaliteit inspecteren.

Status vs beheerafspraken

Voor de medewerkers op kantoor is het, in het kader van planning, relevant om te zien welk deel van het werk gedaan moet worden en welk deel van het werk al verzet is. Met behulp Operations Dashboard for ArcGIS (esri.nl/operationsdashboard) wordt dit in een oogopslag inzichtelijk gemaakt. Het doel van de inspectie is uiteindelijk om een beeld te krijgen van de status nu voor staat wat betreft beeldkwaliteit ten opzichte van beheerafspraken. Ook dit kan in een oogopslag afgelezen worden uit het dashboard.

blog-niels-apps-innovatie-5

Weer terug in het systeem

Om het cirkeltje helemaal rond te krijgen, moeten de resultaten van de inspecties teruggevoerd worden in het assetmanagementsysteem. Bij het aanmaken van de werkorders worden locatie en ID’s van de te inspecteren objecten meegegeven. Deze gegevens worden ook automatisch ingevuld in het digitale formulier. Daarom is het eenvoudig om de uiteindelijke inspectiegegevens weer in het assetmanagementsysteem te krijgen.

Conclusie van de sprint

Terugkijkend was het een enerverende sprint. Wat mij zo aanspreekt is dat wij met een klein team in staat zijn geweest om de forse boomstructuur van de inspectiestandaard voor beeldkwaliteit zonder een regel code te schrijven hebben kunnen vangen in een zo eenvoudig mogelijk formulier in Survey123 for ArcGIS. Het doorgronden van zo’n inspectiestandaard in een paar dagen is  wel een zware kluif en het is heel handig als er vanuit het team contacten zijn met personen die hier dagelijks mee werken, die als hulplijn ingeschakeld kunnen worden. Het rond maken van de cirkel was een stuk eenvoudiger geweest als het mogelijk was om in Survey123 for ArcGIS bestaande objecten te inspecteren (dit is niet voor niets een veelgenoemde wens), juist daarom vind ik het gaaf dat wij er in zijn geslaagd om de cirkel rond te maken: de gegevens doorgeven van bronsysteem naar inspectie en weer naar bronsysteem.

Bent u ook bezig met inspectie op basis van beeldkwaliteit, of zou u deze workflow toe willen passen in combinatie met andere inspectiestandaarden? Neem contact met ons op via contact@esri.nl. We zijn benieuwd naar uw ideeën. 

Posted in Achter de schermen, Apps, ArcGIS | Plaats een reactie