Inzicht in een mooi begin van de Esri GIS Tech 2017

Voor mij persoonlijk geldt Insights for ArcGIS nog steeds als een prachtige verrassing: een totaal nieuw product met een nieuwe benadering van data analyseren. Deze tool gaat iets veranderen, dat voelden we allemaal tijdens de miniworkshop van collega Ernst Eijkelenboom. Hij gaf op kantoor een eerste demonstratie, waarbij wij meteen mee konden doen op onze eigen laptop. Omdat de potentie van Insights for ArcGIS zo enorm is, was dit jaar het onderwerp voor de preconference workshop van de Esri GIS Tech dan al snel gekozen.

insights-blogMeer dan één presentatie

De preconference workshop is voor het opleidingenteam van Esri Nederland elke Esri GIS Tech en Esri GIS Conferentie een bijzondere dag. Terwijl in het WTC het evenement wordt opgebouwd duiken wij met tientallen enthousiaste GIS’ers in een onderwerp dat speciale aandacht verdient en krijgt. Natuurlijk, de Esri GIS Tech besteedt ook aandacht aan Insights for ArcGIS. Maar voor wie graag meer hoort dan alleen die ene presentatie, is de preconference workshop dé training om aan deel te nemen.

Uniek moment

Juist omdat de preconference workshop iets speciaals is, hebben we ervoor gekozen om sprekers te laten overkomen vanuit de Verenigde Staten: Arthur Haddad en dr. Linda Beale. Zij stonden én staan aan de basis van het product en kunnen dan ook als geen ander vertellen hoe het
product is ontstaan, de gedachtegang erachter en hoe het wordt toegepast en wat de toekomstige ontwikkelingen zijn. Haddad en Beale kennen alle ins-‘n-outs van het product en zullen dat die dag ook met ons delen. Een uniek moment voor hen én voor ons: het is namelijk niet gebruikelijk dat een dergelijk nieuw innovatief deel van het platform, door de grondleggers buiten de Verenigde Staten wordt toegelicht.

Een dag met veel ‘insights’

Wat zullen we tijdens de preconference workshop allemaal behandelen? Er wordt, na een introductie, ingegaan op business intelligence concepten, het data-model en uiteraard de analyses en visualisatie mogelijkheden. Daarnaast wordt er uiteraard heel veel live gedemonstreerd. De dag wordt afgesloten met een heldere kijk op wat er nog allemaal komen gaat in de vorm van een roadmap. Kortom een dag met veel ‘insight’.

We zien enorm uit naar deze preconference workshop. Een ding is zeker: een mooier begin van de Esri GIS Tech 2017 kunnen we niet krijgen.

Inschrijven voor de Preconference Workshop is nog steeds mogelijk. Later dit jaar volgt er ook een training over Insights for ArcGIS. Voor interesse daarin kunt u een e-mail sturen naar opleidingen@esri.nl

LinkedInFacebookTwitterDeel deze blogpost
Posted in Achter de schermen, Opleidingen | Tags: , , , , , , | Plaats een reactie

Wat weet je al van NoSQL-databases?

Laatst kwam het voorbij in een gesprek: NoSQL-databases. Al eens wat over gehoord of gelezen? Deze manager wel, maar hij dacht dat er geen link was tussen NoSQL-databases en het ArcGIS-platform. Toen ik vertelde dat ze ook onderdeel zijn van het ArcGIS-platform nam het gesprek een verrassende wending.

 

Paradigmashift

Decennialang waren relationele databases de standaard. De laatste jaren zijn NoSQL-databases in opkomst en voltrekt zich in de IT-wereld een paradigmashift. Is er iets mis met relationele databases? Als we prof. Michael Stonebraker (MIT) mogen geloven wel. Stonebraker is een vooraanstaand computerwetenschapper en won diverse prijzen, waaronder in 2015 een IEEE-prijs voor het 10-Year Most Influential Paper.

Volgens Stonebraker zijn relationele databases achterhaald. Eigenlijk zijn het allemaal doorontwikkelingen van System R-software uit de jaren 70, dat weer is gebaseerd op hardware uit de jaren 70. Stonebraker stelt dus dat de softwarearchitectuur van de relationele databases van vandaag is geoptimaliseerd voor de hardware van eergisteren.

blog-boris-Michael-Stonebraker-esri

NoSQL-databases zijn een alternatief voor de gebruikelijke relationele databases, zoals Oracle, SQL Server en PostgreSQL. Op een aantal plekken in het ArcGIS-platform worden NoSQL-databases meegeleverd:

  • De Tile Cache Datastore (nieuw in 10.3.1) van Portal for ArcGIS gebruikt onder de motorkap Couchbase, een NoSQL-database.
  • De Spatiotemporal Datastore (nieuw in 10.4) van GeoEvent maakt onder de motorkap gebruik van ElasticSearch, een NoSQL-database.
  • De Big Datastore van GeoAnalytics (nieuw in 10.5) gebruikt onder de motorkap ook ElasticSearch.

Relationele databases hebben ook nadelen

Het is scherp gesteld, maar het klopt. Relationele databases hebben zich bewezen, maar er kleven ook beperkingen aan. Allereerst zijn ze ontworpen voor een statische wereld, waarin data strak is gestructureerd. Maar de praktijk is niet statisch en niet altijd strak gestructureerd. Het toevoegen, verwijderen of veranderen van kolommen is daardoor lastig: we zijn er zo vertrouwd mee dat we ons erbij hebben neergelegd dat dit nou eenmaal lastig is.

Verder hebben relationele databases moeite met big data. Ze zijn niet gemaakt om met echt veel data om te gaan. Ten slotte is horizontale schaalbaarheid (uitbreiden) duur en moeilijk. Hier heb je al snel een Storage Area Network (SAN) voor nodig – dit soort storage is duur en vraagt gespecialiseerde kennis.

 

NoSQL: sneller door anders denken

NoSQL-databases winnen terrein. Ze worden onder de motorkap gebruikt bij Facebook, LinkedIn en Google. Wat zijn NoSQL-databases en wat heb je eraan? Ze bieden support voor on- of semi-gestructureerde data en gaan flexibel om met wijzigingen in de structuur van de data.

En: NoSQL-databases bieden een betere performance. Een verklaring wordt vaak gezocht in het normaliseren van data, zoals gebruikelijk bij relationele databases. Door het normaliseren wordt data die bij elkaar hoort opgeslagen op verschillende plaatsen ‘op disk’. Er is al snel een join nodig om data bij elkaar te brengen die op verschillende plaatsen op de disk is opgeslagen. Zoals bekend zijn joins zware operaties. Oftewel: bij relationele databases komt er voor een eenvoudige dataraadpleging  al veel kijken.

blog-boris-nosql-esri

Goedkoop en makkelijk

NoSQL-databases slaan data anders op: bij elkaar, zodat er maar op een plek geschreven hoeft te worden. En voor het ophalen van data hoeft maar op een plek ‘op disk’ worden gekeken. De gedachte is dat NoSQL-databases juist daardoor zo snel zijn. Het is dus een heel andere denkwijze, vandaar dat er wordt gesproken over een paradigmashift.

Dit geeft te denken. Ook voor de manager die ik sprak. NoSQL-databases bieden horizontale schaalbaarheid op de hardware van nu. Gebruik daarom geen duur SAN, maar gebruik een stel dertien-in-een-dozijn computers. NoSQL-databases zijn ontworpen om daarop te kunnen werken. Daardoor is de specifieke specialistische kennis van SAN niet meer nodig (voor beheer) en leidt dat ertoe dat de uiteindelijke investering een stuk lager uitvalt.

 

Ook al bieden NoSQL-databases grote voordelen, Esri blijft relationele databases gewoon ondersteunen.

Posted in ArcGIS, Databases, Esri | Tags: , , , | Plaats een reactie

Vandaag is rood

De luchtfoto 25cm is begin dit jaar beschikbaar gesteld als open data. Beeldmateriaal.nl – een samenwerking tussen een aantal gemeenten, de provincies, Rijksoverheid en de waterschappen – heeft de Luchtfoto 25cm als open data vrijgegeven. Dit beeldmateriaal is veel gedetailleerder dan de huidige luchtfoto van 50cm. Met de vrijgave van de 25cm Luchtfoto zijn we ook verblijd met een ander cadeautje: de Colour Infra Red (oftewel CIR) luchtfoto. Beide datasets zijn inmiddels door Esri Nederland als onderdeel van ArcGIS Content als weblaag beschikbaar gemaakt voor ArcGIS-gebruikers. Wat is een Colour Infra Red luchtfoto eigenlijk? En wat kun je ermee?


Een gedeelte van de CIR-luchtfoto van Nederland.
Copyright beeldmateriaal.nl, Esri Nederland

 

Kleuren krijgen een andere kleur

Colour Infra Red is een bijzonder vorm van visualisatie. Het wordt ook wel ‘false colour’ genoemd, omdat de foto er voor ons nep uitziet. De foto bestaat voornamelijk uit tinten rood en grijs, wat ons niet meteen aan het groene Nederlandse landschap doet denken. Een CIR visualiseert de kleuren die wij normaal waarnemen op een andere manier. Maar nog belangrijker, behalve de gebruikelijke RGB (rood/groen/blauw) banden van een gewone kleurenfoto, wordt ook infrarood gebruikt. Dit licht is normaal niet met het blote oog waarneembaar, maar in een CIR-afbeelding krijgt infrarood een rode kleur. Het gewone rood wordt groen, groen wordt blauw en blauw wordt zwart:

blog-cir-luchtfoto-25cm-esri-rood

 

Vegetatie analyseren

Dit heeft niet alleen een interessant effect op de afbeelding van de foto, maar het betekent ook dat bepaalde zaken er beter door te zien zijn. Door de foto te bekijken is er al veel uit halen! Met name het infrarood is belangrijk. Infrarood weerspiegelt namelijk op het chlorofyl, het groen in planten. CIR wordt daarom ook meestal gebruikt om vegetatie te analyseren. Hoe gezond is de vegetatie? Wat voor soorten bomen groeien daar? De verschillende tinten rood kunnen duiden op gezonde, snel groeiende vegetatie (veel chlorofyl is felrood) of juist zieke of dode planten (lichtroze) en het is ook mogelijk om verschillende plantensoorten te onderscheiden aan de hand van hun chlorofylwaarden. Zo hebben naaldbomen minder chlorofyl omdat ze geen bladeren hebben, en zijn dus ook minder felrood gekleurd.

 

Kunstmatige objecten

Deze eigenschap zorgde ervoor dat CIR-fotografie voor het eerst al werd gebruikt in de Tweede Wereldoorlog. Omdat het verschil tussen vegetatie en niet-vegetatie snel is te zien, kon gericht camouflagemateriaal opsporen. Behalve vegetatie kun je ook andere informatie uit een CIR-luchtfoto halen. Nu is het verschil duidelijk te zien als we bijvoorbeeld naar sportvelden kijken. In een CIR-afbeelding wordt een veld van kunstgras weergegeven met grijs, terwijl een veld van natuurlijk gras met rood is afgebeeld. Door de mens gemaakte objecten zijn namelijk vaak grijs, met de uitzondering van kunstmatige objecten die rood of blauw/groen zijn, deze worden immers als groen en respectievelijk paars aangegeven. Zo kun je zien hoe verstedelijkt een gebied is. En: is een weg verhard of onverhard? Colour Infra Red ken ik zelf al langer. In archeologie, waar ik een achtergrond in heb, wordt via CIR gekeken naar onregelmatigheden die kunnen wijzen op archeologische sites, zoals celtic fields.

blog-cir-luchtfoto-25cm-esri-rood-2
De grachten van Amsterdam in Colour Infra Red, waarbij rode daken groen worden afgebeeld. Copyright Beeldmateriaal.nl, Esri Nederland.

 

Effect op water

Wat is eigenlijk de staat van het water? Water kan verschillende kleuren hebben, wat afhangt van de diepte en de helderheid van het water. Diep, helder water, wordt in een CIR-afbeelding als zwart afgebeeld. Als het water ondiep is (en daarom de bodem nog weerkaatst wordt) of het water troebel is (en er dus veel organische deeltjes in het water weerkaatst worden), wordt dit in een CIR-afbeelding blauw.

blog-cir-luchtfoto-25cm-esri-rood-3
Water kan in een CIR-afbeelding verschillende kleuren hebben, afhankelijk van de diepte en helderheid. Copyright Beeldmateriaal.nl, Esri Nederland.

 

Nieuwe kleurverdeling

De nieuwe Colour Infra Red luchtfoto is een gedetailleerde luchtfoto, maar met een nieuwe kleurverdeling. Dit kan het eenvoudiger maken om bepaalde objecten beter te herkennen en te analyseren. Bijvoorbeeld om het landschap te analyseren, vegetatie te monitoren, wordt er gekeken naar kunstmatige (door de mens gecreëerde) elementen in het landschap. CIR wordt ook voor militaire doeleinden gebruikt, omdat kunstmatige camouflage gemakkelijk is te herkennen.

 

Heeft u de nieuwe CIR-luchtfoto al voor een project gebruikt? Laat het ons weten via content@esri.nl!

 

Klik hier voor de nieuwe RGB luchtfoto 25cm weblaag

Klik hier voor de nieuwe CIR-luchtfoto 25cm weblaag

Bekijk de speciale StoryMap over de nieuwe beelden van de CIR Luchtfoto 25cm

Bekijk de speciale StoryMap over de nieuwe beelden van de Luchtfoto 25cm

Posted in ArcGIS, Content, open data | Plaats een reactie

IT-beveiliging is serious business

Digitale beveiliging is niet langer een technisch onderwerp. Door de technologische ontwikkelingen raakt het onderwerp digital security tegenwoordig de hele organisatie. Het beveiligingsbeleid moet daarom niet door IT, maar door de business opgesteld worden. Een goede afstemming met IT is uiteraard wel noodzakelijk. Onderwerpen als bedrijfsstrategie, enterprise architectuur en governance spelen bij het opstellen van het beveiligingsbeleid belangrijke rollen.

Digitaal leven en werken

Dat beveiliging niet langer alleen een IT-aangelegenheid is heeft drie belangrijke redenen. De eerste reden is dat ons leven de laatste jaren veel digitaler is geworden. Steeds meer werkprocessen of delen van werkprocessen worden met behulp van computers of mobiele devices uitgevoerd en het digitale werken vindt ook steeds meer zowel op kantoor als buiten in het veld plaats. IT heeft daarmee een centrale rol in de hele organisatie gekregen en is overal aanwezig. Tegelijkertijd heeft digitale technologie ook in ons privéleven een steeds grotere rol gekregen. Bijna iedereen heeft tegenwoordig een smartphone of tablet en de meeste mensen kunnen bijna overal en altijd online zijn. Beide werelden, privé en zakelijk, zijn door het gebruik van digitale technologie meer en meer verweven geraakt en door elkaar heen gaan lopen.

Het karakter van cybercrime is veranderd.

Het karakter van cybercrime is veranderd. De beveiliging is niet alleen een verantwoordlijkheid voor IT.

Malware, DDoS, hacks, social engineering

Een tweede reden is dat het karakter van cybercrime veranderd is. De manier waarop organisaties worden aangevallen is anders dan een paar jaar geleden. Voorheen hadden organisaties vaak te maken met virussen. De laatste jaren is de aandacht verschoven naar aanvallen met ransomware en naar het hacken van omgevingen. De nadruk ligt tegenwoordig minder op het beschadigen of vernietigen van gegevens en meer op het blokkeren van toegang tot gegevens en systemen of diefstal van persoonlijke gegevens. Malware – met name ransomware – vormt een steeds grotere bedreiging voor organisaties. Toegang tot bedrijfsgegevens wordt hierbij geblokkeerd door deze gegevens te encrypten. Tegen betaling van ‘losgeld’ kunnen de gegevens weer worden vrijgegeven. Ook DDoS-aanvallen nemen in aantal en omvang toe. Bij dit soort aanvallen wordt een zeer groot aantal vragen aan een systeem gesteld waardoor dit systeem door overbelasting tijdelijk onbruikbaar of ontoegankelijk wordt. Een andere grote bedreiging vormt de diefstal van enorme hoeveelheden, vaak privacygevoelige, gegevens. Via hacks verschaffen aanvallers zich toegang tot een systeem waarbij de data worden buitgemaakt. Deze gegevens kunnen later verhandeld worden of via openbare websites publiek bekend gemaakt worden. Een laatste verandering is dat het gevaar voor aanvallen niet langer vooral van buiten de organisatie komt meer in toenemende mate van binnenuit de organisatie komt. Social engineering speelt hierbij een steeds grotere rol. Via medewerkers wordt geprobeerd om op sluwe wijze toegang tot bedrijfssystemen te verkrijgen. Medewerkers worden hierbij misleid of soms zelfs gechanteerd.

Aangescherpte wetgeving

Een laatste reden dat digitale beveiliging niet langer primair een verantwoordelijkheid voor IT is, komt door de veranderde wetgeving rond dit onderwerp. Er gelden strengere regels, zoals bijvoorbeeld beschreven in de ‘Meldplicht datalekken’ en boetes voor overtredingen zijn erg hoog. Ook zijn er veel verschillende wetten en regels, zowel vanuit de landelijke overheid maar ook vanuit de EU, zoals de algemene verordening gegevensbescherming. Deze strenge regels gaan de hele organisatie aan. Iedereen heeft de plicht om op een veilige manier met privacygevoelige gegevens om te gaan en om verantwoord met digitale technologie te werken.

Voor digitale veiligheid is nieuw beleid en mogelijk zelfs een aangepaste bedrijfsstrategie nodig.

Voor digitale veiligheid is nieuw beleid en mogelijk zelfs een aangepaste bedrijfsstrategie nodig.

Beleid en bedrijfsstrategie

Digitale veiligheid is een complex onderwerp geworden, waarvoor nieuw beleid en mogelijk zelfs een aangepaste bedrijfsstrategie nodig is. De verantwoordelijkheid hiervoor ligt daarom dan ook bij de business, waardoor IT-beveiliging serious business is geworden.

 

Jack van der Horst blogt vanaf nu met regelmaat over onderwerpen binnen het thema informatiemanagement. Heeft u een vraag over informatiemanagement of wilt u reageren op deze blogpost? E-mail naar jvanderhorst@esri.nl

Het ArcGIS-platform biedt een ruime keus aan mogelijkheden om aan de specifieke wensen en eisen van een organisatie op het gebied van security tegemoet te komen. Er is daardoor ook niet één antwoord op de vraag hoe de beveiliging van een Web GIS ingericht moet worden. De specialisten van Esri kunnen helpen bij het maken van de juiste keuzes en het toepassen van best practices. 

Posted in Beveiliging | Plaats een reactie

ArcGIS Content, het nieuwe keukengereedschap

In mijn vorige blog schreef ik over een kijkje in onze keuken. Over hoe we in 5 jaar tijd zijn gegroeid van een Nederlandse topografische basiskaart naar een breed pallet aan content en alle technologische uitdagingen die daarbij komen kijken. Maar we zitten niet stil, het aanbod blijft groeien en het gebruik neemt steeds meer toe. Dat betekent dat ons platform ook moet meegroeien. Als beheerder van de omgeving voor ArcGIS Content deel ik graag met jullie waar we nu en in de nabije toekomst aan werken: zeg maar het nieuwe keukengereedschap.

Het ‘DevOps-principe’

DevOps is een inkorting van Developers Operators en het houdt de samenwerking in tussen deze twee groepen. Maar belangrijker is de samenwerking tussen verschillende disciplines. Omdat het content-team een relatief klein team is, zijn de taken al multidisciplinair verdeeld tussen de medewerkers. Nu is het beheer daar ook in opgenomen en werk ik nauw samen met de content engineers, zodat we elkaars werk goed begrijpen en elkaars keuzes kunnen begrijpen en afstemmen. Dit heeft mij heel veel geholpen bij het ontwikkelen van scripts en snellere releases van de infrastructuur en content. Dit principe sluit ook heel goed aan bij het agile werken, iets wat we al geruime tijd gewend zijn om te doen.

Veranderingen: webcaching proxy

De architectuur voor ArcGIS Content verandert drastisch. De meest voor ons in het oog springende wijziging is de introductie van een webcaching proxy. In eerste instantie gaan de basiskaarten op specifieke proxyservers geplaatst worden, zodat de achterliggende servers worden ontlast. We hebben namelijk het punt bereikt dat een dedicated cache voor de basiskaarten efficiënter is dan steeds meer servers in te zetten, waar de caches ook gepubliceerd staan. De backend blijft uiteraard nog steeds ArcGIS en de webcaching proxy is niet meer dan een kopie van de cache van de ArcGIS-server. De REST-interface, het opvragen van de offline basiskaart-packages en dynamische mapservices blijven nog steeds het domein van ArcGIS. Echter, doe je als gebruiker een verzoek naar een plaatje van een basiskaart, dan komt dit verzoek nooit bij onze ArcGIS-server terecht, maar wordt direct door de webcache afgehandeld. Voor gebruikers overigens een wijziging waar niets van te merken is, alles blijft werken zoals het werkt en net zo snel als eerst. Wellicht zelfs iets sneller.

Een webcache is overigens pas interessant bij heel veel hits. Wij verwerken per dag meer dan vijf miljoen hits op alleen de basiskaarten. Voor deze basiskaarten zetten we nu al meerdere ArcGIS-servers in. Het inrichten en onderhouden van een webcache vergt veel kennis, tijd en extra computerkracht. Bij minder belasting is een webcache simpelweg niet rendabel en is out-of-the-box ArcGIS beter te gebruiken, of gewoon ArcGIS Online.

Veranderingen: automatisch ‘uitrollen’

Een andere belangrijke verandering in de infrastructuur is het automatisch ‘uitrollen’. We gebruiken hier een zogeheten end-state configuration tool voor. Wij geven in een configuratiebestand aan wat de beoogde configuratie is en deze programmatuur zorgt ervoor dat alle servers afgestemd worden op deze beoogde situatie. Dit heeft voor ons twee belangrijke voordelen. We kunnen zeer eenvoudig een kopie van onze omgeving inrichten voor testdoeleinden en we kunnen extra servers toevoegen als de belasting toeneemt. We weten via een dergelijke end-state configuration in elk geval zeker dat alle servers identiek aan elkaar zijn. Of het nu een loadbalancer, een ArcGIS-server of een webcache is.

Dit zijn mooie ontwikkelingen die technologisch gezien erg interessant zijn. Wie mij een beetje kent, weet dat ik urenlang kan doorpraten over dit werk en hoeveel plezier ik eraan beleef. Gelukkig houdt mijn werk na het inrichten van deze veranderingen niet op: big data komt ook om de hoek kijken.

Posted in Achter de schermen, Content | Tags: , , , | Plaats een reactie