Tag Archives: Esri

Wat weet je al van NoSQL-databases?

Laatst kwam het voorbij in een gesprek: NoSQL-databases. Al eens wat over gehoord of gelezen? Deze manager wel, maar hij dacht dat er geen link was tussen NoSQL-databases en het ArcGIS-platform. Toen ik vertelde dat ze ook onderdeel zijn van het ArcGIS-platform nam het gesprek een verrassende wending.

 

Paradigmashift

Decennialang waren relationele databases de standaard. De laatste jaren zijn NoSQL-databases in opkomst en voltrekt zich in de IT-wereld een paradigmashift. Is er iets mis met relationele databases? Als we prof. Michael Stonebraker (MIT) mogen geloven wel. Stonebraker is een vooraanstaand computerwetenschapper en won diverse prijzen, waaronder in 2015 een IEEE-prijs voor het 10-Year Most Influential Paper.

Volgens Stonebraker zijn relationele databases achterhaald. Eigenlijk zijn het allemaal doorontwikkelingen van System R-software uit de jaren 70, dat weer is gebaseerd op hardware uit de jaren 70. Stonebraker stelt dus dat de softwarearchitectuur van de relationele databases van vandaag is geoptimaliseerd voor de hardware van eergisteren.

blog-boris-Michael-Stonebraker-esri

NoSQL-databases zijn een alternatief voor de gebruikelijke relationele databases, zoals Oracle, SQL Server en PostgreSQL. Op een aantal plekken in het ArcGIS-platform worden NoSQL-databases meegeleverd:

  • De Tile Cache Datastore (nieuw in 10.3.1) van Portal for ArcGIS gebruikt onder de motorkap Couchbase, een NoSQL-database.
  • De Spatiotemporal Datastore (nieuw in 10.4) van GeoEvent maakt onder de motorkap gebruik van ElasticSearch, een NoSQL-database.
  • De Big Datastore van GeoAnalytics (nieuw in 10.5) gebruikt onder de motorkap ook ElasticSearch.

Relationele databases hebben ook nadelen

Het is scherp gesteld, maar het klopt. Relationele databases hebben zich bewezen, maar er kleven ook beperkingen aan. Allereerst zijn ze ontworpen voor een statische wereld, waarin data strak is gestructureerd. Maar de praktijk is niet statisch en niet altijd strak gestructureerd. Het toevoegen, verwijderen of veranderen van kolommen is daardoor lastig: we zijn er zo vertrouwd mee dat we ons erbij hebben neergelegd dat dit nou eenmaal lastig is.

Verder hebben relationele databases moeite met big data. Ze zijn niet gemaakt om met echt veel data om te gaan. Ten slotte is horizontale schaalbaarheid (uitbreiden) duur en moeilijk. Hier heb je al snel een Storage Area Network (SAN) voor nodig – dit soort storage is duur en vraagt gespecialiseerde kennis.

 

NoSQL: sneller door anders denken

NoSQL-databases winnen terrein. Ze worden onder de motorkap gebruikt bij Facebook, LinkedIn en Google. Wat zijn NoSQL-databases en wat heb je eraan? Ze bieden support voor on- of semi-gestructureerde data en gaan flexibel om met wijzigingen in de structuur van de data.

En: NoSQL-databases bieden een betere performance. Een verklaring wordt vaak gezocht in het normaliseren van data, zoals gebruikelijk bij relationele databases. Door het normaliseren wordt data die bij elkaar hoort opgeslagen op verschillende plaatsen ‘op disk’. Er is al snel een join nodig om data bij elkaar te brengen die op verschillende plaatsen op de disk is opgeslagen. Zoals bekend zijn joins zware operaties. Oftewel: bij relationele databases komt er voor een eenvoudige dataraadpleging  al veel kijken.

blog-boris-nosql-esri

Goedkoop en makkelijk

NoSQL-databases slaan data anders op: bij elkaar, zodat er maar op een plek geschreven hoeft te worden. En voor het ophalen van data hoeft maar op een plek ‘op disk’ worden gekeken. De gedachte is dat NoSQL-databases juist daardoor zo snel zijn. Het is dus een heel andere denkwijze, vandaar dat er wordt gesproken over een paradigmashift.

Dit geeft te denken. Ook voor de manager die ik sprak. NoSQL-databases bieden horizontale schaalbaarheid op de hardware van nu. Gebruik daarom geen duur SAN, maar gebruik een stel dertien-in-een-dozijn computers. NoSQL-databases zijn ontworpen om daarop te kunnen werken. Daardoor is de specifieke specialistische kennis van SAN niet meer nodig (voor beheer) en leidt dat ertoe dat de uiteindelijke investering een stuk lager uitvalt.

 

Ook al bieden NoSQL-databases grote voordelen, Esri blijft relationele databases gewoon ondersteunen.

LinkedInFacebookTwitterDeel deze blogpost
Posted in ArcGIS, Databases, Esri | Tags: , , , | Plaats een reactie

Verhaal delen, via een video

Waar we ook zijn, overal kijken we video. Altijd, overal en op elk device. Ik maak, net als velen met mij, massaal gebruik van YouTube en Netflix, video’s op social media, ik kijk uren Olympische Spelen. Het is zelfs mogelijk om ‘live’ uit te zenden via Facebook.

Marieke-overdenkt-video

Het is niet gek dat er zoveel gebruik wordt gemaakt van video. Video is een erg handig middel om een verhaal van iemand te vertellen: beelden versterken de woorden. Ook een product uitleggen is ideaal met video.

De laatste jaren bieden we ook vanuit Esri Nederland steeds meer video: zo kunt u de evenementen terugkijken, vertellen klanten hun verhaal en delen we ook video’s met beelden van ArcGIS. En dat is allemaal eenvoudig terug te vinden op ons YouTube-kanaal.

Eind juni, op de Esri User Conference in San Diego, nam ik een kijkje bij de studio die Esri op de beursvloer had. Ze deden interviews voor het wereldwijde kanaal van Esri, E380. Dit jaar met voor het eerst Nederlandse bezoekers die geïnterviewd werden! Het eerste interview staat al online: Evert Wind van de Provincie Zuid-Holland die vertelt over de Staat van Zuid-Holland.

Wat me opviel aan de opnames voor E380: het ging gemakkelijk. Alsof het dagelijks kost is om in zo’n studio te zitten. Doordat video zo normaal is geworden, wordt het ook eenvoudiger om iets voor de camera te vertellen.

We experimenteren vanuit Esri Nederland veel in hoe we u als klant het best kunnen inspireren of verder helpen. Er eerst nog eens goed over nadenken kan overigens geen kwaad. Daarom bezocht ik dit jaar het Online Video Event. Met inspirerende voorbeelden van o.a. Burgers Zoo en LindaTV. Genoeg om bij thuiskomst nog even op de bank (zonder de tv aan te zetten) over na te denken… Informatie delen via video. Hier moet meer in zitten.

Posted in Achter de schermen | Tags: , , , , , , | Plaats een reactie

Over de techniek van een technisch artikel

Wellicht heb je er al eens rondgeneusd: onze webpagina’s met tientallen technische artikelen. Er is hier van alles te vinden over onze producten, van handleidingen tot handige tips en tricks en nog veel meer. Op de basispagina kun je eerst kiezen over welk gebied je iets wilt lezen. Daarna is het mogelijk om verder te zoeken naar een specifiek onderwerp.

Allerlei onderwerpen

Wil je bijvoorbeeld weten hoe je een Concurrent Use-licentie voor ArcGIS for Desktop kunt autoriseren? Of hoe je de performance van ArcSDE kunt verbeteren? Of misschien ben je op zoek naar de oplossing voor de ‘invalid token’-melding bij Operations Dashboard for ArcGIS? Al deze onderwerpen – en nog veel meer – zijn terug te vinden in onze technische artikelen.

Geschreven door medewerkers

Hoe ontstaat zo’n technisch artikel eigenlijk? De artikelen zijn geschreven door medewerkers van Esri Nederland. Meestal door iemand van de supportafdeling, soms van een andere afdeling. De onderwerpen voor een nieuw artikel kunnen worden aangedragen door collega’s, maar ook door onze klanten. We kiezen zoveel mogelijk onderwerpen die voor veel van onze klanten relevant zijn.

Soms voorbij support

In een aantal gevallen zijn dit artikelen over onderwerpen die buiten support vallen, zoals de PDOK, maar het kunnen ook juist onderwerpen zijn waar we bij support veel vragen over binnenkrijgen, zoals de installatie van ArcGIS for Desktop. Via de technische artikelen kunnen we de gebruikers van ArcGIS dan toch nog een beetje op weg helpen.

Voor een oplossing of inspiratie

Onlangs hebben we met ons supportteam een brainstorm gehouden over nieuwe technische artikelen en we hebben een interessant aantal onderwerpen gevonden. De komende maanden zullen deze geschreven worden op de website gezet worden. Houd deze dus in de gaten voor nieuwe artikelen. Het zou zomaar dat ene probleem op kunnen lossen waar je al tijden een oplossing voor zoekt. Of wellicht inspireert een artikel tot een nieuwe werkwijze, waardoor je je werk naar een nog hoger niveau kan tillen.

Ga naar de Technische artikelen

Heeft u een verzoek voor een technisch artikel, e-mail mij via contact@esri.nl 

Posted in Achter de schermen, Support | Tags: , , | Plaats een reactie

Open data, the battle

Het was in de herfst van 2010 toen we bij Esri Nederland voor het eerst tegen het concept ‘open data’ aanliepen. We waren meteen enthousiast. Als organisaties zonder beperkingen data ter beschikking stellen, kunnen anderen daarmee iets nieuws maken. Zou de data dan ook nog structuur hebben en actueel zijn, dan neemt de kans alleen maar toe.

app-waterDelen

Nu 5 jaar later is het dromen en filosoferen over open data grotendeels realiteit geworden – hoewel werken met open data af en toe een gevecht is geweest. Esri heeft anderen mogen ondersteunen om datasets open te maken en we delen onze kennis op dit gebied. Ook gebruiken we zelf open data om bijvoorbeeld tot nieuwe basiskaarten te komen. Ten slotte stellen we nieuwe datasets als open data ter beschikking, zoals bijvoorbeeld de postcodekaart van Nederland.

Ideation
Ondanks dit blijft aandacht voor open data noodzakelijk. Wedstrijden, die uitnodigen om met open data te stoeien, zijn daarvoor een goed middel. Dit proces wordt ook wel ‘ideation’ genoemd. Rijkswaterstaat en KNMI hebben daarom een heuse Open Data Battle georganiseerd. Wij voelden ons uitgedaagd door de vele datasets.

Aan de slag

Na de uitgebreide toelichting, tijdens de informatiedag gegeven door de verschillende bronhouders van de open data, hebben wij eerst organisatiebreed een oproep gedaan. Met een groep collega’s zaten we via een conference call ‘bij elkaar’ en werden een hoop ideeën gedeeld. We zijn aan de slag gegaan met de vraag: ‘Is het mogelijk een routeplanner voor ‘op het water’ te bouwen, rekening houdend met de hoogte van een boot en eventueel sluistijden? We voelden bij dit idee wat lichte frustratie van een paar collega’s doorklinken, wat altijd een goede motivator is voor een innovatief idee.sluis

How it’s made

Uit de data van opendatabattle.nl hebben we de vaarwegen en bruggen geselecteerd (bron: NWB). Vervolgens hebben we per brug de maximale hoogte, bij geopende en gesloten status, bepaald. In een aparte kolom hebben we aangegeven of bruggen open kunnen, of niet. Dit heeft namelijk wel effect op de voorgestelde route. Het lijnsegmentenbestand van vaarwegen hebben we opgesplitst om zo navigeren vanaf en tot aan een brug mogelijk te maken. Zo is een nieuw netwerk opgebouwd, voorzien van routeringsparameters. Dit nieuwe netwerk hebben we als (REST-)service gepubliceerd, die vervolgens door de webapplicatie is ontsloten.*

En nu?

Met een nominatie op zak zijn we benieuwd waar we in ‘the battle’ eindigen. We hadden graag wat meer tijd gehad om een breder netwerk van organisaties te laten aansluiten bij deze data. Deze versie van ‘WegWijs op het Water‘ (de alliteratie is van collega Marcel de Rink) zien we als een soort halffabricaat, waarmee we vooral ook anderen op een idee willen brengen. Omdat de open data van Rijkswaterstaat en KNMI nog veel meer mogelijk maken kunnen we dit idee met een andere partij samen een stap verder brengen? We blijven nog even grasduinen door de verschillende databronnen. Daar zijn nog veel ideeën uit te halen. Voorlopig kunnen we nog aan de slag met het waarmaken van onze dromen en filosofieën over open data.

*Voor de geïnteresseerden: de gebruikte tools zijn Network Analyst, de ETL-tool ArcGIS Data Interoperability, ArcGIS for Server, HTML5, ArcGIS JavaScript API en een aantal standaard widgets. Voor meer informatie, e-mail naar Mark Jagt via contact@esri.nl

wegwijs-water

Posted in Achter de schermen, Apps, open data | Tags: , , , , , , , , , | Plaats een reactie

Stagelopen in 3D

‘Stageplaats 3D-GIS bij Esri Nederland’, lees ik. Nog maar net terug van vakantie, maar ik ben in m’n hoofd al druk bezig met de voorbereidingen voor mijn afstudeerscriptie. Via de Facebookgroep van mijn studie (ik ben tweedejaars master student Geo-Information Science aan de Wageningen Universiteit) verschijnt de vacature. Al snel word ik uitgenodigd voor een gesprek en nog sneller begin ik: “Bij Esri houden we niet van gedoe”, legt mijn stagebegeleider Niels van der Vaart uit.

Spannend en leuk

3d-egc

De Esri GIS Conferentie was
de eerste ervaring.

Misschien cliché, maar alles stond even op z’n kop. In twee weken leerde ik samen met een aantal andere stagiairs en nieuwe medewerkers de afdelingen en visie van het bedrijf kennen. Interessant en leerzaam, maar ook behoorlijk intensief. Daarnaast stond meteen het grootste GIS-evenement van de Nederland voor de deur: de jaarlijks door Esri georganiseerde Esri GIS Conferentie. Hier zag ik voor het eerst buiten de academische context hoe wijdverbreid en ingrijpend de invloed van geo-informatie al is. Een bijzonder spannende en leuke introductie in het bedrijf en de vele toepassingen van het ArcGIS-platform.

Het vertrouwde loslaten

sint-jan

3D in ArcGIS Pro, net even anders.

Ik ben behoorlijk onder de indruk van de mogelijkheden van 3D-GIS en beschrijf in een aantal blogposts mijn ervaringen als stagiair. Het valt mij op dat 3D-GIS in het begin behoorlijk anders aanvoelt en werkt dan 2D-GIS: de vertrouwde handelingen en ‘trucjes’ moet ik loslaten. Mooi vind ik dat CityEngine een flinke brug slaat tussen enerzijds de GIS-wereld en anderzijds de ontwerpwereld. Binnen deze stage belicht ik de integratie en toepassing van 3D-GIS-data ook in deze nieuwe context. Denk aan visualisatie door middel van rendering software, de mogelijkheden van virtual reality, en het ontsluiten van 3D-webscenes. Zo draag ik hopelijk een klein beetje bij aan de verdere introductie van 3D-GIS in Nederland!

Posted in 3D, Achter de schermen, Werken bij Esri Nederland | Tags: , , , , , , | Plaats een reactie