Maandelijks Archief: mei 2018

Starten met big data: van ambitie naar inzicht

Steeds meer organisaties hebben de ambitie om actief big data in te zetten. Deze organisaties staan voor een grote uitdaging: hoe kom je van die verschillende datastromen tot een bruikbaar inzicht en dus waarde voor de business? Dagelijks werk ik met diverse organisaties aan deze uitdaging via bijvoorbeeld pilots. Daarbij komen twee aspecten regelmatig terug. Hoe pak ik het technisch inhoudelijk aan? En hoe pak ik het organisatorisch aan? In dit blog deel ík mijn ervaring over deze pilots en geef ik wat gerichte adviezen.

Datagedreven en informatiegestuurd werken
De ambitie om big data in te zetten, is vaak onderdeel van het beleid om datagedreven en informatiegestuurd te werken. Organisaties beseffen dat het benutten van beschikbare realtime datastromen en het analyseren van de enorme hoeveelheden aan data dat daaruit voorkomt, antwoorden kan bieden op vraagstukken waar ze al langer mee worstelen. Het geef inzicht zoals nooit tevoren. Het besef of de ambitie moet nu daadwerkelijk worden omgezet naar een concreet plan van aanpak. Maar welke technische en procesmatig stappen zijn daarvoor nodig?

HET TECHNISCHE ASPECT
Bij het werken met realtime en big data hanteren we technisch inhoudelijk vaak de volgende stappen om tot inzicht te komen.

Stap 1: Verwerk de data
Het binnenhalen en verwerken of bewerken van realtime data met ArcGIS GeoEvent Server. Met deze realtime verwerking kunnen we ook realtime gebeurtenissen detecteren en op basis hiervan alarmeringen inrichten in een bedrijfsproces op de kaart, in dashboards of andere middelen zoals sms of e-mail. Denk hierbij aan het detecteren van overschrijdingen van bepaalde waarden bij statische sensoren of aan het binnenkomen of verlaten van bepaalde gebieden bij dynamische sensoren zoals gps signalen.

Stap 2: Sla de data op
De realtime data die binnen wordt gehaald, kan tevens opgeslagen worden in de Spatiotemporal Big Data Store. Deze database is gebaseerd op ElasticSearch-technologie, waarmee een enorme hoeveelheid data extreem efficiënt opgeslagen kunnen worden. Heeft de organisatie al ergens anders big data opgeslagen? Dan kunnen we hier ook op aansluiten of deze data overbrengen naar de Spatiotemporal Big Data Store. Voordeel van dit laatste is (de naam zegt het al) dat de data over ruimte (spatio) en tijd (temporal) bekeken kan worden vanuit deze database.

Stap 3: Visualiseer het resultaat
Aangezien de Spatiotemporal Big Data Store automatisch on-the-fly de data over tijd en ruimte kan aggregeren en visualiseren is het eenvoudig om patronen over tijd en ruimte te ontdekken in de kaart.

Stap 4: Analyseer patronen en krijg inzicht
Ten slotte is het zaak om de waargenomen patronen door middel van verdere analyse hard te maken of op basis van de opgeslagen data nieuwe analyses uit te voeren voor verder inzicht. Met GeoAnalytics Server is het mogelijk om tijd-ruimte-analyses die we kennen vanuit het GIS, ook uit te voeren op big data door serverkracht te benutten bij de berekeningen.

HET ORGANISATORISCHE ASPECT
Organisatorisch zijn er natuurlijk veel afhankelijkheden per organisatie. Toch is er een aantal succesfactoren te definiëren.

Stap 1: Begin klein
Begin vanuit een vraag, niet meteen vanuit de businesswaarde. Als het antwoord gevonden is, valt vaak pas te bepalen hoeveel waarde het antwoord voor de business heeft. Klein beginnen kan goed in de vorm van een pilot. Hiervoor bieden wij vanuit Esri bijvoorbeeld het Sense Data Lab aan. Dit is een complete GIS-omgeving die we beschikbaar stellen ten behoeve van pilots met organisaties die de waarde van realtime en big data GIS willen verkennen.

Stap 2: Zorg voor de beschikking over kennis en tools
De GIS-tools zijn dus beschikbaar in het Sense Data Lab. GIS-tooling aanvullen met andere niet ruimtelijke analyse tools kan helpen. Zo heeft elke tool bepaalde sterke punten waar we gebruik van kunnen maken. Ook is het goed om de kennis van betrokkenen multidisciplinair te laten zijn.

Stap 3: Opschalen van de uitgewerkte analyse
Nadat de analyse compleet is uitgedacht en succesvol is uitgevoerd op een subset van de data, is het zaak om de analyse te herhalen op de complete dataset. Daarbij kan zo nodig de rekenkracht ook opgeschaald worden door het toevoegen van servers.

Stap 4: Successen delen en borgen binnen de organisatie
Na een succesvolle pilot delen we de successen van de pilot binnen de organisatie en denken we met de organisatie mee over meer vraagstukken die met de inzet van big data beantwoord kunnen worden. Tevens bespreken we hoe we de opgedane kennis kunnen borgen binnen de organisatie en welke tools de organisatie permanent tot zijn beschikking wil hebben.

Zo starten we met een enkele vraag waar de organisatie al langer mee worstelt en eindigen we met een omgeving die klaar is voor meer big data vraagstukken.  Zo kan er actief big data ingezet worden en datagedreven en informatiegestuurd gewerkt worden.

Meer informatie
Wilt u meer informatie over hoe u realtime data of big data effectief kunt inzetten in uw organisatie? Neem voor meer informatie contact met mij op via contact@esri.nl.

Wilt u de potentie van realtime data of big dat verkennen? Dat kan nu in het Sense Data Lab. Esri Nederland heeft dit lab ingericht zodat organisaties snel, veilig en in vrijheid de potentie van realtime en big data GIS kunnen verkennen in de vorm van pilots.

Posted in ArcGIS, Smart communities | Tags: , , , | Reacties uitgeschakeld voor Starten met big data: van ambitie naar inzicht

Over content zoeken… en vinden!

Regelmatig ben ik in ArcGIS Online aan het struinen naar interessante data. En wat mij dan het meeste opvalt is hoevéél data er gedeeld wordt. Mooi dat dit gebeurt in de community! Er is ook een keerzijde aan de enorm grote hoeveelheid beschikbare data: het is soms moeilijk om tussen de kaartlagen de kaart te zien…

Status van de data

Esri is druk bezig om de zoekervaring binnen ArcGIS Online te verbeteren. Enkele voorbeelden hoe gebruikers beter kunnen zoeken binnen de organisatie:

Geef  een status mee aan de data, namelijk autoritatief of verouderd. Autoratief wil zeggen dat het actuele data betreft.

Categorieën in ArcGIS Online

En sinds de laatste update van ArcGIS Online is het ook mogelijk om categorieën te gebruiken. Dit zijn allemaal hulpmiddelen om de intern beschikbare data zo goed mogelijk te vinden.

Bij het zoeken buiten de organisatie is nog wel wat extra hulp nodig. Veel data die wel openbaar gedeeld is, bevat namelijk nauwelijks informatie over wat er in de laag staat. Zorg er dus voor dat de items een goede titel, labels en een beschrijving hebben (het liefst met een duidelijke thumbnail). Dan is het al veel eenvoudiger om data te vinden.

En Esri doet mee, zo zijn er in de Levende Atlas al categorieën geïntroduceerd:

Er staat bij een item aangegeven wanneer deze uit de Levende Atlas komt:

Het wereldbolletje links onderin geeft aan dat het een item is uit de Levende Atlas.

Daarnaast blijft Esri de zoekmogelijkheden in ArcGIS Online uitbreiden. Bij elke update, vier keer per jaar, groeien de mogelijkheden om snel bij de informatie te komen die u zoekt.

Tot slot nog dit: als u goede ideeën heeft over hoe het zoeken nóg beter kan, vergeet deze ideeën dan niet in te dienen op http://ideas.arcgis.com.

 

Posted in ArcGIS, Content | Tags: , , , | Reacties uitgeschakeld voor Over content zoeken… en vinden!

Combineer Arcade met HTML voor levensechte pop-ups

Op de Esri GIS Tech is het al voorbij gekomen; het aanpassen van kleuren in de pop-up met behulp van de expressietaal Arcade. Dit is één van de methoden die is toegepast om de pop-up van de hectometerborden zo realistisch mogelijk te maken. De Arcade-expressies zijn toegevoegd in de HTML-code van de pop-up. Door het combineren van de opmaak (HTML) met expressies (Arcade) wordt de opmaak dynamisch aangepast, wat extra mogelijkheden biedt.

Een voorbeeld is het aanpassen van kleur van A-weg of N-weg in het hectometerbord. Om welk type weg het gaat, staat aangegeven in een veld in de service. Op basis van dit veld kan je een Arcade-expressie maken die voor beide opties een hexademicale waarde teruggeeft die de kleur aangeeft. Als vervolgens deze expressie wordt verwerkt in de HTML-code van de pop-up zorgt dit ervoor dat de achtergrondkleur afhankelijk wordt van een veld-waarde.

 

Over de volledige opmaak van het hectometerbord is een blog geschreven die op de website van ArcGIS-blogs is te vinden. Hierin staan de stappen, die zijn genomen voor het aanpassen van de pop-up, in het Engels uitgelegd. Hopelijk inspireert deze blog om de mogelijkheden van Arcade toe te passen op eigen pop-ups.

 

 

Posted in Arcade, Developer, Tips | Tags: , | Reacties uitgeschakeld voor Combineer Arcade met HTML voor levensechte pop-ups