Big data, high-speed data: informatiestromen worden groter en sneller. De neiging om alles in de cloud te bewaren en te verwerken, is groot. Opslag is goedkoper dan ooit en bandbreedte en processorkracht lijken onuitputtelijk. Toch kunnen er goede redenen zijn om zaken door lokale devices, buiten de cloud, af te laten handelen.
We zitten allemaal met ons hoofd in de cloud. We rekenen erop dat er altijd voldoende capaciteit zal zijn om alles op te slaan wat we maar willen. Er is immers altijd ruimte voor meer data in de cloud. Voor bandbreedte en processorkracht geldt hetzelfde: datatransport en -verwerking worden nog steeds elk jaar sneller. Voor nieuwe toepassingen is het antwoord op de vraag ‘Doen we het centraal, in de cloud?’ bijna automatisch ja.
Bij Technolution merken we echter dat de andere kant vaak onderbelicht blijft: hoe zit het met de productie van data? Dankzij de cloud zijn veel systemen gedistribueerder dan ooit. De groei van het iot is ongekend. Alle ‘things’ genereren hun eigen datastroom: camera’s op straat, mobiele devices, slimme thermostaten en energiemeters, verkeerssensoren, navigatiesystemen, de lijst is lang en wordt alleen maar langer. En de meeste things zijn nog maar bescheiden dataproducenten. Er zijn echter situaties waar de productie van data sneller toeneemt dan de opslag- en transportcapaciteit. Daar lopen we aan tegen de grenzen van de cloud.
Centraal
Als technologie-integrator zijn wij gespecialiseerd in innovatieve oplossingen met software en elektronica. De meeste van onze opdrachtgevers hebben een duidelijke voorkeur voor centrale verwerking en opslag van hun data – inclusief alle ruwe gegevens. Een begrijpelijke voorkeur, want een centrale applicatie biedt de meeste controle en is het eenvoudigst te onderhouden en te updaten. Ook opslag van ruwe data lijkt voordelen te hebben: je weet immers maar nooit wanneer je de gegevens nog nodig hebt voor nieuwe toepassingen.
In onze gesprekken met opdrachtgevers proberen we altijd helderheid te krijgen over deze wensen. Levert een centrale aansturing wel voldoende performance? Hoeveel data moet er eigenlijk door de pijplijn van en naar de cloud? Zijn de devices aan de uiteinden van het systeem gemakkelijk te vervangen? Zijn er situaties die lokale processing vereisen? Is het wel mogelijk om de ruwe gegevens zo te organiseren dat ze in een later stadium nog bruikbaar zijn? Hoeveel ontwikkeltijd gaat daarmee gepaard? Tijdens deze gesprekken zien we de standpunten regelmatig toch bijgesteld richting meer lokale, gedistribueerde intelligentie in het systeem.
Device lifecycle management for fleets of IoT devices
Microchip gives insight on device management, what exactly is it, how to implement it and how to roll over the device management during the roll out phase when the products are in the field. Read more. .
Soms is centrale opslag en verwerking vereist. Dit kan bijvoorbeeld het geval zijn wanneer neurale netwerken moeten worden getraind. Zo’n training werkt het beste wanneer het netwerk wordt gevoed met zo veel mogelijk ruwe data. Een van onze opdrachtgevers voorspelt met pre-emptive analytics wanneer een elektromotor onderhoud nodig heeft. Een sensor in een nabije schakelkast meet met een hoge frequentie de stroom die door de motor loopt. Dit levert grote hoeveelheden ruwe gegevens op, die in een centrale backoffice worden vastgelegd. Met behulp van deep learning op deze data wordt de software getraind om afwijkende patronen te herkennen en zo te voorspellen wanneer een elektromotor in de problemen dreigt te komen. Is dat het geval, dan gaat er een signaal naar de eindklant dat de motor aandacht nodig heeft.
Toch is het maar de vraag of een gecentraliseerde aanpak nog steeds de beste keuze is wanneer de neurale netwerken eenmaal goed getraind zijn. Dan is die enorme clouddatabase met ruwe data eigenlijk niet meer nodig en kan de software wellicht beter op een lokaal systeem draaien, dicht bij de elektromotor. Dit geeft een enorme besparing in opslagruimte en bandbreedte, zonder concessies op het gebied van functionaliteit.
Lokaal
Andere situaties dwingen lokale verwerking min of meer af. De omvang van de data is soms zo groot dat het niet realistisch is om ze realtime te transporteren of op te slaan. Dit is geen nieuw probleem. De deeltjesversneller van Cern in Genève genereerde al in de zestiger jaren bij elk experiment een astronomische hoeveelheid meetgegevens die de beschikbare opslagcapaciteit ver te boven ging. Ook vandaag de dag kan het instituut maar een fractie van de geproduceerde data opslaan.
We hoeven niet ver te zoeken voor hedendaagse voorbeelden. Het aardoppervlak wordt voortdurend geobserveerd door satellieten. Er is een constante stroom van hogeresolutiebeelden en meetgegevens naar ontvangers op de grond. Realtime opslag van de ruwe data is vaak niet haalbaar. Slimme algoritmes bepalen direct na ontvangst welke informatie wordt bewaard en welke niet. Aan de andere kant van het imagingspectrum vinden we elektronenmicroscopen, die soms dagenlang tientallen gigabits per seconde aan beelden genereren om een volume in 3d samen te stellen, met als resultaat petabytes aan data. Bij deze toepassingen is er geen praktisch haalbare technische oplossing om alle data op te slaan. Lokale intelligentie is vereist om de hoeveelheid gegevens te verkleinen.
Lokale intelligentie is ook cruciaal voor een hoge reactiesnelheid. Denk aan een zelfrijdende auto waarvan de visuele sensoren een obstakel op de weg signaleren. Er is geen tijd om te communiceren met de cloud. De auto moet de gegevens direct analyseren: is het een krant, een bal of een kind op de weg? Moet hij uitwijken of een noodstop maken? Deze beslissing moet hij zelfstandig kunnen nemen.
Decentrale intelligentie is in sommige gevallen een architectuuroverweging. Voor een hightech klant ontwerpen we een systeem dat de bewegingen van een wafer aanstuurt tijdens de chipproductie. De plak moet eenparig bewegen met een precisie van nanometers. Dit vraagt om constante, directe bijsturing, net als bij de zelfrijdende auto. Het systeem monitort doorlopend de beweging en de positie van de wafer met een groot aantal sensoren, die metingen doen met een frequentie van enkele kilohertz. De analoge meetdata worden direct gedigitaliseerd, doorgerekend en vertaald naar instructies voor de motor die de beweging aandrijft.
In deze regellus is het grootste deel van de intelligentie vlak bij de sensoren belegd. De decentrale elementen vertalen de analoge metingen naar positie-informatie en sturen deze door naar het centrale systeem via ethernetinterfaces. Ze presenteren hun data zo op een uniforme manier. De centrale applicatie kan zich beperken tot relatief eenvoudige instructies voor het aansturen van de waferbewegingen. De meeste controles en correcties worden immers decentraal afgehandeld.
Edge
Het is dus belangrijk om in elke situatie goed na te denken over de keuze tussen centrale en lokale verwerking van de data. De centraal bestuurde cloudapplicatie zal zeker niet verdwijnen. Vaak is dit nog steeds de beste keuze, bijvoorbeeld wanneer gegevensbeveiliging hoge prioriteit heeft of wanneer er veel experimenten en flexibiliteit nodig zijn om tot het juiste algoritme te komen. Het is echter wel duidelijk dat ook cloud computing zijn beperkingen kent.
Vooral de snelheidsgrenzen van datatransport en de omvang van de ruwe gegevens leiden ertoe dat vaker de keuze wordt gemaakt om meer intelligentie te beleggen bij de uiteinden van het systeem: de sensoren en de actuatoren. Er is – hoe kan het ook anders in ict-land – ook al een toepasselijke naam voor bedacht: edge computing. Edge computing is een duidelijke trend, die de druk op de cloud aanmerkelijk zal verlichten. Betekent dit dat we ruwe gegevens kwijtraken? Jazeker. Is dit erg? Wij denken van niet. Het gaat tenslotte om de informatie die in de data besloten ligt, en niet om de data zelf.