Bits&Chips

Gecombineerde sensoren leveren completer beeld

Auteur: Boris van Zonneveld
29 mei 2015 

Het Leidse 3D-One heeft een totaaloplossing ontwikkeld voor beeldvormende systemen op onbemande vliegtuigjes. Hierbij combineert het verschillende sensoren om een zo compleet mogelijk beeld te krijgen. Uniek is dat de oplossing de verzamelde data al tijdens de missie verwerkt.

Goed zicht is uitermate belangrijk voor een unmanned aerial vehicle (uav) ofwel drone. Niet alleen om het vliegtuigje te kunnen besturen maar ook om mogelijke obstructies en objecten tijdens de vlucht tijdig te kunnen detecteren en vermijden. Daarbij is het belangrijk dat de uav zo min mogelijk gewicht heeft en dat alle beeldvormende techniek strak is geïntegreerd in de rest van het systeem.

Ontwikkelingen in de sensortechnologie dragen hieraan bij. Een mooi voorbeeld zijn de nieuwste sensoren van indiumgalliumarsenide (InGaAs). Deze ongekoelde, infraroodgevoelige camera’s zijn veel lichter dan hun voorgangers, waardoor ze bruikbaar zijn voor uav-toepassingen. ‘InGaAs-sensoren detecteren kortegolfinfrarood ofwel Swir, short-wave infrared’, vertelt Marco van Hout, businessdevelopmentmanager bij 3D-One uit Leiden. ‘De plaatjes die ze leveren, zijn in detail vergelijkbaar met gewone beelden. Dit in tegenstelling tot thermische camera’s, die ‘slechts’ temperatuurverschillen registreren.’

Bovendien kunnen Swir-camera’s objecten ook op maanloze nachten met grote helderheid zien. Daarvoor gebruiken ze de night sky radiance, ook wel atmospheric nightglow genoemd. Dit atmosferische fenomeen straalt ongeveer vijf tot zeven keer meer licht uit dan de sterren, en dat bijna allemaal in het Swir-bereik van 0,9 tot 1,7 micron. ‘Ook zijn Swir-camera’s uitermate geschikt om door mist en rook heen te kijken. De combinatie van dagzicht en Swir heeft enorme voordelen voor de inzetbaarheid van een uav tijdens bijvoorbeeld slecht weer’, stelt Van Hout.

Kernsysteemlaag

Deze ontwikkeling en de komst van een nieuwe generatie controllerchips voor de verwerking van de gegevens hebben de weg geplaveid voor nieuwe manieren om beeldvormende systemen voor uav’s te ontwerpen. Op het Leidse Bio Science Park boeken de techneuten van 3D-One grote vorderingen op dit gebied. Zij hebben een totaaloplossing ontwikkeld voor een veelheid aan uav-toepassingen, waaronder search and rescue-operaties, surveillance en inspectie van windmolens en hoogspanningsmasten. Dronefabrikanten kunnen de oplossing integreren in hun eigen systemen. Het Haagse Aerialtronics tekende daar al voor: een toepassing van het 3D-One-systeem is te vinden in de Nucleo+-box van zijn succesvolste uav, de Altura Zenith.

De oplossing van 3D-One voorziet in een 1080p HD-daglichtcamera met zestien keer optische zoom en een nachtzichtcamera met VGA-resolutie. ‘Ons systeem combineert de beelden heel nauwkeurig met informatie van gps, bewegingssensoren en andere missiespecifieke sensoren’, zegt Van Hout. Een krachtige Linux-boordcomputer completeert het geheel.

Op de hardware bouwt 3D-One nog een klantspecifieke kernsysteemlaag die het mogelijk maakt om on-board beslissingen te nemen. ‘Deze laag genereert informatieve beeldoverlays, doet de basisbewerking, datacompressie en encryptie, regelt de opslag van data en verzorgt de koppeling met andere systeemonderdelen. Dit kan de flightcontroller zijn waarmee het systeem op afstand wordt bediend.’ De verzamelde gegevens worden bewaard op een ssd aan boord of via een draadloze verbinding naar de grond gestreamd.

De oplossing van 3D-One voorziet in een 1080p HD-daglichtcamera met zestien keer optische zoom en een nachtzichtcamera met VGA-resolutie.

Precisielandbouw

Dat de box nu op de markt is, wil niet zeggen dat 3D-One klaar is. Op de achtergrond werkt het aan de ontsluiting van nieuwe toepassingsgebieden voor uav’s. Daarbij lift het mee op een evolutie in hyperspectrale beeldtechnologie. Oorspronkelijk ontwikkeld voor ruimtevaartapplicaties is deze technologie nu ook bruikbaar voor onbemande vliegtuigjes.

‘Hyperspectrale beeldvorming is een samensmelting van spectroscopie en beeldsensoren’, legt Van Hout uit. ‘Elke pixel van een beeldsensor is in principe een spectroscoop, die de lichtintensiteit voor verschillende spectrale banden registreert.’ Waar conventionele kleurencamera’s drie kleuren waarnemen - rood, groen en blauw - zien hyperspectrale camera’s er tien tot duizend. ‘Hoe meer banden, hoe groter de spectrale resolutie.’

Voor de ontwikkeling sloot 3D-One een partnership met Imec. Op basis van nieuwe hyperspectrale sensortechnologie uit Leuven werken de Leidenaren aan een oplossing voor precisielandbouw. Hierbij kijkt een uav met twee hyperspectrale camera’s naar gewassen: de een ziet diep uv tot zichtbaar licht, van vier- tot zeshonderd nanometer, de ander groen/rood tot nabij infrarood licht, van zeshonderd tot duizend nanometer. Door hun output te koppelen, zijn bewaterings- en bemestingsniveaus te meten en te monitoren en doordachte teeltadviezen te genereren.

In lijn met het eerdere systeem is het instrumentarium ook hier uit te breiden met andere missiesensoren, zoals gps en bewegingsdetectoren. Daarnaast is het mogelijk een sensor toe te voegen om omgevingslicht te meten. Dit is specifiek nodig voor een correcte toepassing van de hyperspectrale beeldvorming.

Om de grote hoeveelheid data te kunnen verwerken, heeft 3D-One een moederbord van slechts 90 bij 95 millimeter ontwikkeld met een Altera-fpga en een embedded pc op Qseven-formaat.

Tijdens het vliegen

‘De grote uitdaging bij dit soort hyperspectrale systemen is de enorme hoeveelheid data die ze genereren’, vertelt Van Hout. ‘Elke pixel in het beeld levert tientallen kleuren op, elk gerepresenteerd door een 16 bit getal. Vermenigvuldigd met de pixelresolutie van twee HD-tv-sensoren en dan nog eens met de beeldfrequentie, en het resultaat is een hypercube, een kubus met meer dan drie dimensies.’ Voor een goede analyse is het zaak om de data uit de camera’s vervolgens te corrigeren voor invallend licht, beweging en hoekverdraaiing van de uav.

Het Haagse Aerialtronics integreerde het beeldvormingssysteem van 3D-One al in de Nucleo+-box van zijn succesvolste uav, de Altura Zenith.

Om de grote hoeveelheid data op een ordentelijke manier te kunnen verwerken, heeft 3D-One een moederbord van slechts 90 bij 95 millimeter ontwikkeld met een Altera-fpga en een embedded pc op Qseven-formaat. De fpga heeft een imagepijplijn voor standaard processen, zoals de synchronisatie van de camera’s. Aangedreven door een dual- of quadcore Intel-processor en bestuurd door Linux handelt de embedded computer de algoritmes voor de analyse en classificatie van de hyperspectrale data af.

Een ingebouwde correctiefunctie neemt de sterkte van het gereflecteerde licht mee. ‘Een dergelijke correctie is noodzakelijk om effecten van zon en schaduw op gewassen te elimineren’, weet Van Hout. ‘Wanneer we dat niet zouden doen, zijn de gegevens die de analyse ingaan niet uniform genoeg en trekken we verkeerde conclusies.’

Voor opslag van de data is er weer een ssd aan boord. Na reductie tot bruikbare informatie kan het systeem de gegevens draadloos verzenden naar een grondstation, zodat gebruikers er al tijdens het vliegen over kunnen beschikken. Die indikking is daarvoor cruciaal; de verschillende sensoren produceren zo veel ruwe data dat het te veel bandbreedte zou vergen om die naar beneden te sturen.

Boris van Zonneveld is freelancer. Hij schreef dit artikel in opdracht van 3D-One.

Redactie Nieke Roos

Abonneer direct op onze nieuwsbrief

abonneren

Info-middag SME Instruments

25 juni

Eindhoven

Machine vision for mechatronic systems

3 juli - 4 juli

Eindhoven

Machine vision for mechatronic systems

3 juli - 4 november

Eindhoven