Dennis van de Wouw is architect bij Vinotion. Egbert Jaspers is directeur van deze Eindhovense specialist in beeldverwerking. Peter de With is hoogleraar video en beeldbewerking aan de TUE.

23 May 2017

Slimme cameratechnologie kan uitkomst bieden bij de detectie van bermbommen. Dat hebben Vinotion, de TU Eindhoven en Cyclomedia, met begeleiding van TNO, in een eerste haalbaarheidsstudie succesvol laten zien aan de Nederlandse krijgsmacht. Onlangs hebben Vinotion, de TUE en TNO een tweede, verbeterde versie gedemonstreerd op basis van een custom-made stereocamera.

Improvised explosive devices (ied’s), in de volksmond ook wel bermbommen, vormen een serieuze dreiging voor Navo-troepen en burgers in conflictgebieden. Deze zelfgemaakte bommen zijn eenvoudig te fabriceren met instructies van het internet en huishoudelijke materialen. Militaire training is niet nodig, wat het risico alleen maar vergroot. Steeds vaker bevatten de explosieven geen metaal of elektronische componenten, waardoor de conventionele metaaldetector ongeschikt is om ze te vinden.

Het plaatsen van een bermbom zorgt echter vaak voor (kleine) veranderingen in de omgeving. Voorbeelden hiervan zijn graafsporen, een geparkeerde auto die dieper inzakt door verstopte explosieven, maar ook markeringen langs de route. De terrorist legt dan bijvoorbeeld een steen of tak langs de weg en wacht op veilige afstand tot een konvooi deze marker passeert, waarna hij de bom laat ontploffen.

De bedoeling is om een slimme cameraoplossing te ontwikkelen die dergelijke veranderingen realtime kan vinden. Dit change detection-systeem speurt continu de omgeving af naar (aanwijzingen voor) bermbommen. Het geeft militair personeel de mogelijkheid om tijdig te reageren op de aanwezigheid van een explosief.

Het onlangs door Vinotion, de TU Eindhoven en TNO gepresenteerde change detection-systeem combineert een ultra-hd-stereocamera met nauwkeurige positionering en is op een willekeurig voertuig te monteren (Figuur 1). Tijdens het rijden neemt het systeem continu video op, waarbij het het huidige beeld steeds vergelijkt met omgevingsbeelden die tijdens een eerdere rit zijn geregistreerd op dezelfde gps-positie. Eventuele veranderingen classificeert het vervolgens automatisch als ‘dreiging’ of als ‘onbelangrijk’. Bij een dreiging krijgt de bestuurder direct een alarm, waarop hij het voertuig kan stoppen voor een nadere inspectie.

Bermbomdetectie Figuur 1
Figuur 1: Change detection-prototype met stereocamera

Interactief scherm

In een eerste stap maakt het change detection-systeem de beelden vergelijkbaar door het historische videomateriaal aan te passen. Dat is nodig omdat het voertuig bij elke opvolgende inspectie van hetzelfde terrein anders rijdt en dus filmt vanuit andere posities. Daardoor zit er niet alleen een perspectiefvervorming tussen het actuele en historische beeld, maar treedt er ook (bewegings)parallax op: omdat de wereld een 3d-ruimte is, lijken voorwerpen in een 2d-weergave andere posities te krijgen ten opzichte van elkaar wanneer we ze bekijken vanuit verschillende standpunten (Figuur 2). Om automatisch verschillen te kunnen zoeken, moeten de beelden daarom eerst goed over elkaar worden gelegd (registratie), zodat een fysiek object wordt beschreven door dezelfde pixels in het actuele en historische beeld.

Bermbomdetectie Figuur 2
Figuur 2: Zelfde omgeving opgenomen vanuit twee verschillende posities op dezelfde weg. Door het parallaxeffect verandert de volgorde van de objecten van 1-2-3 naar 2-1-3.

Om parallaxproblemen te voorkomen, moeten de beelden niet in 2d, maar in de 3d-ruimte worden geregistreerd. De benodigde 3d-informatie komt uit de gebruikte stereocamera, die is gebaseerd op dieptewaarneming bij het menselijke visuele systeem. Doordat beide ogen, in dit geval twee camera’s, een op elke zijde van het voertuig, de wereld net anders zien, kunnen we de afstand berekenen tot elk punt in de scène. Deze diepte-informatie gebruiken we vervolgens om het historische beeld te reconstrueren alsof we het hebben gezien vanuit de livecamera (met actueel beeld).

Een 3d-reconstructie van de historische omgeving is nu realiseerbaar door middel van een ‘kijkdoos’-model: we modelleren de 3d-objecten in de scène als platte vlakken, loodrecht op het grondvlak. Vervolgens projecteren we er de textuur (kleurwaardes van de pixels) op. Het ingekleurde resultaat transformeren we in de 3d-ruimte naar het coördinatensysteem van de livecamera. Daarna projecteren we het model terug naar een 2d-beeld, waardoor er een afbeelding van de historische scène ontstaat vanuit het oogpunt van de livecamera. In dit ‘geregistreerde’ beeld staan de verschillende objecten wel op de juiste positie (Figuur 3).

Bermbomdetectie Figuur 3
Figuur 3: Registratie van de actuele en historische beelden met behulp van het 3d ‘kijkdoos’-model. Het 3d grondvlak (a) wordt uitgebreid met obstakels die erboven uitsteken (b). Met de diepte uit de stereocamera worden de obstakels omgezet naar 3d, resulterend in een 3d model van de scène (c). Door dit model te transformeren naar het gezichtspunt van de livecamera en terug om te zetten naar 2d ontstaat een gereconstrueerde afbeelding van de historische scène zoals gezien door de livecamera die het actuele beeld levert (d).

De tweede stap is het vergelijken van heden en verleden. Kleuren drukken we doorgaans uit in rood-groen-blauw-waardes. Deze rgb-representatie is echter zeer gevoelig voor licht- en weersveranderingen, zoals schaduwen. Door de beelden te transformeren naar een andere kleurruimte, die de daadwerkelijke kleur en intensiteit kan onderscheiden, wordt het systeem minder gevoelig voor verschillende weers- en belichtingsverschijnselen. Op basis van de ‘echte’ kleur en textuur kijken we vervolgens naar de delen van het beeld die significant zijn gewijzigd en dus een potentieel gevaar aanduiden.

De derde stap is slimme selectie. Niet alle veranderingen duiden op een dreiging, zoals vallende blaadjes in de herfst. Daarom voeren we een extra analyse uit, die onderscheid maakt tussen ‘onbelangrijke’ en ‘verdachte’ veranderingen in de omgeving. Elementen voor belangrijkheid zijn bijvoorbeeld consistentie in de tijd of apartheidskenmerken.

De laatste stap is die van de beslissing. Op een interactief scherm in het voertuig laten we alleen de verdachte veranderingen zien (Figuur 4). Na een tap op een verandering geeft het systeem de dreiging direct in hogere resolutie weer. Tevens toont het hoe hetzelfde gebied eruitzag tijdens een vorig bezoek. Dit stelt de operator in staat om snel in te schatten of de verdachte verandering daadwerkelijk een dreiging is en dan snel de noodzakelijke maatregelen te treffen.

Bermbomdetectie Figuur 4
Figuur 4: Een interactieve grafische userinterface (gui) visualiseert de verdachte veranderingen. De gui toont ook een hogeresolutiezoom in zowel het live beeld als het bijbehorende historische beeld, wat een snelle beoordeling mogelijk maakt.

Onbemand voertuig

Door de groeiende potentie van de visuele detectie voeren we sinds maart van dit jaar een vervolgproject uit, Vehicle-Mounted Early Warning of Indirect Indicators of IEDs (VMEWI3) geheten. Vanuit Nederland werken we hierbij samen met defensiepartners uit België, Polen, Noorwegen en Oostenrijk. Opdrachtgever is het European Defence Agency.

Doel van het vervolg is om een onbemand voertuig te ontwikkelen dat verschillende sensortechnologieën combineert. Het change detection-systeem is een onderdeel daarvan. Door verschillende sensoren en detectiemethodes te integreren in een enkel voertuig vergroten we de kans op vroegtijdige detectie van dreigingen significant, wat mensenlevens zal sparen.

Edited by Nieke Roos