De uitdaging van autonoom rijden in Delft

‘Is niet alles al opgelost?’ Dariu Gavrila krijgt deze vraag soms wanneer hij vertelt wat zijn pas opgerichte vakgroep Intelligent Vehicles wil gaan doen: onderzoek doen naar zelfrijdende auto’s. Automakers beloven immers om binnen twee of drie jaar autonome modellen op de markt te hebben. Sommige hedendaagse premium wagens kunnen zelfs al een beetje zelfstandig opereren – denk aan Tesla’s Autopilot en de pas geïntroduceerde Audi A8 die het filerijden van de bestuurder overneemt.

Gavrila begrijpt de vraag, maar hij is ervan overtuigd dat er juist nog genoeg te doen is. ‘Ik denk dat je nog wel tot 2030 nodig hebt voordat de menselijke prestaties gematcht worden’, werpt hij tegen. ‘En dan alleen maar voor vereenvoudigde omstandigheden en lagere snelheden. Als je het echt hebt over de complete flexibiliteit dat je overal van A naar B kunt, gaat het nog wel langer duren.’

De discrepantie zit hem erin dat de term ‘zelfrijdend’ niet zwart-wit is; niet alleen zijn er verschillende vormen van te onderscheiden, ook de omgeving maakt een verschil van dag en nacht. De voertuigen die de komende jaren de markt op druppelen, zetten op beide vlakken pas de eerste stapjes, zogezegd.

‘Kijk, ik heb een van mijn PhD-studenten gevraagd een filmpje te maken van een autorit door de binnenstad van Delft. Deze scène had hij in de eerste tien minuten te pakken’, zegt Gavrila, terwijl hij het filmpje opent. We zien hoe voetgangers zonder te kijken schuin oversteken en fietsers van een steile brug langs de auto schieten op de nauwe weg. Het is direct duidelijk: voor de vakgroep is er de komende jaren eerder te veel dan te weinig te doen.

 advertorial 

Device lifecycle management for fleets of IoT devices

Microchip gives insight on device management, what exactly is it, how to implement it and how to roll over the device management during the roll out phase when the products are in the field. Read more. .

Alles oppakken is dan ook niet de bedoeling, legt Gavrila uit. ‘Een belangrijk punt waarop we ons willen onderscheiden, is de intelligentie van de auto zelf en de interactie met de mens en met kwetsbare weggebruikers, zoals voetgangers en fietsers. Dat is ook een beetje de Nederlandse touch.’

‘Het gaat ook om interactie met de inzittenden, met name om de dynamica van hoe de auto rijdt zodat het comfortabel is en je er niet misselijk van wordt’, vervolgt Gavrila en hij laat een ander filmpje zien waar het naartoe zou kunnen gaan in een wereld van zelfrijdende auto’s. Zonder traditionele bestuurdersstoel kan het interieur heel anders worden ingericht, met stoelen die naar elkaar toe staan en bedieningspanelen voor alle inzittenden. Ondertussen laat de auto via lichtsignalen aan de buitenkant weten wat hij van plan is aan de andere weggebruikers – een geprojecteerd zebrapad geeft aan dat voetgangers kunnen oversteken – waardoor hij zich rustig tussen hen begeeft.

Dat stukje van het onderwerp is al breed genoeg; Gavrila’s vakgroep bestrijkt specialisten op gebieden uiteenlopend van sensoren en signaalverwerking tot machine learning en menselijke factoren. Een deel van hen werkte al bij de TU Delft, een ander deel komt van buiten.

Een of twee seconden

Gavrila zelf is ook nieuw aan de TU Delft. De afgelopen twintig jaar werkte hij bij Daimler (de maker van Mercedes-Benz) in het Duitse Ulm, de laatste periode als distinguished scientist. De academische wereld is echter niet nieuw voor hem; sinds 2010 heeft hij een aanstelling als deeltijdhoogleraar aan de Universiteit van Amsterdam.

Het systeem waar Gavrila aan werkte bij Daimler is in minivorm de blauwdruk voor alle systemen voor automatisch rijden. Diverse high-end Mercedes-Benz-modellen trappen zelf op de rem als een aanrijding met een voetganger dreigt – maar alleen als deze midden op de weg staat. Het begint bij perceptie, dus het waarnemen van de omgeving. Voor voetgangersdetectie worden camera’s en radars ingezet. Het volledige palet aan zelfrijfunctionaliteit bevat ook lidar. Elke sensor heeft zijn sterke en zwakke punten. Typisch zullen die gegevens met elkaar worden gecombineerd om een compleet beeld op te bouwen.

De volgende stap is om met die sensorgegevens te identificeren wat er zich rondom de auto bevindt. En die gegevens moeten vervolgens weer worden verwerkt tot inzicht en gedrag. ‘Die interpretatiekant, de echte inzichten in de verkeerssituatie, daar zitten nu de onderzoeksvragen’, vertelt Gavrila. ‘Het waarnemen van ruimtelijke informatie is nagenoeg een opgelost probleem, en in het identificeren van wat er te zien is, maken we grote sprongen.’

Bij het Daimler-systeem was dit patroon ook waarneembaar. In de eerste tests die Gavrila in de binnenstad van Aken deed, werden slechts vier op de tien voetgangers herkend, terwijl het systeem zelf om de haverklap niet-bestaande voetgangers ‘hallucineerde’. Maar in de jaren daarna werd dat snel beter, totdat nagenoeg alle voetgangers wel correct geïdentificeerd werden.

Maar daarmee was het systeem er nog lang niet. De auto moet natuurlijk niet voortdurend stoppen als er een voetganger in de buurt is, alleen wanneer die dreigt over te steken zonder de wagen te zien. De Daimler-ingenieurs gingen daarom ook naar hun bewegingsrichting kijken. Een duidelijke verbetering in de systeemperformance behaalden ze toen ze de richting van het onder- en bovenlichaam allebei gingen meenemen. Hieruit kan heel veel informatie over de intentie worden afgelezen – bijvoorbeeld of de voetganger de auto heeft gezien.

Die intentie begrijpen van de andere weggebruikers, dat is het hele eieren eten bij de zelfrijdende auto, denkt Gavrila. ‘Je wilt kunnen voorspellen wat er straks gaat gebeuren – waarbij ‘straks’ een of twee seconden betekent; daarna zijn de onzekerheden zo groot geworden dat je er eigenlijk niks zinvols meer over kunt zeggen.’

Een belangrijke trend – misschien wel dé belangrijke trend – hierin is machine learning, in het bijzonder deep learning. ‘Het belang daarvan kun je eigenlijk niet overdrijven. Als we terugkijken naar de vooruitgang in ons voetgangerdetectiesysteem, dan kwam die voor het grootste deel uit betere machine learning-algoritmes, in combinatie met meer data. Vroeger probeerden we alles met regeltjes te doen. Als je iets wilde herkennen, moest dat bestaan uit een ronde vorm boven een langwerpige en de een moest groen zijn en de ander bruin, enzovoort. Dat doen we nu helemaal niet meer; we zetten alles gewoon in zo’n diep neuraal net.’

Op welk niveau van de pijplijn deze algoritmes het beste zijn in te zetten, is echter nog een interessant onderzoeksvraagstuk. Proponenten van deep learning denken dat een enkel, groot neuraal netwerk alles af kan dekken. ‘Je kunt zeggen: ik ga direct van de sensordata naar het stuur en gaspedaal en het systeem moet zelf maar leren wat ertussen zit, of dat er gekeken moet worden naar mensen of naar de houding van fietsers, enzovoorts. Er zijn wel wat voorbeelden van: Nvidia heeft laten zien dat je dat kunt doen. Maar alleen op de snelweg. Niet in Delft.’

Voorlopig levert een traditionele engineering-aanpak meer succes op, met een keten opgebouwd uit vele afzonderlijke modules. Die kunnen allemaal intern wel machine learning gebruiken, maar ze hebben een duidelijk gedefinieerde rol in het geheel. ‘Met zo’n modulaire aanpak kun je nog poolshoogte nemen na elke module en begrijp je waarom iets fout gaat.’

‘Maar als de methodes beter worden, hoe belangrijk is het nog om te weten hoe die auto tot de oplossing is gekomen? Je kunt je voorstellen dat als je miljarden beelden hebt van verkeerssituaties en de computerarchitectuur van Google om dat door te rekenen, dat die hele zelfrijdende auto gewoon end-to-end is op te lossen. Dat zou kunnen, dat is een open vraag.’

Clownspak

Voorlopig zet Gavrila zijn geld nog op een meer modulaire aanpak. Hij wil met name onderzoek doen naar de ontwikkeling van specifieke modellen voor de verschillende typen verkeersdeelnemers. ‘Vroeger werd er een one size fits all-aanpak gebruikt, maar die werkte niet. Je wilt eigenlijk heel specifieke modellen voor elke objectklasse. Wij willen hier aan de TU Delft kijken naar de kenmerken van fietsers en voetgangers. Zaken als lichaamshouding, of iemand kijkt, of een fietser alvast een beetje naar links hangt of misschien zelfs aanwijst dat hij linksaf wil slaan.’

De vraag is natuurlijk wel hoe ver je daarin moet gaan. Het is onontbeerlijk dat de auto met andere voertuigen, voetgangers en fietsers overweg kan. Voor spelende kinderen of hulpdiensten met zwaailichten zijn speciale routines ook wel logisch. Maar moet je rekening houden met elk hondenras dat op straat kan lopen, die ene keer dat er een bierfiets voorbijkomt, of – zoals tijdens een testopname van Gavrila’s team bij Daimler – een man in een clownspak tijdens carnaval? Of moet je voor dit soort gevallen toch maar uitgaan van een algemene achtervang?

‘Je kunt het inderdaad nooit afdekken, maar het is de law of diminishing returns. Als je één bewegingsmodel hebt voor alle objecten en je breidt dat uit met een model specifiek voor de kinematiek van voetgangers, dan heb je misschien al wel tachtig procent van de oplossing. Met de oriëntatie van de voetganger heb je nog een duidelijk verdere boost, en daarna de positie van het hoofd. Maar op een gegeven moment is het gelimiteerd wat je er nog verder uit haalt, en kun je zeggen: nou is het wel goed genoeg. Hoewel je misschien nog wel weer verder kunt gaan om de efficiëntie te verhogen.’

BEELD:Dariu Gavrila 6487

Rommel op de weg

Dat stipt gelijk ook de problemen aan met de discussie rond de zelfrijdende auto. Wat is eigenlijk de maatstaf voor ‘zelfrijdend’? Op de algemeen gehanteerde schaal van de Society of Automotive Engineers zitten we op dit moment op het niveau van ‘partial automation’. Of populairder gezegd: hands off. Dit niveau markeert zo’n beetje de introductie van adaptieve cruisecontrol, waarbij de auto zelf gas geeft en afstand houdt tot de voertuigen voor en achter zich. Met de toevoeging van lane keeping-systemen in sommige premium modellen kunnen bestuurders vandaag de dag al best het stuurwiel loslaten op de snelweg.

Maar, de gewaagde Youtube-filmpjes ten spijt, ze moeten wel hun aandacht bij het rijden houden en direct ingrijpen als de auto aangeeft dat hij er zelf niet uitkomt – wat best vaak gebeurt. Dat staat nog ver van het ideaal, waarbij de auto’s ons slapend kunnen vervoeren of ons op kunnen komen pikken.

Als automakers het hebben over de zelfrijdende voertuigen die ze de komende jaren gaan introduceren, doelen ze nog op het simpelere niveau dat kan worden beschreven als eyes off: ‘Met die Audi A8 mag je straks in de file je e-mail lezen, en in 2020 komen de eerste systemen waarbij je honderd kilometer per uur kunt rijden. Maar dat is alleen op de snelweg, en niet met honderddertig. En waarschijnlijk komt daar nog de restrictie bij dat je moet locken aan een voertuig voor je. Rommel op de weg is namelijk nog een groot probleem op dit moment: als er een plank of zo ligt, kan het zijn dat sensoren die niet op tijd detecteren.’

De introductie van autonomie zal dus volgens een lange, glijdende schaal gaan. ‘Binnen een paar jaar zullen we wel shuttles krijgen zonder safety driver, maar die rijden alleen onder gunstige omstandigheden, dus een route waar alles heel mooi gemarkeerd is en misschien wel alleen als het niet regent. Maar als we het hebben over volledige flexibiliteit in steden zoals Amsterdam, dan duurt het minimaal tot 2030 voor de menselijke performance wordt gematcht.’

Bovenmenselijk

Autonome voertuigen bieden echter nog een interessante mogelijkheid: met alle elektronica, software en data zouden ze juist zuiniger, veiliger en comfortabeler kunnen rijden dan de menselijke chauffeurs. ‘Je zou in de stad veel harder kunnen rijden terwijl je toch veilig bent en niet vlak langs voetgangers scheurt’, geeft Gavrila als voorbeeld.

Auto’s kunnen bijvoorbeeld onderling gaan communiceren, of met wegkantsystemen. De Intelligent Vehicles-groep zelf wil ook gaan werken aan wegenkaarten voor zelfrijdende auto’s. ‘Als mens weet je niet wat je te wachten staat bij een bepaalde kruising, maar door naar data van duizenden, tienduizenden, misschien wel miljoenen auto’s te kijken, weet je kaart hoe auto’s zich bij precies die ene kruising gedragen.’

Toch is Gavrila wel sceptisch over de bruikbaarheid van externe informatie. ‘Je hebt toch nog wel issues met security; het lijkt me sterk dat je straks alleen uitgaat van een bericht dat het stoplicht groen is zonder dat je daar verder naar gaat kijken. Ik denk dat er altijd een safety-laag tussen zal zitten die alles nog autonoom controleert, maar die informatie van infrastructuur of de kaart kun je wel gebruiken om beter te worden, dat je bovenmenselijk kunt gaan rijden.’

BEELD:Dariu Gavrila 6481

Auto’s-as-a-service

Kortom: genoeg onderzoeksvragen nog om jaren vooruit te kunnen. Trouwens, op het gebied van onderwíjs ligt er ook een belangrijke taak – misschien nog wel belangrijker, want de auto-industrie staat te springen om geschoolde ingenieurs. ‘Dat is op dit moment de grote bottleneck. Als je in deze sector ervaring hebt, krijg je héél erg attractieve salarisvoorstellen’, aldus Gavrila. ‘Dit is een relatief nieuw gebied en ik denk dat er tot nu toe onvoldoende opleidingen waren die inspelen op de sterk interdisciplinaire achtergrond van intelligente voertuigen en zelfrijdende auto’s.’

Vorig jaar is de TU Delft daarom begonnen met een Vehicle Engineering-track binnen het werktuigbouwkunde-masterprogramma, met onderwerpen op het gebied van perceptie en modellering, sensoren, dynamica en controle tot aan menselijke factoren. Het eerste jaar deden gelijk veertig studenten mee. ‘Binnen twee jaar willen we ook een nieuw masterprogramma opzetten, Artificial Intelligence and Robotics. Daarbij gaat het niet alleen over de auto, maar ook over robots die als het ware de fabrieksruimtes zijn ontvlucht en die met mensen interacteren. Denk aan servicerobots. Daar heb je precies dezelfde vraagstukken – de zelfrijdende auto is ook een robot, nietwaar?’

De grote vraag naar personeel wordt gedeeltelijk veroorzaakt doordat traditionele automakers op twee paarden tegelijk moeten wedden. Aan de ene kant is er namelijk de ‘evolutionaire’ toekomstvisie, waarbij de auto’s die we bezitten steeds slimmer en autonomer worden. Maar aan de andere kant is er de ‘revolutionaire’ optie waarbij zelfrijdende voertuigen allerlei nieuwe gebruiksmodellen mogelijk maken, met ideeën als robotaxi’s en auto’s-as-a-service.

De traditionele automakers krijgen op dit gebied het vuur aan de schenen gelegd van relatieve nieuwkomers als Uber en Google’s Waymo. Maar daarnaast zijn ze ook in een felle onderlinge concurrentiestrijd verwikkeld. Eigenlijk een uitstekend moment voor de overstap naar de academische wereld, denkt Gavrila: ‘Ik kon in het verleden bij Daimler gewoon publiceren, maar dat was wel een beetje een uitzondering; andere automakers waren minder open. Maar ik denk dat we juist nu die traditionele researchkant voor hen kunnen bezetten omdat ze daar zelf geen tijd meer voor hebben. Iedereen probeert nu aan te kondigen dat ze net ietsjes sneller zijn dan de competitie, dus ze willen hun manschappen graag inzetten op producten. De stress is nu erg groot.’

Tijdens Bits&Chips Smart Systems op 2 november verzorgt Dariu Gavrila een van de twee keynotes. Zijn presentatie ‘The intelligent vehicle (r)evolution’ schetst de huidige en toekomstige uitdagingen van zelfrijdende voertuigen. In de andere keynote gaat Tom Westendorp van Nvidia in op de rol van ai in de autonome auto.