Samen met de Innovatiecentrale in Helmond heeft Vinotion voor Rijkswaterstaat onderzocht of het inspecteren, openen en sluiten van spitsstroken te automatiseren valt. Dat blijkt te kunnen met de bestaande camera’s langs de weg. Matthijs Zwemer, Guido Brouwers en Rob Wijnhoven van Vinotion leggen uit hoe.
De snelwegen in Nederland zijn de afgelopen jaren steeds drukker geworden en zullen komende jaren alleen nog maar voller raken. Een van de oplossingen voor dit probleem zijn spitsstroken. Doordat het verkeer tijdelijk gebruik kan maken van de vluchtstrook als extra rijstrook, kan het vlotter doorstromen en ontstaan er minder files.
Voordat een spitsstrook wordt geopend, inspecteren wegverkeersleiders handmatig het hele traject op de aanwezigheid van stilstaande voertuigen en voorwerpen op de vluchtstrook door alle camera’s langs de weg te bekijken. Dit intensieve proces voeren ze voor elke spitsstrook in Nederland meestal twee keer per dag uit (ochtend- en avondspits), wat ongeveer dertien procent van hun totale capaciteit vergt. Daarnaast zijn ze verantwoordelijk voor incident- en verkeersmanagement. Door het schouwproces van vluchtstroken gedeeltelijk te automatiseren, kunnen ze zich focussen op deze andere verkeerstaken.
In opdracht van Rijkswaterstaat en in samenwerking met de Innovatiecentrale in Helmond hebben we de mogelijkheden voor automatisering onderzocht. Enerzijds hebben we gekeken naar de herkenning van bekende objecten zoals voertuigen, anderzijds naar de herkenning van onbekende objecten zoals afgevallen lading. De visuele kenmerken van voertuigen zijn te generaliseren (bijvoorbeeld elke auto heeft wielen), maar de visuele kenmerken van afgevallen lading zijn niet op voorhand bekend. Voorbeelden zijn autobanden, spanbanden, houten balken of zelfs fietsen. Voor beide problemen hebben we daarom gekozen voor een andere technische aanpak. Met de ontwikkelde techniek zijn de bestaande camera’s slim te maken zonder dat aanpassingen langs de weg nodig zijn.
A2 bij Born
Om een goed verkeersbeeld te krijgen, is het zaak om te allen tijde alle voertuigen op de snelweg te analyseren. Dit levert informatie op zoals de gemiddelde snelheid, de verkeersintensiteit en het gebruik van de spitsstrook en vluchthavens. Als de verkeersintensiteit boven de 1350 passerende auto’s per rijstrook per uur komt, moet er een spitsstrook opengaan. Omdat voertuigen veel visuele gelijkenissen vertonen, doen we de detectie in het camerabeeld met een generiek model dat de gezamenlijke visuele kenmerken bevat. Hiermee scannen we het beeld af op voertuigen.
Om een goed model te krijgen, passen we machine learning toe. Uit duizenden voorbeeldplaatjes van voertuigen leert het systeem volledig automatisch de belangrijkste visuele kenmerken. Bijvoorbeeld dat de contour van een auto kenmerkend is en dat kleurveranderingen door weers- en lichtomstandigheden niet belangrijk zijn. Het resulterende model leidt tot robuuste detectie van voertuigen.
Het systeem hebben we geëvalueerd op een deel van de snelweg A2 bij Born, tijdens verschillende weersomstandigheden en op meerdere camera’s op het traject. De output hebben we vergeleken met de daadwerkelijke gegevens over de passerende voertuigen (de zogeheten ‘ground truth’), verkregen door handmatige inspectie. Naast diverse gedetailleerde metingen hebben we meer algemene metingen gedaan die belangrijk zijn voor de wegverkeersleider.
Uit deze evaluaties is gebleken dat het systeem 96 procent van de voertuigen op de snelweg detecteert. Daarnaast hebben we gemeten dat we met 98 procent betrouwbaarheid kunnen aangeven of er wagens aanwezig zijn op de spitsstrook. Typische gevallen waarin we voertuigen missen, zijn auto’s en motoren die voor een groot deel verdwijnen achter een vrachtwagen. Ondanks deze moeilijke gevallen is het systeem robuust en in staat om onder alle weersomstandigheden alle voertuigen te analyseren.
Maatgevend object
Voor de computer is het heel lastig om een model te leren van objecten waarbij op voorhand niet bekend is hoe ze eruitzien. Daarom hebben we voor de detectie van afgevallen lading niet de lading zelf gemodelleerd, maar de scène (de achtergrond van het camerabeeld zonder bewegende objecten). Wanneer er iets op de spitsstrook komt te liggen, zal de scène in dat gebied veranderen. Als veranderingen lang genoeg aanwezig zijn, zal het systeem dit detecteren als een mogelijk obstakel (afgevallen lading).
De detectie van zulke objecten voeren we uit op diverse regio’s in het camerabeeld, zogeheten cellen. Per onafhankelijke cel modelleert het systeem stukjes beeld van deze locatie over de tijd. Visueel vergelijkbare stukjes voegt het over de tijd samen in zogeheten visuele clusters. Elke cel bevat na een tijd een aantal van deze clusters, die van verschillende bronnen afkomstig zijn: achtergrond (wegdek) en objecten (voertuigen en obstakels). Een van deze clusters komt het meest voor en representeert de achtergrond (wegdek), het ‘stabiele cluster’.
Over de tijd kijkt het systeem per cel of het camerabeeld overeenkomt met het stabiele cluster. Is dat niet zo, dan wordt dit veroorzaakt door óf een bewegend object, óf een stilliggend obstakel. Als een cel langere tijd niet overeenkomt met een stabiel cluster, geeft het systeem deze cel aan als obstakel. Langzame veranderingen zoals het verloop van schaduwen en snelle veranderingen zoals voorbijrijdende voertuigen detecteert het niet. Voertuigen die stilstaan, ziet het wel als obstakel.
Dit systeem hebben we getest met verschillende, typisch voorkomende objecten op de spitsstrook. Deze hebben we op verschillende afstanden en verschillende locaties geplaatst voor een zo compleet mogelijke evaluatie. Naast de typische afgevallen lading hebben we het officiële maatgevende object gebruikt. Dit object van 50 bij 20 bij 20 cm wordt ook ingezet tijdens de installatie van de camera’s en moet over de gehele spitsstrook zichtbaar zijn voor de wegverkeersleider.
Uit de evaluatie van het algoritme op deze beelden blijkt dat het systeem afgevallen lading in 94 procent van de gevallen kan detecteren, tot honderdvijftig meter afstand. Objecten kleiner dan het maatgevend object, zoals een baksteen of een houten balk, zijn met de huidige analoge camera’s niet altijd te vinden. In de nacht is het nodig dat het wegdek verlicht is. Samengevat, kan het systeem de wegverkeersleider ondersteunen in het schouwen van spitstroken doordat het afgevallen lading in de meeste gevallen al direct detecteert.
Filestaarten bewaken
Door slimme algoritmes te gebruiken voor de bestaande camera’s langs de snelweg kan de wegverkeersleider heel gericht te werk gaan en snel een waarschuwing krijgen bij problemen. Het monitoringsysteem kan de spitsstrook 24 uur per dag in de gaten houden. Hierdoor is afgevallen lading te signaleren lang voor het openen van een spitsstrook en is de procedure voor het verwijderen van de obstakels direct op te starten.
Een andere toepassing is incidentmanagement, waarbij wegverkeersleiders proactief signalen kunnen krijgen. We kunnen slimme camera’s zelfs inzetten om op basis van een inschatting van de verkeerssituatie automatisch bruggen te bedienen, voertuigen te signaleren die rode kruizen negeren, filestaarten te bewaken en verkeersonderzoek te verrichten. Alles voor een snellere doorstroming en meer veiligheid.
