Samen met het Zwitserse Dartfish ontwikkelde Miplaza een systeem dat de beelden van elf onderwatercamera‘s aan elkaar plakt tot een virtuele camera. Eindhovense topzwemmers kunnen daarmee hun prestaties terugkijken en evalueren.
Sinds september gebruiken Pieter van den Hoogenband en Marleen Veldhuis onderwaterbeelden voor het verbeteren van hun zwemprestaties. De gemeente Eindhoven greep de uitbreiding van hun thuisbasis zwembad De Tongelreep aan om een geavanceerd camerasysteem te installeren. Miplaza, het gemeenschappelijke technologiecentrum van Philips Research, kreeg de opdracht voor de ontwikkeling hiervan.
Het systeem wierp gelijk zijn vruchten af. ’Jacco Verhaeren, de trainer van Van den Hoogenband, vertelde hem al lang dat hij te diep duikt bij de start‘, vertelt projectleider Richard van der Wolf. ’Ons systeem liet dat bij de eerste test direct duidelijk zien.‘
Om een goed beeld te geven, moet het systeem de zwemmer over de gehele lengte van het bad volgen. Dat kan met een bewegende camera op rails, maar hier kleven nadelen aan. ’Een zwembad met zo‘n systeem is niet te gebruiken door particulieren, want die zouden de rails kunnen beschadigen of erin blijven haken‘, zegt Van der Wolf. De ontwerpers van het Vision Training System (VTS) kozen daarom voor een rij vaste camera‘s ingebouwd in de wand van het zwembad. Een krachtige pc stikt de beelden aan elkaar tot een virtuele camera die de zwemmer nagenoeg naadloos volgt. Daarnaast registreren aparte camera‘s onder en boven water de afsprong en keerpunten.
’Het VTS komt eigenlijk voort uit een draagbaar systeem dat we eerder voor de zwemploeg hebben ontwikkeld‘, vertelt Van der Wolf. Philips was toen hoofdsponsor van het team. Op een gegeven moment vroegen de zwemmers of het bedrijf ook met techniek kon sponsoren in plaats van alleen met geld. Philips ontwikkelde toen een opnamesysteem met vier camera‘s, dat via beugels in een zwembad te monteren was. De zwemmers konden het hele systeem netjes in koffers pakken en meenemen. ’Dat was een groot succes en heeft een tijdlang met de ploeg meegereisd, maar het had als nadeel dat het opbouwen en afbreken nogal bewerkelijk was‘, zegt Van der Wolf. Nu ruilen ze het dus in voor een vast systeem.
Test less, verify Moore
At the Bits&Chips Event 2023 on 12 October 2023, Phillipa Hopcroft from Crocotec and Ivo ter Horst from ASML will kick off with a keynote speech on transforming how lithography machine software is built. Make sure to keep an eye on the website for program updates and save the date!
Miplaza nam het Zwitserse bedrijf Dartfish in de arm voor de softwareontwikkeling. ’Dat konden we wel zelf gaan doen, maar zij zijn marktleider op het gebied van video-opnames voor sportsoftware en hebben al die kennis al in huis‘, zegt Van der Wolf. Wel moesten ze algoritmes ontwerpen om zwemmers te kunnen volgen onder water. Daarvoor bouwden de ontwikkelaars in Zwitserland een proefopstelling met een bootje dat door het water voortgetrokken werd. ’Die algoritmes werkten prima, maar toen ik daarna ging proefzwemmen raakte de methode door alle luchtbellen in de war‘, vertelt Van der Wolf.
De uiteindelijke implementatie heeft daarom wat hulp nodig van de gebruiker. Deze moet het verwachtingspatroon van de zwemmer van tevoren aangeven, zoals de waarschijnlijke zwemsnelheid. Daarmee houdt het systeem de zwemmer goed bij. Er mist wel af en toe een hand of een voet, maar het VTS laat zich niet van de wijs brengen door een zwemmer die plotseling vanaf de verkeerde kant door het beeld zwemt. Hoe de methode precies werkt kan Van der Wolf vanwege concurrentieoverwegingen niet zeggen.
Remote desktop
De ontwerpers kozen ervoor om het systeem te baseren op standaard componenten. Een krachtige server bewerkt de videobeelden, en een visualisatie-pc dient via remote desktop als bedieningspaneel. Beide computers draaien op Windows XP. In De Tongelreep staan beide computers droog in een aparte ruimte. Via een touchscreen naast het bad kunnen de atleten direct hun prestaties terugzien. ’Dit scherm is gewoon als tweede display op de visualisatie-pc aangesloten‘, zegt Van der Wolf.
De industriële camera‘s hebben een resolutie van 640 bij 480 pixels en zijn om en om aangesloten op een van de twee Firewire-verbindingen naar de capture-pc. Deze zet steeds twee camera‘s aan: een waarop de zwemmer in beeld is en een waarop deze binnenkort wordt verwacht.
De opname begint te lopen na een signaal van het tijdregistratiesysteem. Hier zijn verschillende fabrikanten voor, maar het VTS werkt met Omega omdat de Nederlandse zwembond dit adviseert. Een nadeel hiervan is wel dat het volledig gesloten is. ’Op zich is dat begrijpelijk, want op die manier valt er niet met de tijden te knoeien‘, vertelt Van der Wolf. ’Maar het betekende wel dat wij er via reverse engineering een interface voor moesten maken. Deze kan alleen de waarden uitlezen.‘
Nu de ontwikkeling is afgerond, kunnen de bouwers kijken naar verdere verkoop van het systeem. ’Dat zal Dartfish gaan doen, wij als Miplaza zitten niet in de verkoop van sportsoftware‘, zegt Van der Wolf. Gegadigden kunnen de programmatuur en een beschrijving kopen. Doordat het uit standaard componenten bestaat, kunnen ze het zelf aanpassen aan hun specifieke situatie.
Fish eye
Uiteraard ging de ontwikkeling niet zonder problemen. ’We hadden rekening gehouden met een aantal specifieke belichtingsscenario‘s gebaseerd op de bouwplannen voor het zwembad. Bij een wedstrijd bijvoorbeeld is er ander licht dan bij een training‘, zegt Van der Wolf. Via de software zijn de sluitertijden van de camera‘s op een van de belichtingsscenario‘s in te stellen. ’Alleen was de architect even vergeten te melden dat er ook nog een rijtje ramen zou komen. Dat geeft een variabel licht, waardoor er toch nog artefacten ontstaan.‘
Een ander probleem kwam naar voren bij het uitvouwen van de fish eye-beelden die alle camera‘s doorgeven. ’De standaard formule om dat naar een plat beeld te buigen, werkt onder water niet door de andere brekingsindex. Daar hadden we even geen rekening mee gehouden en het duurde wel even voordat we de goede formule hadden gevonden‘, aldus Van der Wolf.
Waar de makers ook over na moesten denken, was de klimaatbeheersing. ’Je hebt te maken met een zeer agressieve omgeving voor je camera‘s, met vocht, chloor en zoutzuur‘, vertelt Van der Wolf. ’We hebben lang nagedacht over geavanceerde klimaatbeheersingssystemen om dit probleem tegen te gaan. Uiteindelijk bleek dat de goden met ons waren, want in de kruipruimte waar de camera‘s opgesteld staan, bleek voldoende ventilatie te zijn.‘