Nieke Roos
23 May 2017

De trackingtechnologie Balljames van UT-spin-off Scisports genereert automatisch 3d-data uit videobeelden van voetbalwedstrijden. Binnenkort debuteert het systeem bij een club uit de Engelse Premier League.

10.449 meter. Zo veel legde Robin van Persie in totaal af tijdens de troostfinale van het wk voetbal 2014, waarin Oranje voor het laatst echt schitterde en thuisland Brazilië afdroogde met 3-0. Een computerprogramma heeft de afstand gedurende de wedstrijd bijgehouden op basis van live camerabeelden. Die 10.449 meter lijkt heel nauwkeurig, maar is slechts een benadering. In onoverzichtelijke situaties verliest de computer een speler al snel uit het oog, waarna een menselijke operator het systeem handmatig terug op het juiste spoor moet zetten. Verschillende trackingtechnologieën kunnen over een gehele wedstrijd zomaar een kilometer uiteenlopen, zo bleek uit een vergelijkend warenonderzoek van wereldvoetbalbond Fifa.

De Balljames-oplossing van het Twentse Scisports maakte nog geen deel uit van dat onderzoek. Het systeem bestaat ook pas sinds 2015. ‘Wij denken het zo nauwkeurig te kunnen dat menselijke ingrepen niet meer nodig zijn’, claimt Wouter Roosenburg, hoofd van het elfkoppige Balljames-team bij de UT-spin-off. ‘Behalve voor de spelers is er nu een operator voor de bal en als back-up zitten er in het stadion nog eens twee mensen het aantal passes van de teams te registreren – gewoon met een klikker waarmee je ook vogels telt. Die extra handjes willen wij overbodig maken.’

Na een kapitaalinjectie van 1,35 miljoen euro begin vorig jaar haalde Scisports in een tweede investeringsronde onlangs 1,8 miljoen op. Met dit geld gaat het bedrijf zijn Balljames-technologie voor voetbalbeeldanalyse marktrijp maken en implementeren in verschillende stadions, onder meer in Duitsland en Engeland. Daarnaast wil het de investering gebruiken om zijn Sciskill-index voor spelersanalyse wereldwijd uit te rollen.

Balljames Heracles

Tien terabyte

Scisports startte in 2012 met het idee om voetbalclubs te ondersteunen bij hun scouting door uit spelersstatistieken automatisch een advies te destilleren over wie ze het beste kunnen halen. Voor zijn studie technische bedrijfskunde aan de UT liep oprichter Giels Brouwer op dat moment stage bij FC Twente. Daar zag hij dat aankoopbeslissingen vaak gebaseerd werden op onderbuikgevoelens van scouts. Met wiskundestudent Anatoliy Babic en een inmiddels uitgestapte derde oprichter heeft hij toen het Sciskill-algoritme bedacht om dat te automatiseren. Op hun aanraden heeft Heracles Almelo spits Wout Weghorst van de reservebank geplukt bij FC Emmen. Weghorst maakt inmiddels furore bij AZ in Alkmaar.

‘Ze zijn statistieken bij elkaar beginnen te harken uit alle beschikbare bronnen op internet – openbare informatie over de transfermarkt, maar ook data van commerciële partijen als Opta Sports en Ortec Sports’, weet Roosenburg, die zelf vorig jaar september aan boord kwam. ‘Daarbij liepen ze ertegen aan dat niet van alle competities en spelers evenveel gegevens beschikbaar zijn. Gemiddeld heb je maar zo’n twee of drie procent van een hele wedstrijd. Uit onvrede met die beperking is Balljames geboren: wat als we een trackingsysteem maken waarmee we een x-aantal keer per seconde detailinformatie krijgen over spelers en bal, waaruit we vervolgens spelsituaties zoals doelpunten, assists en passes kunnen afleiden? Daarmee zijn veel betere analyses mogelijk dan met de commercieel voorhanden data.’

Dit resulteerde in 2015 in een eerste generatie én een eerste pilotklant: oude bekende Heracles. De Almelose club gebruikt het prototype nog steeds. In zijn Polmanstadion brengen veertien industriële camera’s het volledige veld in beeld: twee in elk van de vier hoeken, twee rond de middellijn aan elk van beide lange zijden en een achter elke goal. ‘In de zestien meter hebben we altijd dekking van minimaal vijf camera’s’, licht Roosenburg de opstelling toe. Een parallel netwerk met zelf in elkaar gesoldeerde triggerboxen zorgt voor de onderlinge synchronisatie.

Balljames camera met inzet

Het Balljames-prototype bij Heracles bestaat uit veertien industriële camera’s rondom het veld (inzet), die 25 frames per seconde schieten met een resolutie van 2332 bij 1752 pixels.

De veertien camera’s schieten 25 frames per seconde met een resolutie van 2332 bij 1752 pixels. Voor een wedstrijd van negentig minuten levert dit al snel tien terabyte aan ruwe data. De beelden gaan via het interne stadionnetwerk naar drie lokale servers, die ze opslaan op veertien ssd’s, een voor elke videostroom. Deze harde schijven neemt Scisports mee terug naar kantoor, waar een multiprocessorsysteem met een berg ram de postprocessing doet.

Met eigen algoritmes zetten de Twentenaren de ruwe data om in een Minecraft-achtige driedimensionale wereld. ‘Op basis van gesynchroniseerde videobeelden uit verschillende hoeken construeren we een 3d-representatie van de wedstrijd waarbij alle objecten zijn opgebouwd uit voxels’, legt Roosenburg uit. ‘Dat zijn blokjes van vijf bij vijf bij vijf centimeter. Een speler bestaat bijvoorbeeld uit een paar duizend voxels. In die 3d-wereld kunnen wij niet alleen zien dat Lionel Messi in de zestien meter staat, maar ook waar hij naar kijkt en hoe hij zijn armen en benen houdt.’ Zo kan Scisports niet alleen doelpunten, assists en passes in kaart brengen, maar ook statistieken genereren als de zuiverheid, richting en snelheid van de passing, sprint- en sprongkracht, looplijnen en hoe dicht de bal aan de voet blijft bij een aanname.

De UT-spin-off heeft een eigen voxelplayer gemaakt om de 3d-wereld te visualiseren, maar het is niet de bedoeling om die commercieel te gaan aanbieden. ‘Balljames is een data-engine’, benadrukt Roosenburg. ‘Gebruikers krijgen toegang tot alle ruwe video en alle matchdata die we daaruit hebben gehaald. Daarnaast kunnen we met Balljames ons Sciskill-algoritme sterk verbeteren. Die dataverwerking en -analyse, daar zijn wij goed in. In de visualisatie van wedstrijdsituaties zijn al een heleboel partijen actief die dat veel beter kunnen dan wij. Daar willen we niet mee concurreren, maar juist mee samenwerken.’

Balljames voxelplayer
Op basis van gesynchroniseerde videobeelden uit verschillende hoeken construeert Scisports een 3d-representatie van de wedstrijd waarbij alle objecten zijn opgebouwd uit voxels, blokjes van vijf bij vijf bij vijf centimeter.

Gpu-cluster

Naast Heracles heeft Scisports een tweede klant gestrikt: een Engelse Premier League-club waarvan Roosenburg de naam nog niet prijs mag geven. ‘Daar zijn we nu een tweede Balljames-generatie voor aan het ontwikkelen die we gebruiksklaar willen hebben voordat het nieuwe Premier League-seizoen begint na de zomer. Dat wordt een systeem met standaardcomponenten, waar we niet meer zelf aan hebben gesoldeerd. De camerasynchronisatie loopt niet meer via een aparte infrastructuur, maar via hetzelfde ethernetnetwerk als waar we de video over versturen. Ook zijn we overgestapt op betere camera’s – van iets boven hd naar 2440 bij 2048 pixels, om uiteindelijk toe te gaan naar 4k. Doordat het Engelse stadion veel groter is, zitten we een stuk verder van het veld en hebben we meer resolutie nodig om de bal nog te kunnen herkennen.’

Meer resolutie betekent meer data. De bestaande infrastructuur in het Engelse stadion kan dat niet verstouwen, vertelt Roosenburg. ‘Dat red je niet met honderd meter koperdraad. We zijn daar nu glasvezel aan het neerleggen om alle data getransporteerd te krijgen van de camera’s naar de lokale opnamestations.’

De servers, zowel die in het stadion als die voor de postprocessing bij Scisports, zijn zo gedimensioneerd dat ze nog wel even meekunnen. ‘In de machine op kantoor gaan we wel meer gpu-hardware stoppen’, tekent Roosenburg aan. ‘De verwerking van veertien parallelle streams vereist behoorlijk wat processorkracht. Waar we dat eerst allemaal op de cpu draaiden, doen we nu al heel veel op de gpu, maar ook dat is nog niet genoeg. Het lukt gewoon niet meer om alle data in het geheugen van één videokaart te krijgen, zelfs niet met high-end Nvidia-gpu’s. Voor de tweede generatie gaan we daarom naar een gpu-cluster. We zullen dus steeds slimmer moeten programmeren.’

De volgende stap heeft Roosenburg ook al op het netvlies: encodering van de video in het stadion. ‘We willen de hoeveelheid data reduceren. Door de beelden op de opnamestations te encoderen, hoeven we in plaats van tien terabyte nog maar honderdvijftig gigabyte mee terug naar kantoor te nemen. Dat zou je dan ook via het internet kunnen transporteren. Het zou helemaal mooi zijn als we al op de camera kunnen indikken, want dan hoeven al die data niet eens meer over het stadionnetwerk. We zijn nu aan het experimenteren met de H.265-codering, maar daarmee verlies je beeldinformatie, dus we moeten nog even goed kijken of onze trackingalgoritmes daartegen bestand zijn.’

Uiteindelijk wil Scisports de hele processing bij de bron gaan doen, dus op de camera. ‘Dan hoeven we niet meer complete frames door te sturen, maar alleen de interessante delen’, verklaart Roosenburg. ‘Een aantal van onze algoritmes hebben we al helemaal geschikt gemaakt voor een gpu, zodat we die straks meteen op de camera kunnen draaien. Doordat de netwerkeisen afnemen, wordt ook de totale kostprijs van het systeem lager en wordt Balljames voor veel meer clubs interessant.’

Balljames testopstelling Engeland
Op dit moment is Scisports de opstelling voor de Engelse Premier League-club intern aan het testen.

Deep learning

Het ultieme doel is realtime beschikbaarheid van de matchdata, stelt Roosenburg. ‘Op dit moment doen we de hele postprocessing binnen 24 uur. Met alle verbeteringen denken we dat voor het systeem in Engeland te kunnen verkorten naar zo’n twee uur. De volgende generatie moet ons heel dicht bij realtime brengen. Cameraprocessing is daarvoor cruciaal. Eind dit jaar verwachten we daar een grote slag te hebben gemaakt.’

Ook moet Balljames dan nog slimmer zijn. ‘Nu hebben we eigenlijk een traditioneel computervisionsysteem, waarmee we eigenlijk net zo veel zien als wanneer we veertien mensen om een voetbalveld heen zouden zetten’, aldus Roosenburg. ‘We halen nu ongeveer negentig procent nauwkeurigheid over een hele wedstrijd. De resterende tien procent willen we invullen met deep learning. Aan de hand van situaties die het eerder heeft gezien, moet het systeem nog beter leren begrijpen wat er gebeurt op het veld.’

Om alle innovaties goed te kunnen testen, krijgt Scisports binnenkort de beschikking over een derde veld, bij de UT. ‘Dat wordt echt onze speeltuin’, blikt Roosenburg vooruit. ‘Als we iets nieuws willen uitproberen, is het wel handig als we meteen een veld op kunnen. Bijvoorbeeld om even een paal naar beneden te halen en er een nieuwe camera op te schroeven. In een echt stadion is dat over het algemeen een stuk lastiger, zeker in Engeland. Hier hebben we het geluk dat Heracles daar heel makkelijk in is, maar bij onze nieuwe Premier League-club zal dat een ander verhaal worden.’