Koen Vervloesem
27 January 2006

De Katholieke Hogeschool Limburg in Hasselt ontwikkelt een robot die volautomatisch een hele boomgaard kan oogsten. Het ingebedde beeldanalysesysteem herkent appels die alleen of in een groepje hangen en kan zelfs de rijpheid van de vruchten bepalen. Eind vorig jaar demonstreerden de onderzoekers een prototype.

Onlangs presenteerde de Katholieke Hogeschool Limburg (KHLim) in Hasselt een eerste prototype van zijn Autonome Fruitplukmachine (AFPM). Deze experimentele robot moet volledig zelfstandig appels kunnen herkennen aan een boom en ze oogsten. Met de AFPM onderzoekt de hogeschool de inzet van computertechnologie en machinevisie om de fruitpluk te automatiseren. Eind vorig jaar stelden de researchers de stand van zaken voor op een studiedag.

Het AFPM-project ging in september 2004 van start met financiële steun uit het Tetra-fonds van het IWT (Instituut voor de aanmoediging van innovatie door Wetenschap en Technologie). De standaard looptijd van Tetra-initiatieven bedraagt twee jaar, zodat de robot eind dit jaar volledig functioneel zou moeten zijn. De studiedag halverwege het traject was voor de onderzoeksgroep Acro (Automatisering Centrum Research en Opleiding) van de KHLim een goede gelegenheid om een demonstratie te geven en de voortgang van het project toe te lichten.

De vereisten voor een automatische fruitplukmachine zijn niet min. Allereerst mag het grijpsysteem de vruchten niet beschadigen. Daarnaast moet de robot het fruit zo dicht mogelijk bij de boom verzamelen om de vruchten snel na elkaar te kunnen plukken. Verder moet de grijparm slank genoeg zijn om gemakkelijk tussen de takken te kunnen bewegen. De fruitplukker moet ook een eigen energievoorziening hebben. Ten slotte moet het beeldanalysesysteem de vruchten herkennen in wisselende belichtingsomstandigheden, bij bewolkt en zonnig weer.

0612614169000
De robot lokaliseert eerst de vruchten en bepaalt daarna op basis van de tint of ze rijp zijn voor de oogst.

Plukbeweging

Het plukproces begint bij een camera die de te oogsten appels filmt. Op basis van de beelden herkent het ingebedde analysesysteem van de AFPM de appels en bepaalt het bovendien de afstand tot de vruchten, zodat het kan berekenen welke beweging de grijparm moet uitvoeren om ze te pakken. De camera schiet daarvoor tijdens de beweging van de grijper een aantal plaatjes na elkaar en becijfert dan met de triangulatiemethode de positie ten opzichte van de appel.

 advertorial 

The waves of Agile

Derk-Jan de Grood has created a rich source of knowledge for Agile coaches and leaders. With practical tips to create a learning organization that delivers quality solutions with business value. Order The waves of Agile here.

Voor de plaatsing van de camera zijn de onderzoekers met een niet zo voor de hand liggende oplossing voor de dag gekomen. In plaats van op de basis of de grijparm, hebben ze het toestel in de plukhand gemonteerd. Aangezien de camera hierdoor op de middellijn van de robotpols ligt, zijn er minder berekeningen nodig: een coördinatentransformatie is niet meer nodig. Als gevolg hiervan zullen de afwijkingen op de posities bovendien kleiner zijn.

Om de appels goed te kunnen herkennen, moet het systeem werken bij een min of meer stabiele belichting. De AFPM heeft daarom een overkapping die zowel bij bewolkt als bij zonnig weer voor ongeveer dezelfde lichtinval zorgt. Hoogfrequente TL-lampen leveren extra homogeen licht.

Op het uiteinde van de grijparm staat de plukhand. Deze gebruikt onderdruk om de appels op te zuigen en perslucht om in de weg hangende bladeren aan de kant te blazen. Als de robot een appel klemvast heeft, voert hij de plukbeweging uit: de hand draait om zijn as en de arm trekt zich terug, waardoor de machine het fruit zonder beschadigingen binnenhaalt. Dit zuignapsysteem hebben de onderzoekers al in een vroeger project ontwikkeld.

De robotarm heeft verschillende vrijheidsgraden nodig om de hand in positie te brengen en vervolgens de plukbeweging uit te voeren. Op dit punt is er nog wel wat werk aan de winkel, aldus Eric Claesen, projectcoördinator automatisering van de KHLim. Het belangrijkste probleem is dat bestaande robots niet voldoen aan de configuratie- en controle-eisen voor de appelpluk. Zo zijn de exemplaren met voldoende reikwijdte vaak te zwaar en overgedimensioneerd, en daardoor te duur. De standaardconfiguratie van een serieel gelinkte zesassige knikarm (met zes bewegende delen boven elkaar) is bovendien niet zonder meer geschikt voor deze toepassing. Negen op de tien systemen met een dergelijke grijper zijn niet verticaal op te stellen, wat volgens Claesen wel nodig kan zijn voor de appelplukmachine. Een ander probleem is dat de standaard robotcontrole-interfaces geen realtime bijsturing van de positie op basis van een externe sensor (de machinevisie) toelaten: ’Sommige fabrikanten doen dit wel, maar geven de interface niet vrij, zodat aanpassingen zo goed als onmogelijk zijn.‘

0612614184700
De appelplukker van de Katholieke Hogeschool Limburg komt op een platform achter een tractor.

Gedistribueerde intelligentie

De camera is via USB 2.0 verbonden met een industriële pc. Voor de video is een bandbreedte van 360 Mbit/s beschikbaar, wat voldoende is voor een hoogwaardig 24 bit RGB-beeld van 800 bij 600 pixels dat met 30 frames per seconde wordt ververst. Nadeel van deze interface is echter het gebrek aan een standaard industriële driver.

De pc analyseert de cameraplaatjes en reageert hierop met opdrachten aan een Siemens-PLC om de grijparm te bewegen. Deze communicatie verloopt via een realtime Profibus-netwerk, waar ook de sturingskast van de robot aan hangt. Op de PLC draait standaard industriële IEC 1131-software, die er ook voor zorgt dat het robotplatform waterpas staat. ’Het hele systeem is eigenlijk een gedistribueerde intelligentie‘, vertelt Eric Claesen. ’De verschillende componenten voeren elk een deeltaak uit en communiceren met elkaar.‘

Op de pc analyseert een Visual Basic-programma de beelden van de camera. Voor de verwerking maakt het gebruik van de softwarebibliotheek Halcon. Sturing van de PLC doet het via OPC (OLE for Process Control), een standaard voor communicatie tussen Windows-toepassingen en hardware voor procescontrole. De pc heeft een aanraakscherm en stelt de operator in staat om de appelplukker in te stellen voor een specifieke taak.

De Hasseltenaars kozen voor een Panasonic-robot, die ze op een lift achter op een bestaande landbouwtractor hebben gemonteerd. Dat onderliggende platform biedt plaats aan de pc en de sturingen en heeft een eigen generator van 7 kW voor de energievoorziening van de AFPM. Voor het ontwerp en de ontwikkeling van de machine gebruikten de onderzoekers Panasonics DTPS-software, waarmee ze het systeem offline konden simuleren in zijn natuurlijke omgeving, de appelboomgaard. Dat maakte het ook mogelijk om te bepalen welk type robot ze nodig hadden voor de AFPM en hoe ze de robot en de assen moesten plaatsen. Daarna konden ze de bewegingen van de robot programmeren.

0612614195000
De fruitplukmachine uit Hasselt zuigt de appels van de takken.

Rijp voor de oogst

De onderzoeksgroep Acro van de Katholieke Hogeschool Limburg is al een hele tijd bezig met machinevisie. Tot de toepassingen die de Hasseltse researchers hebben uitgewerkt, behoren het herkennen en sorteren van flesjes, kwaliteitscontrole van gefabriceerde producten en de identificatie van personen voor toegangscontrole. Sinds enkele jaren is daar ook het onderscheiden van appels bij gekomen.

Het in de AFPM gebruikte beeldanalysesysteem kan niet alleen appels herkennen die los in een boom hangen, maar ook appels in een groepje van elkaar onderscheiden door te kijken naar de kromming die de randen van de tros vertonen. Ook als er een tak in beeld hangt, herkent het systeem de vrucht als één geheel. Verder kan het aan de hand van de kleur ontdekken of een appel rijp is voor de oogst. Daartoe werkt de herkenning met de HSV-kleurruimte. In vergelijking met RGB komt deze indeling naar tint (hue), verzadiging (saturation) en intensiteit (value) beter overeen met hoe mensen zien. Bovendien is de rijpheid eenvoudig te bepalen op basis van de tintcomponent.

Theoretisch gezien kan de robot de afstand tot de appel vaststellen met de triangulatiemethode. De camera neemt dan 4 à 5 beelden in een verschillende positie en met wat driehoeksmeetkunde is vanaf het derde plaatje de Z-coördinaat (de diepte) te berekenen. In de praktijk werkt dit enkel als de appel in het midden van het beeld staat, omdat de distorsie aan de rand van de lens te grote fouten introduceert. De AFPM positioneert de robotarm daarom eerst zodanig dat de geselecteerde vrucht in het midden van de lens te zien is, waarna de machine naar de appel beweegt en de afstand berekent. Staat de camera op 1 meter afstand, dan is de afwijking zo‘n 8 centimeter. Op 20 cm bedraagt de afwijking nog maar 0,2 cm.

Bottlenecks

In oktober moet het project af zijn. De stand van zaken ziet er volgens projectcoördinator Claesen goed uit: ’Het systeem herkent appels en hun positie, het zet zichzelf waterpas op een oneffen ondergrond en het heeft onder meer een eigen energievoorziening en een hydraulisch systeem. Dat alles werkt nu al.‘

Acro heeft nog wel wat plooien glad te strijken. Volgens Claesen zijn er nog verschillende bottlenecks in het huidige prototype. Ten eerste verwacht hij een opwaardering van het elektronische systeem: ’De robot moet sneller kunnen reageren op de gegevens van de camera.‘ Ten tweede zijn er nog wat mechanische problemen. Claesen geeft een voorbeeld: ’De wand van de plukhand is op dit moment nog wat te dik en daardoor niet soepel genoeg. We gaan waarschijnlijk een ander materiaal moeten kiezen om de appels beter te kunnen grijpen.‘

Daarnaast is er nog wat werk om het prototype uit te bouwen tot een bruikbaar product. Zo moet er nog een systeem komen om de geplukte appels te verzamelen en af te voeren. Iets fundamenteler is de sturing van het geheel: op dit moment is er nog geen terugkoppeling van de beeld-analyse naar de robot. Als het visiesys-teem een appel heeft gedetecteerd en de positie ten opzichte van de vrucht heeft berekend, moet de robotarm nog de juiste opdrachten krijgen om zich naar de appel te bewegen en de plukbeweging uit te voeren. De onderzoekers hebben dit al wel gesimuleerd, maar moeten het systeem nog fysiek bouwen.

Ten slotte moet de AFPM naar de volgende boom bewegen als de machine geen rijpe appels meer ziet om te plukken. Hiervoor moeten de Hasseltenaars nog software schrijven. Dat is de laatste stap op weg naar een robot die volledig autonoom een hele boomgaard kan oogsten.