List en bedrog bij machine learning

Het is misschien maar een speldenprikje, het verslagje dat drie beveiligingsonderzoekers van de University of Washington op Arxiv publiceerden een paar weken nadat Google een bètatool online had gezet om video’s te analyseren. De Cloud Video Intelligence-api geeft van een filmpje in zijn geheel en per scène de sleutelwoorden die het bewegende beeld het best beschrijven. Maar de Amerikaanse onderzoekers ontdekten dat de dienst eenvoudig in de war is te brengen door een paar frames in het filmpje te vervangen door iets geheel anders.

Ze probeerden het uit met een viertal foto’s: een Audi, een gebouw, een bord spaghetti en een laptop. In alle vier de gevallen hoefden ze slechts een op de vijftig frames te vervangen, dus een enkel beeldje per twee seconden, om de labels van het hele filmpje te doen omklappen naar dat beeld. Om de dienst ook per scène te foppen, moesten ze iets meer moeite doen: elke seconde moest een frame worden aangepast.