We vertrouwen nog steeds op zestig jaar oude inzichten om veiligheidskritieke systemen te ontwerpen, en die voldoen niet meer, vindt MIT-hoogleraar Nancy Leveson. Zij stelt een andere benadering voor geschoeid op de regeltechniek – en met inbegrip van de gebruiker. ‘Ongelukken gebeuren immers op het moment dat systemen worden gebruikt.’
Nancy Leveson raakt er soms wel een beetje gefrustreerd van: bedrijven in haar thuisland zoals Boeing, General Motors en Ford zijn dol op haar aanpak om veiligheidskritieke systemen bouwen, maar in Europa krijgt ze tot nog toe weinig voet aan de grond. ‘Misschien is het het not invented here-syndroom. En jullie benaderen engineering op een andere manier: Amerikanen zijn praktischer ingesteld, terwijl Europeanen altijd een formelere aanpak hebben gehad, wiskundiger’, zei ze als keynotespreker van de workshop ‘Safety for future systems: science meets industry’, afgelopen jaar in Leiden georganiseerd door onder meer de Europese ruimtevaartorganisatie Esa en de Universiteit Twente.
Leveson, MIT-hoogleraar Aeronautics and Astronautics én Engineering Systems, spreekt vanuit een lange ervaring in veiligheids-engineering. Ze onderzocht in de jaren tachtig het befaamde drama met de Therac-25-machine voor radiotherapie en werkte aan Tcas, het systeem dat piloten vertelt wat ze moeten doen om een op handen zijnde botsing in de lucht te vermijden. Ze adviseerde de onderzoekscommissies naar de rampen met de Columbia-spaceshuttle en Deepwater Horizon. Ze hielp mee aan het ontwerp van vliegtuigen, ruimtevaartuigen, auto’s, kerncentrales en petrochemische installaties. En ze reed Bush jr. in de wielen toen uit haar analyse bleek dat het geautomatiseerde raketverdedigingssysteem van de VS nog lang niet klaar was voor gebruik; het kon te makkelijk misgaan.
Maar de afgelopen twee decennia is ze ervan overtuigd geraakt dat we op de verkeerde manier kijken naar veiligheid. Traditioneel wordt een ongeluk vaak gezien als een kettingreactie van falende componenten. Maar die aanname is achterhaald, vindt Leveson. Ze haalt een recent ongeluk aan met een squadron straaljagers van de Amerikaanse marine. ‘Ze moesten luchtdoelraketten van de ene naar de andere plek brengen. En terwijl ze toch aan het vliegen waren, konden ze best een test doen, dus een van de piloten kreeg de opdracht om een dummy-raket op het vliegtuig voor hem te richten. Maar het bleek dat de straaljager over slimme software beschikte die zag dat er een antenne in de weg zat, en zonder het te vragen schakelde die over naar een andere, echte raket, die hij vervolgens op zijn kameraad afvuurde.’
Het is een typisch voorbeeld van een ongeluk waarbij er niks faalde – alles deed precies waarvoor het ontworpen was. Het waren de onvoorziene interacties die het probleem veroorzaakten. ‘De gebruikelijke analysetechnieken zijn al meer dan een halve eeuw oud, toen alles nog mechanisch was. Maar tegenwoordig hebben we overal computers in gezet. Met software maken we veel complexere systemen en is het onmogelijk om nog te redeneren over alle mogelijke toestanden. Vliegtuigen zijn al computers met een dunne schil eromheen. En het wordt alleen maar erger. Tot voor kort gebruikte ik de fiets altijd als voorbeeld van een puur fysiek systeem, maar zelfs die moet er tegenwoordig ook aan geloven.’
Device lifecycle management for fleets of IoT devices
Microchip gives insight on device management, what exactly is it, how to implement it and how to roll over the device management during the roll out phase when the products are in the field. Read more. .
Bovendien, zo vindt Leveson, wordt er onvoldoende rekening gehouden met de menselijke gebruiker. ‘Ongelukken gebeuren immers op het moment dat systemen worden gebruikt. Heel vaak ontwerpen we systemen die verwarrend zijn voor de gebruikers en vervolgens geven we hun de schuld van de fouten die ze daardoor maken. Terwijl gebruikers er vaak juist alles aan doen om het systeem correct te bedienen.’
Ze pakt er opnieuw een voorbeeld uit de luchtvaart bij: American Airlines 965, die in Colombia tegen een berg aan vloog toen de piloten een verkeerde bestemming in de boordcomputer invoerden. ‘Er waren twee bestemmingen met dezelfde naam en het systeem liet niet zien waar die lagen; het was bijzonder verwarrend. Maar het onderzoeksrapport legde de schuld bij de piloten omdat ze het automatische systeem bleven gebruiken toen het verwarrend werd, niet bij het systeem dat zo ontworpen was.’
Een ontwerp als enorm meet- en regelsysteem
Leveson vindt daarom dat we op een andere manier over ongelukken moeten gaan redeneren. Niet alleen technisch, maar ook sociaal, en niet alleen kijkend naar het ontwerp, maar ook naar het gebruik. ‘Een ongeluk is doorgaans niet een boutje dat breekt of een circuit dat kortsluiting veroorzaakt; daar houden we in het ontwerp rekening mee. Het is altijd een combinatie van factoren, waaronder menselijk gedrag, de automatisering, maar ook het ontwerpproces en zelfs politieke omstandigheden. Ik kijk naar de hele levensduur van het systeem. Ik werk bijvoorbeeld ook met luchtvaartmaatschappijen, met de piloten die de systemen besturen.’
Het afgelopen decennium ontwikkelde ze daarom een alternatieve aanpak, Stamp geheten: System Theoretic Accident Model and Processes. Zoals de naam al zegt, is de aanpak geworteld in de systeemtheorie, het veld dat zich bezighoudt met dynamische meet- en regelprocessen. Stamp beschouwt elk systeem, of het nu een straaljager is of een procedure voor het oppompen van drinkwater, als een hiërarchie van dit soort dynamische regelsystemen. Een klep in de pijpleiding van een fabriek wordt bijvoorbeeld geregeld door een plc. Die plc’s worden weer aangestuurd door het centrale fabrieksautomatiseringssysteem. En dat staat weer onder controle van de menselijke operators.
Elk systeem – inclusief computers, mechanische onderdelen en menselijke gebruikers – kan zodoende worden gemodelleerd als een enorme flowchart van dynamische meet- en regelsystemen. Daarmee kan vervolgens worden geredeneerd over faalscenario’s. Stamp richt zich daarbij op de stuur- en feedbacksignalen van die regelsystemen. Met de aanpak kan telkens worden gekeken binnen welke grenzen die moeten blijven om het scenario te voorkomen.
De aanpak draait de analyses dus om: niet bottom-up vanuit falende onderdelen, maar top-down vanuit de risico’s. ‘Je hoeft daarvoor niet eerst het hele systeem te modelleren. Je begint op een hoog niveau en terwijl je afdaalt, vul je de details in die je nodig hebt’, legt Leveson uit. ‘Een risico kan bijvoorbeeld zijn het afvuren van een raket op het verkeerde moment, maar net zo goed reputatieschade voor het bedrijf.’
Door de hiërarchische top-downbenadering is het dus mogelijk zelfs zeer grote en complexe systemen onder controle te krijgen. Een ander voordeel: het model kan eigenlijk overal mee omgaan, van componentfouten tot menselijke processen. Om het productieproces van gecertificeerde systemen op orde te krijgen, kunnen bijvoorbeeld ook de veiligheidscultuur op de werkvloer en de invloed van het management worden meegenomen.
Net zo goed is de aanpak geschikt voor allerlei situaties: het ontwerpproces, de productieomgeving, het analyseren van ongelukken. ‘Een paar jaar geleden vroeg een luchtmachtkolonel of hij een PhD bij me kon doen om het toe te passen op cybersecurity. Het is een totaal andere aanpak waarbij je je niet richt op het buitenhouden van indringers, maar ervoor zorgt dat ze niks schadelijks kunnen doen. Ik had niet verwacht dat het zou werken, maar daar is het ook bruikbaar voor.’
Big in Japan
Leveson begon voor het eerst over de aanpak te praten rond de eeuwwisseling, en publiceerde er uiteindelijk in 2011 een boek over: ‘Engineering a safer world’. Maar het duurt lang om mensen te overtuigen, vindt ze. ‘We hebben ondertussen in zo’n beetje elke industrie wel gebruikers. De petrochemie heeft ons wel een beetje genegeerd, maar we hebben nu een overeenkomst met een van de grootste kunstmestproducenten ter wereld. Ik hoop dat dat een ingang is.’
Maar vliegtuigbouwers als Boeing en Embraer werkten al met de aanpak, net als de meeste Amerikaanse automakers. En Japan heeft de methode volledig omarmd, met dank aan de overheid. ‘Die heeft een agentschap dat technologie promoot waarvan ze denken dat iedereen die zou moeten gebruiken – bij ons zou dat niet kunnen, want dat is oneerlijke concurrentie, maar daar doen ze dat.’
In Europa gaat het langzamer, hoewel ook hier verschillende automakers langzaam met de aanpak beginnen te werken. Ze zullen uiteindelijk ook wel moeten, denkt Leveson. ‘General Motors en Ford proberen het uit alle macht in de nieuwe standaarden te krijgen. Airbus kan me ook nog een paar jaar negeren, maar in de VS wordt ook voor vliegtuigen gewerkt aan nieuwe standaarden waarin deze methode zit. Het is gewoon heel anders dan wat iedereen gewend is. Nadat ik het had bedacht, durfde ik er de eerste zes of zeven jaar niet over te praten uit angst dat ze zouden besluiten dat die gekke MIT-professor haar verstand had verloren.’