Dirk-Jan de Wilde is senior software test engineer bij Tomtom. Hij heeft ruime ervaring met het testen van medische software.

2 May 2014

De algemene perceptie is dat medische producten een hogere kwaliteit hebben dan consumentenproducten. Dat zal dus ook wel gelden voor de software ín die producten. In de praktijk blijkt het echter erg lastig om een goede vergelijking te maken, legt Dirk-Jan de Wilde uit.

Het idee dat medische software ‘beter’ is dan consumentensoftware is wijdverspreid, ook onder techneuten. Medische producten worden immers onderworpen aan strenge regelgeving, terwijl de teugels bij consumentenproducten wat minder strak worden aangetrokken. Maar klopt dit beeld wel?

Als softwaretester vind ik het heel interessant om daarover na te denken. Heeft medische software automatisch een hogere kwaliteit dan consumentensoftware? De werkelijkheid rond regelgeving ligt namelijk een stuk genuanceerder dan vaak aangenomen. Ik zal trachten dit op een hoog niveau te analyseren en een antwoord te geven op de vraag of medische software per definitie van hogere kwaliteit is dan consumentensoftware. Maar voordat we losbranden, is het allereerst belangrijk om enkele definities te geven. Wat is medische software, wat is consumentensoftware en bovenal: wat is kwaliteit?

De term ‘medische software’ is zeer breed en eigenlijk een algemene verzamelnaam voor alle software die in een medische context wordt gebruikt. Ten eerste kennen we embedded software in een medical device, een apparaat of een implantaat dat bedoeld is voor de diagnose, preventie of behandeling van een aandoening. Medical devices variëren sterk in toepassing en in complexiteit. Denk bijvoorbeeld aan een thermometer en een hersenimplantaat. Ten tweede kennen we clinical software. Dit is software die klinische data vastlegt, verwerkt, analyseert of bewerkt om klinisch georiënteerde beslissingen en maatregelen te ondersteunen of aan te bevelen. Een voorbeeld is software voor het diagnosticeren op basis van medische röntgen- of MR-beelden. Als derde is er healthcare software voor de verwerking, opslag en weergave van medische informatie voor administratieve en operationele aspecten in de gezondheidszorg. Een voorbeeld is een ziekenhuisinformatiesysteem (Zis).

CE vs medisch
Van welke is de kwaliteit beter? Foto’s: Siemens en Tomtom

Voor al deze categorieën zullen in de praktijk verschillende eisen gelden. Belangrijker is echter de risicoklasse: aan softwareontwikkeling voor lage risicoklassen worden niet zo heel spannende eisen gesteld, maar aan de hoogste risicoklasse wel. Omdat het idee over kwaliteit hiermee samenhangt, ga ik voor de discussie uit van de zwaarste risicoklassse.

Dat brengt ons bij de definitie van consumentensoftware. Dit is waarschijnlijk een nog breder begrip dan medische software, maar ik ga voor het gemak uit van software die in de winkel kan worden gekocht als onderdeel van consumentenelektronica. Denk aan een smart-tv of navigatiesysteem.

Dan hebben we nog het begrip kwaliteit. Dit is een subjectief begrip dat op zichzelf niet zo veel zegt. Alleen in grote lijnen weten we wel wat ermee wordt bedoeld. Kwaliteit bepaalt bijvoorbeeld hoe lang een product meegaat tot het stukgaat of totdat functies stoppen met werken. Maar kwaliteit krijgt pas inhoud zodra we kwaliteitsfactoren definiëren. Een smart-tv is in onze perceptie een kwaliteits-tv als de resolutie hoog is, het energieverbruik laag en als we snel kunnen zappen. Een navigatiesysteem moet de gebruiker feilloos de weg wijzen, omleiden in geval van files en snel een nieuwe route herberekenen wanneer we een andere weg inslaan.

Hoe zit dat bij een medisch systeem? Dat moet vooral betrouwbaar zijn en het ‘gewoon’ doen voor de opgegeven levensduur van tien tot vijftien jaar. En vaak is dat alleen mogelijk met een of andere vorm van onderhoud. De meest eenvoudige is reiniging, de meest zichtbare is wellicht een software-upgrade. Onze beleving van kwaliteit wordt in ieder geval – positief – beïnvloed als het onderhoud snel en vlekkeloos verloopt.

Bij ieder product is er dus weer sprake van een andere set kwaliteitsfactoren. En met alleen het benoemen ervan zijn we er niet; ze dienen ook nog te worden gekwantificeerd. Dat is niet eenvoudig: de kwantificering zal anders zijn bij verschillende categorieën gebruik.

Onacceptabele risico’s

Nu we de definities duidelijk hebben, kunnen we naar de regelgeving gaan kijken. Zowel medische als consumentenproducten moeten in de EU voorzien zijn van een CE-markering. CE staat voor ‘conformité Européenne’, vertaald: in overeenstemming met de Europese regelgeving. Het doel van de CE-markering is tweeledig. Ten eerste moet deze de vrije handel binnen de lidstaten bevorderen; producten met CE-markering moeten tot elke interne markt van de EU worden toegelaten. Ten tweede is de markering bedoeld ter harmonisering van de wettelijke eisen voor veiligheid, gezondheid en milieu in relatie tot het product. De eisen zijn vastgelegd in EG-richtlijnen en lidstaten moeten deze een op een in hun nationale wetgeving overnemen.

Met een CE-markering geeft de fabrikant aan dat het product voldoet aan alle eisen en dat de conformiteitsprocedures zijn voltooid. Dit is opgeschreven in een conformiteitsverklaring. Ook stelt de producent zich ermee verantwoordelijk voor zijn product.

Het onderzoeken of een product aan de richtlijnen voldoet voor een CE-markering is grotendeels zelfcertificering: de fabrikant mag de benodigde metingen en onderzoeken zelf uitvoeren of uitbesteden aan een instituut naar keuze. Bij producten die in een risicovolle categorie vallen zoals hersenimplantaten is dat anders. Hier moet verplicht een door de overheid aangemelde instantie (notified body) worden geraadpleegd die het product en het kwaliteitssysteem controleert. Deze instanties worden door de nationale overheden geaccrediteerd voor een specifiek gebied van een EG-richtlijn. Voor de EU zijn er de risicoklassen I, IIa, IIb en III, die een oplopend risico aangeven.

Om als producent de conformiteitsbeoordeling te kunnen uitvoeren, zijn (geharmoniseerde) normen opgesteld, die in tegenstelling tot de richtlijnen technisch van aard zijn. Ten behoeve van nieuwe technieken en technologieën worden deze normen regelmatig aangepast. Normen zijn te herkennen aan een EN-aanduiding en normnummer. Zo is EN 62304 een geharmoniseerde standaard met eisen voor het ontwikkelen en onderhouden van medische software. Geharmoniseerd door de Europese Unie en de Verenigde Staten is deze ook bekend als internationale standaard IEC 62304, die gebruikt kan worden om te voldoen aan wettelijke vereisten voor beide markten.

De eisen zijn afhankelijk van de risicoklasse van het medische hulpmiddel. Kort samengevat komt deze standaard er echter telkens op neer dat de ontwikkelaar aan moet tonen dat de software voldoet aan het beoogde gebruik (intended use) zonder dat daarbij onacceptabele risico’s ontstaan. Hiertoe schrijft de norm eisen voor aan de softwarelevenscyclusprocessen. Omdat veel incidenten onderhoudsgerelateerd zijn (het gevolg van updates en upgrades) wordt het softwareonderhoudsproces net zo belangrijk geacht als het ontwikkelproces.

Volgens IEC 62304 dient allereerst te worden aangetoond dat de medische software wordt ontwikkeld en onderhouden volgens een kwaliteitsmanagementsysteem en een risicomanagementsysteem. Omdat risicomanagement al uitvoerig is behandeld in Iso 14971 wordt hier simpelweg naar verwezen, met de aanvulling dat hazards in kaart gebracht moeten worden: alle bronnen die potentieel kunnen leiden tot lichamelijk letsel, schade aan de gezondheid van mensen of schade aan milieu. Ook indirecte hazards, bijvoorbeeld het verstrekken van foutieve informatie waardoor een verkeerde behandeling wordt gekozen, moeten hierin worden meegenomen. Verder beschrijft IEC 62304 de eisen voor het configuratiemanagementproces en het probleemoplossingsproces.

Leidraad

Geharmoniseerde normen zijn redelijk uitgebreid maar omdat ze geschikt dienen te zijn voor een breed scala in risicoklassen ingedeelde medische producten gaan ze slechts over de vorm en niet zozeer over inhoud (deze verschilt immers telkens). Kwaliteit bij medische producten wordt in beginsel dus ook niet afgedwongen via eisen en richtlijnen gesteld vanuit regelgeving; deze laatste vormen alleen een leidraad voor processen en activiteiten waarbinnen kwaliteit kan worden bewerkstelligd.

Een CE-markering is dus géén (kwaliteits)keurmerk, alleen een claim dat het product zich conformeert aan de Europese richtlijnen voor onder meer veiligheid en prestaties, of het nu een consumenten- of medisch product is. Het CE-stempel dat op beide typen staat, kunnen we dus niet gebruiken om de kwaliteit te vergelijken.

Kunnen we ons dan nog steeds afvragen of de ene software kwalitatief beter is dan de andere? Eigenlijk niet. Een goede manier om kwaliteit in onze producten op te nemen, is tijdens de ontwikkeling duidelijk focussen op dit onderwerp zodat de verantwoordelijke factoren in de vorm van commercial of customer requirements worden gespecificeerd. Sommige requirements zijn functioneel van aard, andere niet-functioneel. Denk aan eenvoud van bediening, uitbreidbaarheid, bedrijfszekerheid, snelheid en duurzaamheid. Degene die zich hiermee bezighoudt, dient zich bewust te zijn van psychologische effecten, die voor ieder type gebruiker en zelfs ieder persoon anders kunnen zijn.

Wanneer we kwaliteit specificeren met requirements, kunnen we die na implementatie verifiëren en valideren. Als dit met voldoende aandacht gebeurt, kan het zomaar zijn dat de kwaliteit van een consumentenproduct hoger wordt beschouwd dan die van een medische toepassing. Maar ook dit is sterk beïnvloed door perceptie.

Edited by Pieter Edelman