De afgelopen jaren hebben wij als ChangeGamers gewerkt aan het bewijzen van een belangrijke wetenschappelijke hypothese: kunnen spelers met behulp van een game samen net zo goed cellen annoteren als de patholoog. Inmiddels kunnen we hier volmondig ‘ja’ op zeggen.
Door samen te spelen hebben de gemeenschap van spelers voldoende waardevolle data opgehaald om het algoritme accuraat te trainen. In totaal bijna 400.000 datapunten met 450 spelers verdeeld over drie speelrondes. Met een nauwkeurigheid van 82% scoort dit algoritme nagenoeg net zo goed als dat van de expert, 83%. De conclusie is daarom dat samen spelen niet alleen loont, het levert onmisbare brandstof voor het trainen van algoritmes. Het resultaat opent deuren om op een andere manier over dataverzameling en de ontwikkeling van algoritmes na te denken.
De onderbouwing hiervoor staat in de publicatie Crowdsourcing enables robust cell annotation for breast cancer pathology, dat is ingestuurd naar het wetenschappelijk tijdschrift Scientific Reports. Maar wat doet dit model precies? Hoe ziet het eruit en wat houdt 82% nauwkeurigheid in.
Op de bovenstaande afbeelding is algoritme getraind met ‘publieke data’ over een biopt van een patiënt gelegd. Het algoritme is getraind op het herkennen van immuun- en tumorcellen en fibroblasten en het model maakt in feite een ‘weerkaart’ van deze drie celtypen. Hierdoor wordt direct zichtbaar waar (context) en hoe vaak de drie celtypen (aantallen), immuun-, tumorcellen en fibroblasten, voorkomen. Iets wat met het blote oog door een microscoop veel lastiger is waar te nemen.
Met 82% is het model accuraat getraind, vergelijkbaar met andere modellen. De voorspellende waarde wordt momenteel binnen 2 trials getest. Deze resultaten worden teruggekoppeld. Dat gezegd hebbende, het is hoe dan ook een unicum: een model getraind met data verzameld door non-experts
De keuze om te beginnen met deze drie celtypen is omdat deze het meest relevant worden geacht in het vergroten van de voorspellende waarde van het model. Dit heeft ermee te maken dat aantal en ligging van met name immuuncellen ten opzichte van tumorcellen belangrijke indicatoren zijn om te bepalen welke triple-negatieve borstkanker patiënten baat hebben bij immuuntherapie. Als immuuncellen goed verspreid door en rond de tumor liggen, zoals ook op de afbeelding te zien is, is de kans dat immuuntherapie aanslaat groot. Dit heeft er onder meer mee te maken dat de tumor zich minder goed kan verdedigen en daardoor immuuncellen met behulp van de therapie beter in staat blijken zelf de tumorcellen aan te vallen en op te ruimen. Fibroblasten, dit zijn steuncellen, in de buurt van immuuncellen zeggen iets over de ‘kracht’ van deze immuuncellen aangezien deze ondersteund lijken te worden door fibroblasten.
Patronen zichtbaar met behulp van AI
Kortom, AI binnen pathologie maakt patronen zichtbaar voor een patholoog die met het blote oog lastiger te onderscheiden zijn. Deze onzekerheid maakt dat immuuntherapie suboptimaal ingezet wordt. Dat is de reden waarom de verwachting is dat AI van grote waarde kan zijn om de voorspellende waarde te vergroten en daarmee meer patiënten toe te geven tot deze veelbelovende therapie. Alleen hiervoor zijn veel data nodig.
De conclusie dat via de game samen waardevolle data kunnen verzamelen valt daarom niet te onderschatten. Iedereen kan daarmee op een laagdrempelige manier bijdragen aan het oplossen van een groot probleem in kankeronderzoek: het gebrek aan deze data van cellen, ofwel annotaties. Dit remt de ontwikkeling van AI in pathologie en daarmee de inzet van baanbrekende therapieën zoals immuuntherapie. Om die reden willen we het komende jaar opschalen en de game verder professionaliseren aan de hand van 3 nieuwe hypotheses. Speel je straks weer mee? Game on!
Recent Comments