Afgelopen jaar hebben we met veel plezier Tilly geïntroduceerd en getest. Tilly de game als middel om samen spelenderwijs bij te dragen aan het onderzoek naar immuuntherapie door het Antoni van Leeuwenhoek (AVL). Mede door onze gemeenschap van spelers werd het een zeer inspirerende en nog belangrijker, een impactvolle ervaring. Door de hoeveelheid data die we hebben opgehaald, door het samen spelen en het gemeenschapsgevoel dat hieruit ontstond, door de feedback van de spelers en de betrokkenheid van onze partners: AVL Foundation en Vodafone Netherlands Foundation. Met als allerbelangrijkste conclusie: samen kunnen we net zo goed verschillende celtypen herkennen en annoteren als de expert patholoog. Hiermee hebben we proof-of-principle aangetoond waarop we kunnen gaan bouwen. Zie hier een infographic over Tilly’s impact.
Dit proof-of-principle verzamelen, was ook het voornaamste doel van de twee testweken met spelers; Tilly Challenges genaamd. Door dit proof-of-principle aan te tonen, hebben we laten zien dat wij samen spelenderwijs een groot probleem kunnen oplossen, namelijk het gebrek aan data over onze cellen, annotaties genaamd. Met de bij elkaar gespeelde data worden pathologen ontzien van deze tijdrovende klus waardoor er meer tijd overblijft in hun werkweek voor innovatie en onderzoek. Deze twee drempels: data en tijd vertragen de ontwikkeling van kunstmatige intelligentie binnen kankeronderzoek, wat weer effect heeft op de inzetbaarheid van immuuntherapie.
Hoeveelheid data
In totaal speelden ruim 350 mensen mee tijdens de 2 Tilly Challenges. Bij elkaar verzamelden deze spelers in slechts 12 dagen meer dan 210.000 annotaties! Een ongekende bak vol met data, verdeeld over 3 celtypen: immuuncellen, tumorcellen en fibroblasten plus twee extra taken over de positie van deze cellen. Hoewel dit nog niet genoeg is om een algoritme optimaal te trainen, is het niet moeilijk om voor te stellen dat met een grotere groep spelers en meer tijd de berg data razendsnel kan groeien. Dit is van niet te onderschatten belang, want algoritmes zijn veelvraten. Hoeveel annotaties we nodig hebben? Het precieze aantal is lastig vast te stellen, maar het zal gaan om minimaal het tienvoudige.
Kwaliteit van de data
Naast hoeveelheid is de kwaliteit zeer belangrijk. Het herkennen van cellen is makkelijker gezegd dan gedaan, zoals ook bleek uit de feedback van de spelers. Dat neemt niet weg dat met minimale training de spelers samen al tot een behoorlijke consensus kwamen van gemiddeld 75 procent voor alle celtypen. Dit percentage wordt berekend door het celtype met de meeste stemmen als waar te zien. In 75 procent van de gevallen is dit ook wat de expert zegt. Dit is een behoorlijke goede score, echter, door een andere rekenmethode te hanteren, schiet de consensus omhoog naar bijna 90 procent. Hoog genoeg om een algoritme mee te trainen! Bij deze methode kijken onderzoekers naar de cellen waar de grootste overeenstemming over was. Wel wordt door deze kritische meetmethode de bruikbare hoeveelheid data aanzienlijk kleiner. Het is zoeken naar een balans tussen kwaliteit en kwantiteit. Maar de potentie van de power of the crowd is hier mee aangetoond.
Dit zijn geweldige uitkomsten en vormen een stevig fundament voor ons om op door te pakken**.** Er zijn nog genoeg uitdagingen, maar we begrijpen wat er nodig is om de kwaliteit en van daaruit de kwantiteit te vergroten, zowel aan de game als data kant. Het kan leuker, leerzamer en slimmer en dit willen we aankomende maanden met een nieuwe versie wederom gaan testen. We werken toe naar een nieuwe testronde van Tilly in juni met hopelijk meer dan 500 spelers. We houden jullie uiteraard op de hoogte. Tilly kan in ieder geval niet wachten!
Recent Comments