Tilly het algoritme heeft weer trek gekregen naar nieuwe data. Om die reden starten we met een nieuwe test met een verbeterde versie van de game. Van 28 oktober tot 1 november gaan we met een groep van 300 spelers een 5-daagse Tilly Challenge spelen. Dit is een verdubbeling van het aantal spelers van de eerste test. Tevens hebben we op basis van de bevindingen en feedback van de eerste test zowel game als dataverzameling verbeterd. Hiermee hopen we de impact voor zowel speler als de wetenschap verder te vergroten en daarmee de wetenschappelijke onderbouwing verder te versterken. Met als voornaamste doel om te laten zien dat we allemaal kunnen bijdragen aan het onderzoek naar immuuntherapie door de voeding te leveren om algoritmes mee te trainen.
Deze tweede versie hebben we alleen kunnen bouwen vanwege het succes van de eerste 7-daagse Tilly Challenge van afgelopen juli. Een zeer impactvolle week waarbij we samen met een groep van 150 spelers meer dan 100.000 datapunten bij elkaar hebben gespeeld met een hoge mate van consensus: tumorcellen 86%, immuuncellen 71%, fibroblasten 67%. Serieuze impact dus, waarmee we Tilly en de wetenschap slimmer hebben gemaakt. Want en minstens zo belangrijk, deze test heeft door de betrokkenheid van de spelers veel inzichten opgeleverd voor zowel de game als het onderzoek. Belangrijke input waar we mee aan de slag zijn gegaan. Hieronder de 3 belangrijkste geleerde lessen voor het onderzoek en de game.
3 wetenschappelijke bevindingen
- Beperking ground truth – -tijdens het spelen gaven we al aan dat goed en fout in de lastige gevallen niet zwart wit is. De power of the crowd is daarom essentieel om tot een consensus te komen waarmee we de expert kunnen toetsen, maar zelfs ook de ground truth. Door de test in juli kwamen we achter beperkingen van de ground truth (de labtesten). Zelfs deze gegevens zijn niet 100% betrouwbaar, wat de noodzaak onderstreept van extra controles en mogelijk nieuwe taken om de nauwkeurigheid van de gegevens te garanderen. Dit wordt nu een extra bonus taak in de nieuwe versie, met als doel samen twijfelgevallen op te lossen om zo het fundament van het algoritme verder te versterken.
- Hoogwaardige data – een andere belangrijke bevindingen uit de test is het belang van hoogwaardige data. We ontdekten dat het gebruik van cellen met hoge consensus en nauwkeurigheid een aanzienlijke impact heeft op de prestaties van het AI-model. Dit soort data maakt het model robuuster, alleen hadden we hier in de eerste test nog niet genoeg van verzameld. Investeren in dit soort hoogwaardige data is cruciaal voor onze toekomstige modellen. In de komende test onderzoeken we op grotere schaal hoe hoogwaardige data versus willekeurige data de modelprestaties beïnvloeden.
- Beter segmentatiemodel – onze analyse van de celcluster met hoge consensus en lage nauwkeurigheid onthulde verschillende kritieke punten. Onder meer dat er een beter segmentatiemodel nodig is. Het huidige model schiet tekort in het nauwkeurig segmenteren van cellen. Met daaraan gekoppeld een tweede punt: meer variatie in onze trainingsdata om dit model nog beter te maken. Dit betekent dat we afbeeldingen met verschillende kleuren en van verschillende scanners moeten gebruiken, en dat we meer gedetailleerde annotaties moeten maken. Hoewel dit nog best een uitdaging is, hebben we in deze versie de eerste stappen gezet.
3 verbeteringen game
- Niveaustructuur en moeilijkheidsgraad – de feedback onthulde dat er behoefte was aan verschillende moeilijkheidsgraden in de game. Meer progressie, want jullie werden nu te veel in het diepe gegooid. Om dit te verbeteren, hebben we een AI-model ontwikkeld dat de uitdaging aanpast op basis van hoe spelers in de laatste ronde presteerden en we hebben dit geïntroduceerd in de komende gameplay. Dit maakt dat de eerste sub-levels nu meer “duidelijke” cellen bevatten en dat gaandeweg de game de moeilijkheidsgraad per level toeneemt. In de laatste levels komen bijvoorbeeld meer ‘top van de ijsberg’ cellen voor. We hopen dat de verfijning van de levels en voortgang de speler meer houvast geeft.
- Lerend vermogen omhoog – deze verfijning hebben we ontwikkeld in combinatie met het verbeteren van de tutorial en de uitleg over de cellen. Om de 2 levels komt er vanuit de patholoog uitleg over de cellen, waarna de speler hier ook mee kan oefenen. De uitleg is gekoppeld aan de toegenomen moeilijkheidsgraad. Ook zit er nu een verbeterde tutorial in met meer uitleg, meer oefenstof en ook meer realistische plaatjes van cellen, waardoor hopelijk de stap naar de niet gelabelde data kleiner is. De tutorial kan een speler ook altijd opnieuw spelen tijdens de game. Hiermee hopen we dat het lerend vermogen van de speler omhooggaat.
- Feedback en motivatie – Uiteraard was de belangrijkste feedback: ik wil weten hoe ik het doe. Ook in deze versie zit nog geen directe feedback ingebouwd. Per mail ontvangen de spelers een update over de voortgang. Daarnaast zit in deze versie wel veel rewards en andere motivaties ingebouwd, waarmee we hopen dat het spelplezier en de motivatie om door te spelen verder toeneemt.
Toewerken naar publieksversie
We zijn de groep spelers zeer erkentelijk voor de tijd en energie die ze in de game hebben gestopt. Daardoor hebben we weer belangrijke stappen kunnen zetten. Met deze tweede test, nog steeds een prototype, maar inmiddels hopelijk een peuter versie van de game, willen we de wetenschappelijke onderbouwing verder versterken. Om zo aan te tonen dat we samen de voeding kunnen leveren om algoritmes te trainen die pathologen kunnen assisteren bij het beter voorspelen welke patiënt in aanmerking komt voor immuuntherapie. Daarmee vergroten we de toegang tot deze belangrijke therapie. Dit is de voorwaarde om begin volgend jaar een publieksversie te lanceren.
Speel je mee? We hebben nog enkele plekken beschikbaar: https://changegamers.nl/speel-mee/. Tilly kan niet wachten om je (weer) in het Cellenlab te verwelkomen.
Recent Comments