Kunnen de krachtigste AI-coderingstools van vandaag de dag daadwerkelijk omgaan met de diepe natuurkunde die is ingebed in wetenschappelijke imaging-workflows? Een nieuwe benchmark genaamd Imaging-101 is ontwikkeld om dat uit te zoeken — en het antwoord is, althans voorlopig, een duidelijk nee. In juli 2026 ingediend door een team van twaalf onderzoekers, waaronder Siyi Chen, Jiahe Ying en He Sun, plaatst de studie het benchmarken van LLM-coderingsagenten centraal in een vakgebied waar een fout in de wiskunde niet alleen buggy software oplevert — maar wetenschappelijk betekenisloze resultaten.
Summary
Belangrijkste punten
- Imaging-101 is een benchmark van 57 door experts geverifieerde computationele imaging-taken in zes wetenschappelijke domeinen, elk verankerd in een peer-reviewed artikel.
- Elke taak volgt een gestandaardiseerde pijplijn van vier fasen: preprocessing, forward physics modeling, inverse solver en visualisatie.
- De evaluatie omvat drie trajecten — planning, functie-niveau unit tests en end-to-end reconstructie — die verschillende capaciteiten van agenten onderzoeken.
- Zeven toonaangevende large language models zijn geëvalueerd, wat systematische uitdagingen aan het licht brengt die verder gaan dan wat algemene codeerbenchmarks blootleggen.
- De studie identificeert concrete hiaten in algoritmeselectie, omgang met fysische conventies en pijplijnintegratie, en wijst op domeinspecialistische agenten als de weg vooruit.
Wat Imaging-101 daadwerkelijk test
Computationele imaging bevindt zich op het snijvlak van natuurkunde, wiskunde en software-engineering. De kernuitdaging is het terugwinnen van verborgen signalen uit indirecte, ruisachtige metingen — denk aan het reconstrueren van een medische afbeelding uit sensorlezingen, of het terugwinnen van een structuur uit verstrooid licht. Het vormt de basis voor kwantitatieve ontdekkingen in wetenschappelijke disciplines, maar het bouwen van een correcte reconstructiepijplijn vereist diepe domeinexpertise. Zelfs ervaren domeinwetenschappers vinden het arbeidsintensief.
Imaging-101 is ontworpen om te testen of LLM’s daarbij zinvolle ondersteuning kunnen bieden. De benchmark bundelt 57 door experts geverifieerde taken uit zes wetenschappelijke domeinen, waarbij elke taak is verankerd in een peer-reviewed artikel. Die verankering is belangrijk: het betekent dat de benchmark niet abstracte codeerbekwaamheid meet, maar of een AI-agent echte, gepubliceerde wetenschappelijke methoden kan vertalen naar werkende code.
Gestandaardiseerde pijplijn in vier fasen
Om taken vergelijkbaar te maken tussen domeinen, wordt elk van de 57 problemen in dezelfde structuur gegoten. De pijplijn in vier fasen doorloopt preprocessing, forward physics modeling, inverse solver en visualisatie. Elke fase heeft zijn eigen complexiteit. Forward physics modeling vereist bijvoorbeeld dat een agent de natuurwetten codeert die bepalen hoe een signaal wordt gemeten — niet alleen syntactisch correcte code schrijven, maar ook de juiste vergelijkingen vastleggen. De inverse-solverfase vraagt de agent vervolgens om dat proces wiskundig om te keren.
Deze pijplijnstructuur is een van de meest weloverwogen ontwerpkeuzes van Imaging-101. Door de workflow te standaardiseren, maakt de benchmark het mogelijk om precies te isoleren waar een LLM faalt — of het nu gaat om het begrijpen van de fysische opzet, worstelen met numerieke methoden, of het simpelweg niet kunnen integreren van de fasen tot een coherente end-to-endoplossing.
Hoe de evaluatie was opgezet
Het onderzoeksteam evalueerde zeven state-of-the-art large language models die zijn geoptimaliseerd voor codeertaken. In plaats van de prestaties met één enkele metriek te meten, is de evaluatie opgesplitst in drie afzonderlijke trajecten die zijn ontworpen om verschillende capaciteiten van agenten te onderzoeken.
Het eerste traject test planning — of een agent correct kan redeneren over de algemene aanpak voordat er code wordt geschreven. Het tweede gebruikt functie-niveau unit tests, waarbij afzonderlijke componenten van de pijplijn worden geïsoleerd om de nauwkeurigheid van de code op detailniveau te beoordelen. Het derde en meest veeleisende traject meet end-to-end reconstructie, waarbij de agent een volledige, werkende pijplijn moet produceren die daadwerkelijk een betekenisvol signaal terugwint uit ruwe metingen.
Dit ontwerp met drie trajecten is analytisch doordacht. Een model kan goed presteren op planning — de juiste strategie formuleren — maar volledig falen wanneer het die strategie in code moet implementeren. Door de trajecten te scheiden worden die fouten zichtbaar in plaats van gemiddeld.
Waar LLM’s tekortschieten bij wetenschappelijke imaging-taken
De resultaten brengen een reeks systematische uitdagingen aan het licht die algemene codeerbenchmarks simpelweg niet blootleggen. Drie probleemgebieden springen duidelijk naar voren in de bevindingen.
- Algoritmeselectie: LLM’s hebben moeite om het juiste reconstructie-algoritme te kiezen voor een gegeven fysische opzet en vallen vaak terug op generieke of onjuiste benaderingen.
- Omgang met fysische conventies: wetenschappelijke imaging steunt op precieze conventies — coördinatensystemen, definitie van eenheden, tekenconventies in vergelijkingen — en modellen hebben het hier vaak mis op manieren die resultaten stilzwijgend corrumperen.
- Pijplijnintegratie: zelfs wanneer afzonderlijke fasen correct zijn gecodeerd, brengt het koppelen ervan tot een functionerend end-to-endsysteem extra faalmodi aan het licht.
Wat deze bevindingen belangrijk maakt, is dat ze een kwalitatief andere moeilijkheidsgraad vertegenwoordigen dan algemene softwareontwikkelingstaken. Het schrijven van een webscraper of sorteerroutine vereist geen begrip van de fysica van golfvoortplanting of de wiskunde van Fourier-inversie. Computationele imaging wel. De kloof tussen algemene codeerbekwaamheid en domeinspecifieke wetenschappelijke codering blijkt groter dan bestaande benchmarks suggereren.
Waarom deze kloof buiten de academische wereld van belang is
De implicaties reiken verder dan één onderzoeksartikel. LLM-coderingsagenten worden steeds vaker gepositioneerd als algemene wetenschappelijke assistenten — hulpmiddelen die onderzoekers kunnen gebruiken om de implementatie van nieuwe methoden te versnellen. Als die agenten systematisch falen in het hanteren van fysische conventies of ongeschikte inverse solvers kiezen, kan het inzetten ervan zonder zorgvuldige menselijke controle moeilijk te detecteren fouten introduceren in wetenschappelijke pijplijnen. Het soort fouten dat geen exceptions veroorzaakt, maar stilletjes verkeerde antwoorden oplevert.
Voor vakgebieden waarin computationele imaging de ontdekkingen aandrijft — van medische diagnostiek tot materiaalkunde — is dat een wezenlijke betrouwbaarheidskwestie, geen theoretische.
De weg vooruit: domeinspecialistische agenten
De studie blijft niet steken bij het identificeren van problemen. Het onderzoeksteam wijst op vaardigheidsverrijkte en domeinspecialistische agenten als het praktische verbeterpad. De benadering suggereert dat een general-purpose LLM, hoe capabel ook bij conventionele codeertaken, structurele beperkingen heeft wanneer het wordt toegepast op natuurkundig onderbouwde wetenschappelijke workflows. Agenten die specifiek zijn uitgerust met domeinkennis — via fine-tuning, retrieval-augmented tools of gestructureerde vaardigheidsmodules — vormen de veelbelovender richting.
Imaging-101 zelf wordt gepositioneerd als de infrastructuur om de vooruitgang langs dat pad te meten. Door een gestandaardiseerde benchmark te bieden met door experts geverifieerde taken en een reproduceerbaar evaluatiekader, geeft het onderzoekers een concreet doel om de prestaties van agenten op LLM-reconstructie-uitdagingen in computationele imaging te verbeteren. De verankering van de benchmark in peer-reviewed artikelen betekent ook dat hij de echte wetenschappelijke praktijk weerspiegelt, niet synthetische speelgoedproblemen.
Of het veld nu snel opschuift richting gespecialiseerde agenten of blijft vertrouwen op general-purpose modellen met menselijke correctie, Imaging-101 biedt nu het duidelijkste beschikbare beeld van waar de hiaten daadwerkelijk liggen — en hoe diep ze gaan.
FAQ
Wat is het doel van de Imaging-101-benchmark?
Imaging-101 benchmarkt de prestaties van large language model-coderingsagenten op 57 door experts geverifieerde computationele imaging-taken in zes wetenschappelijke domeinen. Elke taak is gestandaardiseerd in een pijplijn van vier fasen, waardoor een systematische evaluatie mogelijk is van waar AI-agenten slagen en falen in wetenschappelijke imaging-workflows.
Uit welke fasen bestaat de computationele imaging-pijplijn in Imaging-101?
De pijplijn bestaat uit vier fasen: preprocessing, forward physics modeling, inverse solver en visualisatie. Elke fase vertegenwoordigt een afzonderlijke technische uitdaging, van het coderen van natuurwetten voor metingen tot het reconstrueren van verborgen signalen uit ruisachtige data.
Met welke uitdagingen werden LLM-coderingsagenten geconfronteerd in de evaluatie?
De geëvalueerde modellen hadden moeite met drie hoofdgebieden: het selecteren van het juiste algoritme voor een gegeven fysische opzet, het correct hanteren van fysische conventies zoals coördinatensystemen en tekendefinities, en het integreren van afzonderlijke pijplijncomponenten tot een werkend end-to-endreconstructiesysteem.
Welke toekomstige verbeteringen worden voorgesteld voor LLM-coderingsagenten in computationele imaging?
De studie stelt vaardigheidsverrijkte en domeinspecialistische agenten voor als het praktische pad vooruit. In plaats van te vertrouwen op general-purpose modellen suggereren de onderzoekers dat agenten met domeinspecifieke kennis en gestructureerde capaciteiten beter zijn toegerust voor de eisen van wetenschappelijke imaging-pijplijnen.
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”Wat is het doel van de Imaging-101-benchmark?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Imaging-101 benchmarkt de prestaties van large language model-coderingsagenten op 57 door experts geverifieerde computationele imaging-taken in zes wetenschappelijke domeinen. Elke taak is gestandaardiseerd in een pijplijn van vier fasen, waardoor een systematische evaluatie mogelijk is van waar AI-agenten slagen en falen in wetenschappelijke imaging-workflows.”}},{“@type”:”Question”,”name”:”Uit welke fasen bestaat de computationele imaging-pijplijn in Imaging-101?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”De pijplijn bestaat uit vier fasen: preprocessing, forward physics modeling, inverse solver en visualisatie. Elke fase vertegenwoordigt een afzonderlijke technische uitdaging, van het coderen van natuurwetten voor metingen tot het reconstrueren van verborgen signalen uit ruisachtige data.”}},{“@type”:”Question”,”name”:”Met welke uitdagingen werden LLM-coderingsagenten geconfronteerd in de evaluatie?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”De geëvalueerde modellen hadden moeite met drie hoofdgebieden: het selecteren van het juiste algoritme voor een gegeven fysische opzet, het correct hanteren van fysische conventies zoals coördinatensystemen en tekendefinities, en het integreren van afzonderlijke pijplijncomponenten tot een werkend end-to-endreconstructiesysteem.”}},{“@type”:”Question”,”name”:”Welke toekomstige verbeteringen worden voorgesteld voor LLM-coderingsagenten in computationele imaging?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”De studie stelt vaardigheidsverrijkte en domeinspecialistische agenten voor als het praktische pad vooruit. In plaats van te vertrouwen op general-purpose modellen suggereren de onderzoekers dat agenten met domeinspecifieke kennis en gestructureerde capaciteiten beter zijn toegerust voor de eisen van wetenschappelijke imaging-pijplijnen.”}}]}
Artikel geproduceerd met behulp van kunstmatige intelligentie en beoordeeld door de redactie.
