Anthropic en onafhankelijke onderzoekers hebben een nieuwe manier geïntroduceerd om te meten waar AI‑modellen historisch moeite mee hebben gehad om te bewijzen dat ze er goed in zijn: redeneren over problemen waarvoor geen helder, verifieerbaar antwoord bestaat. De Conceptual Reasoning Index (CRI), deze week onthuld, combineert drie afzonderlijke benchmarks om te scoren hoe goed grote taalmodellen omgaan met filosofische argumenten, logische consistentie en beslissingstheoretische puzzels — het soort denken waarvan veel onderzoekers geloven dat het het belangrijkst zal worden naarmate AI‑systemen een grotere rol krijgen in het managen van hun eigen risico’s.
Summary
Belangrijkste punten
- De Conceptual Reasoning Index combineert drie benchmarks — LMCA, ACCoRD en DTBench‑capaciteiten — in één 0‑tot‑100‑score van conceptuele redeneervaardigheid van AI.
- Het best presterende model, Opus 5, scoorde 73,6 op de CRI, ruim onder een geschatte bovengrens van ongeveer 91.
- De LMCA‑dataset bevat 560 positieteksten en 1.461 door experts beoordeelde argumenten over filosofie, beslissingstheorie en AI‑risico.
- Scores zijn sinds eind 2024 ongeveer lineair gestegen zonder tekenen van afvlakking.
- Het project is gebouwd in samenwerking met Anthropic en de onderzoekers Emery Cooper en Caspar Oesterheld.
Introductie van de Conceptual Reasoning Index (CRI)
De CRI bestaat omdat een deel van het belangrijkste werk dat AI‑systemen uiteindelijk mogelijk zullen doen — mensen helpen geavanceerde AI‑risico’s te begrijpen en daarop te plannen — niet kan worden getoetst aan een duidelijk juist antwoord zoals bij wiskunde‑ of programmeerproblemen. De makers stellen dat veel van de taken die samenhangen met AI‑risicobeperking het soort argumentatie vereisen dat in de filosofie en AI‑futurisme wordt gebruikt in plaats van empirische verificatie, en dat de huidige trainingsmethoden, die sterk leunen op data met betrouwbare feedback, ertoe neigen modellen juist op dit soort redeneren zwakker te laten zijn.
Om dat meetgat te dichten, bouwden de onderzoekers drie afzonderlijke AI‑risicobenchmarks en voegden die samen tot één totaalscore. De Conceptual Reasoning Index (CRI) aggregeert drie benchmarks — LMCA, ACCoRD en DTBench‑capaciteiten — in één getal dat bedoeld is om het algehele conceptuele redeneervermogen van een model vast te leggen. De index is openbaar beschikbaar op conceptualreasoning.ai, waar het team aangeeft de scores en methodologie te zullen blijven bijwerken naarmate er nieuwe modellen en nieuwe benchmarks bijkomen.
Doel van de CRI in AI‑risicobeheer
Waarom dit überhaupt bouwen? De onderzoekers achter het project zeggen dat zodra AI‑modellen risicoreductiewerk op het niveau van menselijke experts kunnen doen, AI‑ondersteunde output op dat gebied die van mensen alleen ruimschoots kan overtreffen. Dat betekent dat de snelheid waarmee modellen getraind kunnen worden om goed te redeneren over governance, alignment en samenwerkingsfalen met AI mogelijk een beslissende factor wordt in de vraag of risico’s op tijd worden aangepakt. Het verbeteren van conceptuele redeneervaardigheden in AI‑modellen wordt juist belangrijk geacht omdat het zich richt op die kloof — de taken die geen empirische feedbackloops hebben en daarom door standaardtraining vaak worden verwaarloosd.
Benchmarkaggregatie en beschikbaarheid
De CRI is geen enkele test — het is een gewogen composiet. Momenteel telt LMCA voor 60% van de score, waarbij ACCoRD en DTBench‑capaciteiten elk 20% bijdragen. Het team zegt van plan te zijn om in de loop van de tijd nieuwe benchmarks toe te voegen, verzadigde benchmarks uit te faseren en die wegingen mogelijk te herzien naarmate modellen verbeteren.
Gedetailleerde uitsplitsing van CRI‑componentbenchmarks
Elk van de drie componenten richt zich op een andere vorm van redeneren die moeilijk empirisch te verifiëren is, maar nog steeds meetbaar via expertbeoordeling of logische regels.
LMCA‑dataset: reikwijdte en expertbeoordelingen
LMCA, kort voor Language Model Conceptual Argumentation, is opgebouwd rond gecureerde, door experts beoordeelde argumenten die beslissingstheorie, filosofie en risico’s van geavanceerde AI bestrijken. De LMCA‑dataset bevat 560 positieteksten gekoppeld aan 1.461 door experts beoordeelde argumenten die tegen die posities zijn geschreven. Vrijwel alle argumenten zijn beoordeeld door conceptueel onderzoeker Emery Cooper, waarbij een deel onafhankelijk is beoordeeld door ten minste één andere onderzoeker, wat in totaal 2.140 beoordelingen opleverde. Een validatieset van ongeveer 50 argumenten is onafhankelijk beoordeeld door vier tot zes personen en vervolgens in totaal zeven tot acht uur bediscussieerd, een proces dat bedoeld was om vast te stellen in hoeverre mensen het onderling eens zijn voordat ze met modeluitvoer worden vergeleken.
Op dit moment beoordeelt LMCA alleen hoe goed modellen bestaande argumenten beoordelen in plaats van nieuwe te genereren, al zegt het team dat het hoopt later een maatstaf voor argumentgeneratie toe te voegen.
ACCoRD: logische consistentie in modelopvattingen meten
ACCoRD controleert iets anders: of de door een model zelf gerapporteerde overtuigingen en voorkeuren logisch samenhangend zijn. Als een model een waarschijnlijkheid rapporteert voor gebeurtenis A en, afzonderlijk, een waarschijnlijkheid voor A en B samen, respecteert het dan basisregels zoals P(A) die groter dan of gelijk aan P(A&B) moet zijn? De volledige ACCoRD‑dataset bevat bijna 14.000 door modellen gegenereerde consistentiebeperkingen over 18 constraint‑typen, die door een geautomatiseerde checker worden gehaald. Daarvan zijn 567 gevalideerde beperkingen na handmatige controle in de CRI opgenomen — een bewust conservatieve filter om alleen de checks te behouden waar de onderzoekers vertrouwen in hebben.
DTBench: evaluatie van beslissingstheoretisch redeneren
DTBench test beslissingstheoretisch redeneren met 407 meerkeuzevragen, waarvan de meeste met de hand zijn opgesteld door Caspar Oesterheld, die academisch werk over beslissingstheorie heeft gepubliceerd, en onafhankelijk zijn gevalideerd door Emery Cooper. De vragen onderzoeken scenario’s met zelfvoorspelling en interacties met bijna‑kopieën van een agent — het soort gedachte‑experimenten waarover beslissingstheoretici al lang debatteren. Nog eens 130 vragen in de volledige DTBench‑suite meten beslissingstheoretische houdingen, maar zijn buiten de CRI‑score gelaten.
CRI‑prestatie‑resultaten en trends
Zelfs de beste geteste modellen blijven nog ver achter bij wat de benchmarks als een bijna perfecte score beschouwen, al wordt die kloof gestaag kleiner.
Huidige prestatiescores en vergelijking met bovengrenzen
CRI‑scores lopen van 0 tot 100, waarbij 0 willekeurig gokken vertegenwoordigt. De onderzoekers schatten een realistische bovengrens van rond de 91 in plaats van een volledige 100, omdat menselijke beoordelingen zelf enige ruis bevatten — zelfs expertbeoordelaars zijn het niet 100% van de tijd met elkaar eens. De hoogste tot nu toe geregistreerde score is van Opus 5, met 73,6, met een 95%‑betrouwbaarheidsinterval van plus of min 2,1. Dat laat een betekenisvolle kloof tussen de huidige topprestatie en de geschatte bovengrens, wat suggereert dat er nog reële ruimte is voor modellen om te verbeteren in conceptueel redeneren voordat de benchmark zelf de beperkende factor wordt.
Trends in prestatieverbetering van modellen in de tijd
Wat in de data opvalt, is niet alleen waar modellen nu staan, maar hoe snel ze vooruitgaan. Modelprestaties verbeteren sinds eind 2024 ongeveer lineair, en de onderzoekers melden geen teken dat die trend afvlakt. Die gestage stijging is van belang voor iedereen die wil voorspellen wanneer AI‑systemen echt nuttige samenwerkingspartners kunnen worden bij het soort argumentatie‑intensief werk waar AI‑veiligheidsonderzoek van afhankelijk is.
Benchmarkspecifieke verzadigingsschattingen
Niet elke component beweegt zich in hetzelfde tempo. Op basis van een extrapolatie van de huidige trends schatten de onderzoekers grofweg dat LMCA over ongeveer een jaar verzadigd begint te raken. DTBench daarentegen zit al dicht bij zijn bovengrens — één geëvalueerd model, Fable 5, beantwoordde 98% van de DTBench‑vragen correct. ACCoRD is de joker: het team zegt echt onzeker te zijn over wanneer die benchmark zal verzadigen, omdat consistentiefouten kunnen blijven bestaan, zelfs als het ruwe redeneervermogen verbetert.
Belang en gezamenlijke ontwikkeling van de CRI
Waarom is dit alles van belang buiten een ranglijst om? Omdat de mensen die de Conceptual Reasoning Index bouwen conceptueel redeneren zien als een bottleneckvaardigheid specifiek voor AI‑risicowerk — het soort werk dat inhoudt dat er wordt geredeneerd over governance, alignment en catastrofale samenwerkingsfalen waarbij er geen dataset met uitkomsten uit het verleden is om op te trainen. Het verbeteren van conceptuele redeneervaardigheden in AI‑modellen wordt belangrijk geacht om geavanceerde AI‑risico’s te helpen verminderen, juist omdat zoveel van dat risicobeperkingswerk afhankelijk is van argumentatie in plaats van empirische tests.
Het project is opgebouwd via een samenwerking met Anthropic en de conceptuele onderzoekers Emery Cooper en Caspar Oesterheld, die zowel hebben bijgedragen aan het ontwerp van de datasets als aan de expertbeoordelingen die de LMCA‑ en DTBench‑componenten verankeren. Die combinatie van institutionele steun en domeinspecifieke expertinput is een deel van wat de CRI onderscheidt van meer conventionele AI‑benchmarks gericht op wiskunde, programmeren of algemene kennis — gebieden waar juistheid meestal automatisch kan worden gecontroleerd.
De live scores en methodologienotities worden gehost op conceptualreasoning.ai, en toegang tot de onderliggende LMCA‑dataset is beschikbaar via een aanvraagformulier, een opzet die suggereert dat het team wil dat externe onderzoekers de benchmark testen en uitdagen in plaats van die als een gesloten interne maatstaf te behandelen.
FAQ
Wat is de Conceptual Reasoning Index (CRI)?
De CRI aggregeert drie benchmarks — LMCA, ACCoRD en DTBench — om de conceptuele redeneervaardigheden van AI‑modellen te meten en levert één score van 0 tot 100 op.
Welke soorten redeneren evalueert de LMCA‑dataset?
LMCA evalueert modellen op het beoordelen van conceptuele argumenten met betrekking tot filosofie, beslissingstheorie en AI‑risico’s, door modelbeoordelingen te vergelijken met beoordelingen van menselijke experts.
Hoe wordt logische consistentie in AI‑modellen getest door ACCoRD?
ACCoRD meet of de gerapporteerde overtuigingen en voorkeuren van een model voldoen aan logische consistentiebeperkingen, zoals basisregels van waarschijnlijkheid, met behulp van 567 gevalideerde beperkingen in de CRI.
Hoe goed presteren huidige AI‑modellen op de CRI?
Het huidige topmodel, Opus 5, scoort ongeveer 73,6 van de 100 op de CRI, waarbij de scores over geëvalueerde modellen sinds eind 2024 ongeveer lineair verbeteren en er nog geen teken is dat die groei vertraagt.
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”Wat is de Conceptual Reasoning Index (CRI)?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”De CRI aggregeert drie benchmarks — LMCA, ACCoRD en DTBench — om de conceptuele redeneervaardigheden van AI-modellen te meten en levert één score van 0 tot 100 op.”}},{“@type”:”Question”,”name”:”Welke soorten redeneren evalueert de LMCA-dataset?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”LMCA evalueert modellen op het beoordelen van conceptuele argumenten met betrekking tot filosofie, beslissingstheorie en AI-risico’s, door modelbeoordelingen te vergelijken met beoordelingen van menselijke experts.”}},{“@type”:”Question”,”name”:”Hoe wordt logische consistentie in AI-modellen getest door ACCoRD?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”ACCoRD meet of de gerapporteerde overtuigingen en voorkeuren van een model voldoen aan logische consistentiebeperkingen, zoals basisregels van waarschijnlijkheid, met behulp van 567 gevalideerde beperkingen in de CRI.”}},{“@type”:”Question”,”name”:”Hoe goed presteren huidige AI-modellen op de CRI?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Het huidige topmodel, Opus 5, scoort ongeveer 73,6 van de 100 op de CRI, waarbij de scores over geëvalueerde modellen sinds eind 2024 ongeveer lineair verbeteren en er nog geen teken is dat die groei vertraagt.”}}]}
Artikel geproduceerd met behulp van kunstmatige intelligentie en beoordeeld door de redactie.
