Beveiligingsonderzoekers hopen al lang dat large language model-agents een van de meest tijdrovende onderdelen van incidentrespons kunnen versnellen: stap voor stap reconstrueren hoe een aanvaller zich door een systeem heeft bewogen, met behulp van verspreide logs en telemetrie. Een nieuwe diagnostische benchmark genaamd DiagChain stelt die hoop op de proef, en de resultaten suggereren dat de technologie nog een lange weg te gaan heeft voordat zij zelfstandig betrouwbaar attack chain reconstruction kan uitvoeren.
DiagChain is ontwikkeld door een team van onderzoekers, waaronder Xuyang Liu, Yibin Han, Zhenwei Zhang, Kai Chang, Zhiwei Xu, Tian Qiu, Weixian Deng, Jiabao Gao, Xiaolin Peng, Hai Wan en Xibin Zhao, en is niet zomaar een nieuw nauwkeurigheidsklassement. Het is specifiek ontworpen om te laten zien waar en waarom LLM-agents falen wanneer zij proberen de geordende reeks acties te reconstrueren die een aanvaller heeft uitgevoerd, op basis van bewijs dat uit systeemtelemetrie is gehaald.
Summary
Belangrijkste punten
- DiagChain is een diagnostische benchmark die LLM-agents beoordeelt op bewijs-onderbouwde reconstructie van aanvalsketens, en verder gaat dan eenvoudige geslaagd/gezakt-nauwkeurigheid.
- De MAIN-69-suite van de benchmark omvat 69 scenario’s die meerdere besturingssystemen, niveaus van ruis in het bewijs en ketenlengtes bestrijken.
- Een nieuwe methode genaamd ECRAG koppelt bewijsopvraging aan een zich ontwikkelende gestructureerde representatie van de keten die wordt gereconstrueerd.
- Over 6 verschillende geteste LLM’s slaagde de beste configuratie slechts in 39,6% van de 849 referentiestappen.
- Kleinere modellen hebben moeite om opgehaald bewijs überhaupt te gebruiken, terwijl grotere modellen vooral worstelen met het in de juiste volgorde plaatsen van dat bewijs.
Introductie van DiagChain: een nieuwe benchmark voor reconstructie van aanvalsketens
DiagChain bestaat omdat de meeste bestaande benchmarks alleen kijken naar einduitvoer of algemene nauwkeurigheidsscores, en weinig inzicht bieden in hoe fouten daadwerkelijk ontstaan tijdens het redeneerproces van een agent. Dat is een betekenisvolle leemte voor cybersecurityteams die moeten beslissen of een AI-agent betrouwbaar genoeg is om te helpen bij het triageren van een echte inbraak.
Doel en reikwijdte van DiagChain
In de kern is DiagChain een diagnostische benchmark die is gebouwd voor bewijs-onderbouwde cybersecurity-taken. In plaats van simpelweg te beoordelen of een agent het uiteindelijke aanvalsnarratief goed of fout had, evalueert het elke fase van het reconstructieproces afzonderlijk. Deze gefaseerde aanpak stelt onderzoekers in staat om precies vast te stellen waar het redeneren van een LLM-agent stukloopt, of dat nu gebeurt tijdens het verzamelen van bewijs, de interpretatie van bewijs, of het ordenen van gebeurtenissen tot een samenhangende keten.
Samenstelling van de MAIN-69-scenariosuite
Het middelpunt van de benchmark is MAIN-69, een suite van 69 scenario’s die is ontworpen om agents te stresstesten onder uiteenlopende realistische omstandigheden. Deze scenario’s bestrijken meerdere besturingssystemen, variëren in hoeveel ruis er in het bewijs is gemengd, en verschillen in ketenlengte, wat betekent dat sommige aanvalreeksen kort zijn terwijl andere vereisen dat een langere reeks aanvallersacties wordt gevolgd. Die variatie is bedoeld om bloot te leggen of de prestaties van een agent standhouden wanneer de omstandigheden rommeliger worden, en niet alleen wanneer alles schoon en overzichtelijk is.
Methodologische innovaties en evaluatiemetrics
Naast de scenariosuite introduceert DiagChain een eigen retrievalmethode en een vijfdelig scoresysteem, beide gericht op het systematisch maken van foutdiagnose in plaats van giswerk.
Evidence-Centric Retrieval-Augmented Generation (ECRAG)
Een van de belangrijkste bijdragen van het artikel is ECRAG, kort voor Evidence-Centric Retrieval-Augmented Generation. In tegenstelling tot standaardopzetten voor retrieval-augmented generation koppelt ECRAG het ophalen van bewijs aan een zich ontwikkelende gestructureerde representatie van de keten die de agent probeert te reconstrueren. In praktische termen betekent dit dat het systeem niet slechts één keer relevant bewijs ophaalt en vervolgens verdergaat; het werkt zijn interne beeld van de aanvalsketen continu bij naarmate er nieuw bewijs binnenkomt, wat er in theorie voor zou moeten zorgen dat agents complexe, meerstapsinbraken samenhangender kunnen volgen.
Vijf complementaire metrics voor diagnostische beoordeling
Om te begrijpen waar het misgaat, vertrouwt DiagChain op vijf complementaire metrics, die elk een afzonderlijke fase van het reconstructieproces targeten. Samen stellen deze metrics onderzoekers in staat om specifieke faalpunten te isoleren in plaats van elke fout op één generiek nauwkeurigheidsgetal te gooien. Dit is essentieel voor de waarde van de benchmark: een diagnostische beoordeling die onderscheid maakt tussen “de agent vond het juiste bewijs niet” en “de agent vond het bewijs maar zette de gebeurtenissen in de verkeerde volgorde” is veel nuttiger voor het verbeteren van deze systemen dan één enkele geslaagd/gezakt-score.
Prestatiebeoordeling van large language models
Hoe presteerden de huidige modellen daadwerkelijk? Niet bijzonder goed, volgens de resultaten van de benchmark.
Experimentele opzet met zes LLM’s
Het onderzoeksteam voerde evaluaties uit met zes verschillende LLM’s op de MAIN-69-scenario’s. Deze opzet stelde hen in staat om te vergelijken hoe modellen met uiteenlopende capaciteiten dezelfde bewijs-onderbouwde reconstructietaken afhandelden, onder dezelfde ruisomstandigheden en uitdagingen qua ketenlengte, wat een consistente basis gaf om prestaties over de hele linie te vergelijken.
Belangrijkste prestatie-resultaten en succescijfers
Het belangrijkste cijfer is duidelijk: zelfs de best presterende configuratie in de studie slaagde slechts in 39,6% van de 849 referentiestappen in MAIN-69. Met andere woorden, de sterkste geteste opstelling had de volgorde van aanvallersacties nog steeds in meer dan 60% van de gevallen verkeerd wanneer deze werd gemeten aan de hand van de referentiestappen van de benchmark. Dat is een betekenisvolle realitycheck voor iedereen die er nu op hoopt om reconstructie van aanvalsketens volledig aan een AI-agent over te laten.
Inzichten over modelgrootte en reconstructie-uitdagingen
Waarom is dit belangrijker dan alleen de ruwe cijfers? Omdat de faalpatronen verschillen afhankelijk van de modelgrootte, en dat onderscheid wijst op twee heel verschillende technische problemen die moeten worden opgelost.
Beperkingen van kleinere modellen
Volgens de analyse van de onderzoekers hebben kleinere modellen moeite met iets fundamentelers dan het correct ordenen van gebeurtenissen: ze hebben moeite om opgehaald bewijs überhaupt in hun output te verwerken. Dat suggereert dat de bottleneck voor kleinere modellen eerder in de pijplijn ligt, op het punt waar bewijs daadwerkelijk het redeneren van de agent moet informeren in plaats van te worden genegeerd of verkeerd toegepast.
Uitdagingen voor grotere modellen bij het ordenen van bewijs
Grotere modellen nemen die eerste horde succesvoller en kunnen verder komen in het reconstructieproces. Maar zij lopen tegen een andere muur aan: het correct ordenen van het bewijs dat ze hebben verzameld wordt de belangrijkste bottleneck. Dit is een subtielere faalmodus, omdat het model de juiste stukken heeft maar moeite heeft om ze te rangschikken in de juiste volgorde van aanvallersacties, precies de output die het belangrijkst is voor een echt beveiligingsonderzoek.
Dit onderscheid is belangrijk voor iedereen die LLM-evaluatiebenchmark-tools bouwt of inzet in security operations. Het impliceert dat het simpelweg opschalen van de modelgrootte niet automatisch de reconstructie van aanvalsketens zal oplossen. De twee faalmodi vragen om verschillende oplossingen: betere bewijsintegratie voor kleinere modellen en betere strategieën voor sequentiebepaling of redeneren voor grotere modellen, in plaats van één uniforme verbeteringsroute.
De onderzoekers presenteren deze bevindingen als een bevestiging van diagnostische evaluatie boven eenvoudige end-to-end-nauwkeurigheidsscores. Een enkel aggregaatcijfer kan een securityteam vertellen dat een model “het 40% van de tijd goed heeft”, maar het vertelt niet of die fout voortkomt uit gemist bewijs, verkeerd geïnterpreteerd bewijs of verhaspelde volgordes. De gefaseerde metrics van DiagChain zijn ontworpen om die kloof te dichten en bieden wat de auteurs beschrijven als bruikbare inzichten voor het verbeteren van bewijs-onderbouwde cybersecurityagents in de toekomst.
FAQ
Waarvoor is DiagChain ontworpen om te evalueren?
DiagChain is ontworpen om large language model-agents te evalueren op bewijs-onderbouwde reconstructie van aanvalsketens via diagnostische, gefaseerde beoordeling.
Welke inhoud dekt de MAIN-69-scenariosuite?
MAIN-69 omvat 69 scenario’s die meerdere besturingssystemen, variërende niveaus van ruis in het bewijs en verschillende lengtes van aanvalsketens bestrijken.
Hoe verbetert de ECRAG-methodologie de reconstructie van aanvalsketens?
ECRAG koppelt bewijsopvraging aan een zich ontwikkelende gestructureerde representatie van de gereconstrueerde keten om te helpen bij ketenanalyse.
Wat zijn de belangrijkste prestatie-uitdagingen die voor LLM’s in deze benchmark zijn vastgesteld?
Kleinere modellen hebben moeite om opgehaald bewijs te integreren, terwijl grotere modellen uitdagingen ondervinden bij het correct ordenen van bewijs in de reconstructie.
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”Waarvoor is DiagChain ontworpen om te evalueren?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”DiagChain is ontworpen om large language model-agents te evalueren op bewijs-onderbouwde reconstructie van aanvalsketens via diagnostische, gefaseerde beoordeling.”}},{“@type”:”Question”,”name”:”Welke inhoud dekt de MAIN-69-scenariosuite?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”MAIN-69 omvat 69 scenario’s die meerdere besturingssystemen, variërende niveaus van ruis in het bewijs en verschillende lengtes van aanvalsketens bestrijken.”}},{“@type”:”Question”,”name”:”Hoe verbetert de ECRAG-methodologie de reconstructie van aanvalsketens?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”ECRAG koppelt bewijsopvraging aan een zich ontwikkelende gestructureerde representatie van de gereconstrueerde keten om te helpen bij ketenanalyse.”}},{“@type”:”Question”,”name”:”Wat zijn de belangrijkste prestatie-uitdagingen die voor LLM’s in deze benchmark zijn vastgesteld?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Kleinere modellen hebben moeite om opgehaald bewijs te integreren, terwijl grotere modellen uitdagingen ondervinden bij het correct ordenen van bewijs in de reconstructie.”}}]}
Artikel geproduceerd met behulp van kunstmatige intelligentie en beoordeeld door de redactie.
