Een nieuwe academische benchmark suggereert dat de code die wordt geproduceerd door de meest populaire AI-codeeragenten vandaag de dag misschien prima werkt — en toch gevaarlijk eenvoudig te hacken is. De bevindingen roepen nieuwe vragen op over vibe coding-beveiliging, de praktijk waarbij men grote taalmodelagenten software laat schrijven met weinig menselijk toezicht, juist nu de techniek aan populariteit wint onder ontwikkelaars en bedrijven die sneller willen werken.
Summary
Belangrijkste punten
- Vibe coding stelt een LLM-agent in staat om complexe codeertaken te voltooien na een eenvoudige menselijke prompt, met minimale supervisie tijdens de uitvoering.
- Onderzoekers bouwden SUSVIBES, een benchmark van 186 realistische software-engineeringstaken afkomstig uit open-sourceprojecten waar menselijke programmeurs eerder kwetsbare code hadden gecommit.
- Twaalf veelgebruikte agentische codeeropstellingen met frontier-AI-modellen werden getest tegen de benchmark, en zonder uitzondering presteerden ze allemaal slecht op het gebied van beveiliging.
- SWE-Agent in combinatie met Claude 4 Sonnet produceerde in 57% van de gevallen functioneel correcte code, maar slechts 11,8% van die oplossingen was daadwerkelijk veilig.
- Het toevoegen van kwetsbaarheidshints aan de codeerprompts, een eenvoudige mitigatiestrategie, slaagde er niet in de beveiligingsresultaten betekenisvol te verbeteren.
Wat is Vibe Coding en waarom nemen de zorgen over beveiliging toe
Vibe coding beschrijft een ontwikkelstijl waarbij engineers een codeertaak aan een AI-agent overdragen en deze met minimale tussentijdse controles laten uitvoeren. In plaats van zelf elke regel te schrijven, geven menselijke programmeurs de prompt aan het model, beoordelen ze de output op hoofdlijnen en gaan ze verder. De aanpak is populair geworden omdat hij de softwarelevering drastisch kan versnellen, vooral voor featureverzoeken die een ontwikkelaar anders uren zouden kosten om handmatig te implementeren.
Die snelheid heeft een keerzijde. Nu meer teams op AI-agenten leunen om productiecode te leveren, wordt de vraag of die code daadwerkelijk veilig is om uit te rollen steeds moeilijker te negeren. Een onderzoeker genaamd Danqing Wang besloot precies dat te testen en bouwde een benchmark die niet alleen moest meten of door AI geschreven code werkt, maar ook of deze dezelfde soorten fouten introduceert die historisch door menselijke reviewers over het hoofd zijn gezien.
Binnen de SUSVIBES-benchmark
SUSVIBES beantwoordt een directe vraag: hoe vaak herhaalt door agenten gegenereerde code de beveiligingsfouten die echte ontwikkelaars al hebben gemaakt? De benchmark haalt zijn testcases rechtstreeks uit de geschiedenis in plaats van uit hypothetische scenario’s.
Hij bestaat uit 186 feature-requesttaken afkomstig uit realistische open-sourceprojecten. Elke taak komt overeen met een geval waarin menselijke programmeurs op enig moment een kwetsbare implementatie hadden gecommit bij het bouwen van precies die feature. Dat ontwerp stelt onderzoekers in staat te controleren of een AI-agent die hetzelfde probleem oplost in dezelfde val trapt of erin slaagt die te vermijden.
Om het veld breed te stresstesten, evalueerde de studie 12 veelgebruikte agentische codeeropstellingen die draaien op frontier-AI-modellen. Het idee was om een realistisch momentopname vast te leggen van hoe ontwikkelaars deze tools vandaag de dag daadwerkelijk inzetten, in plaats van één enkel model geïsoleerd te testen. Een van de configuraties die eruit sprong voor nadere analyse combineerde het SWE-Agent-framework met Claude 4 Sonnet.
Functioneel maar niet veilig: de SUSVIBES-resultaten
De belangrijkste uitkomst is duidelijk: elke geteste agentopstelling op SUSVIBES presteerde slecht op het gebied van softwarebeveiliging, ongeacht welk frontiermodel eraan ten grondslag lag. Die uniformiteit is op zichzelf al opmerkelijk — ze suggereert dat het probleem niet is terug te voeren op één zwak model, maar op een bredere kloof in hoe deze agenten worden getraind en geprompt om code te schrijven.
De combinatie van SWE-Agent en Claude 4 Sonnet illustreert die kloof duidelijk. Van de oplossingen die het produceerde, was 57% functioneel correct, wat betekent dat ze deden wat in het featurerequest werd gevraagd. Maar toen onderzoekers diezelfde oplossingen toetsten aan bekende kwetsbaarheidspatronen, bleek slechts 11,8% veilig. Met andere woorden: meer dan vier van de vijf functioneel correcte oplossingen bevatten nog steeds het soort fout dat een menselijke programmeur eerder op dezelfde plek had geïntroduceerd.
Hier worden de praktische inzet duidelijk. Een stuk code dat draait en tests doorstaat, kan voor een reviewer die vooral op functionaliteit let productierijp lijken, terwijl het stilletjes een kwetsbaarheid meelevert die pas aan het licht komt tijdens een beveiligingsaudit of, erger nog, een daadwerkelijke inbreuk. Voor teams die afwegen hoeveel toezicht AI-gegenereerde code nog nodig heeft, is die kloof tussen correctheid en veiligheid het cijfer dat het meest telt.
Kwetsbaarheidshints lossen het probleem niet op
Onderzoekers bleven niet steken bij het documenteren van het probleem — ze probeerden het op te lossen. Een eerste strategie bestond uit het uitbreiden van het oorspronkelijke featurerequest met expliciete kwetsbaarheidshints, waarmee de agent in feite werd gestuurd naar het soort risico waar hij op moest letten.
Het werkte niet. De studie stelde vast dat deze aanpak er niet in slaagde de beveiligingsresultaten betekenisvol te verbeteren, wat betekent dat de agent simpelweg vertellen wat hij moet vermijden niet voldoende is om zijn gedrag in de praktijk te veranderen. Dat resultaat wijst op een dieper probleem dan de formulering van de prompt: de modellen lijken te ontbreken aan een betrouwbare interne controle op beveiligingsrisico’s, zelfs wanneer ze er expliciet op worden gewezen.
Gezamenlijk roepen de bevindingen serieuze zorgen op over het inzetten van vibe coding in beveiligingsgevoelige toepassingen, van financiële systemen tot infrastructuursoftware, waar één over het hoofd geziene kwetsbaarheid buitenproportionele gevolgen kan hebben. De onderzoekers achter SUSVIBES hebben de code en dataset openbaar beschikbaar gemaakt op GitHub, samen met een publieke ranglijst die bijhoudt hoe verschillende agentconfiguraties het in de toekomst op de benchmark doen.
Voor een sector die in hoog tempo AI-codeeragenten adopteert, is de studie minder een oordeel tegen de technologie dan een waarschuwing over waar de huidige vangrails tekortschieten. Functionele code is niet hetzelfde als veilige code, en totdat die kloof kleiner wordt, zal vibe coding-beveiliging waarschijnlijk een struikelblok blijven voor elk team dat software bouwt waarbij de kosten van een verborgen fout hoog zijn.
FAQ
Wat is vibe coding?
Vibe coding is een softwareontwikkelingsaanpak waarbij grote taalmodelagenten codeertaken voltooien met minimale supervisie door menselijke engineers.
Wat evalueert de SUSVIBES-benchmark?
SUSVIBES is een benchmark van 186 realistische software-engineeringstaken met bekende kwetsbaarheden, die wordt gebruikt om de beveiligingsprestaties van door agenten gegenereerde code te beoordelen.
Hoe veilig is code die door huidige LLM-agenten in vibe coding wordt gegenereerd?
Tests met SWE-Agent en Claude 4 Sonnet lieten zien dat hoewel 57% van de gegenereerde code functioneel correct is, slechts 11,8% veilig is tegen kwetsbaarheden.
Verbeteren strategieën zoals het toevoegen van kwetsbaarheidshints de beveiliging bij vibe coding?
Eerste pogingen, zoals het toevoegen van kwetsbaarheidshints, verbeterden de beveiligingsprestaties van door agenten gegenereerde code niet significant.
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”Wat is vibe coding?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Vibe coding is een softwareontwikkelingsaanpak waarbij grote taalmodelagenten codeertaken voltooien met minimale supervisie door menselijke engineers.”}},{“@type”:”Question”,”name”:”Wat evalueert de SUSVIBES-benchmark?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”SUSVIBES is een benchmark van 186 realistische software-engineeringstaken met bekende kwetsbaarheden, die wordt gebruikt om de beveiligingsprestaties van door agenten gegenereerde code te beoordelen.”}},{“@type”:”Question”,”name”:”Hoe veilig is code die door huidige LLM-agenten in vibe coding wordt gegenereerd?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Tests met SWE-Agent en Claude 4 Sonnet lieten zien dat hoewel 57% van de gegenereerde code functioneel correct is, slechts 11,8% veilig is tegen kwetsbaarheden.”}},{“@type”:”Question”,”name”:”Verbeteren strategieën zoals het toevoegen van kwetsbaarheidshints de beveiliging bij vibe coding?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Eerste pogingen, zoals het toevoegen van kwetsbaarheidshints, verbeterden de beveiligingsprestaties van door agenten gegenereerde code niet significant.”}}]}
Artikel geproduceerd met behulp van kunstmatige intelligentie en beoordeeld door de redactie.
