OpenAI zegt dat het de legacy-programmeermogelijkheden van GPT-6 in COBOL, Fortran en Visual Basic heeft verbeterd, met vooruitgang over twee evaluaties. De gerapporteerde resultaten omvatten een gemiddelde slagingskans van 87,4 procent voor GPT-6 Astra in tests over 20 programmeertalen en een nauwkeurigheid van 97,9 procent voor GPT-6.1 Sol op een COBOL-migratiebenchmark.
Voor deze talen is minder trainingscode beschikbaar dan voor talen zoals Python, maar OpenAI zegt dat ze wereldwijd kritieke infrastructuur ondersteunen. IBM schat dat COBOL meer dan de basis vormt van 40 procent van de online banksystemen en 95 procent van alle geldautomaattransacties verwerkt.
OpenAI ontwikkelde twee evaluaties om de vooruitgang van de modellen te meten: één test de opbouw van databases in verschillende programmeertalen, terwijl de andere de vertaling van COBOL naar andere talen beoordeelt.
Hoe OpenAI de legacy-programmeermogelijkheden van GPT-6 heeft getest
MultiLangBench vereist dat modellen vanaf nul een database-engine maken die compatibel is met SQLite. OpenAI meldt dat GPT-6 Astra een gemiddelde slagingskans van 87,4 procent behaalde over 20 talen bij gebruik van maximale redeneerinspanning.
Ter vergelijking: GPT-5.6 Terra behaalde 37,9 procent. GPT-6 Luna noteerde 40,3 procent op dezelfde evaluatie en eindigde daarmee net voor Terra. De gerapporteerde vergelijkingen laten dus verschillende niveaus van verbetering zien tussen de geteste modellen.
Een afzonderlijke maatstaf voor de legacy-programmeerprestaties van GPT-6 richt zich op codemigratie. De COBOL-benchmark test de vertaling naar C++, Java, Kotlin, Python of Rust, in plaats van de opbouw van een database-engine.
Bij die evaluatie behaalde GPT-6.1 Sol 86,6 procent nauwkeurigheid met een lage redeneerinspanning, tegenover 5,4 procent voor GPT-5.6 Sol. Het verhogen van de redeneerinspanning bracht de nauwkeurigheid van GPT-6.1 Sol op 97,9 procent.
Artikel geproduceerd met behulp van kunstmatige intelligentie en nagekeken door de redactie.




