Ga naar inhoud
  • BTC $57.058 −8,2%
  • ETH $1.562 −10,6%
  • SOL $66,14 −9,3%
  • BNB $519,30 −9,7%
  • XRP $0,8754 −8,8%
  • DOGE $0,0520 −9,5%
  • ADA $0,1358 −9,2%

LEEPS verhoogt de nauwkeurigheid van versterkend leren met promptsampling met maximaal 3,7%

Onderzoekers hebben een nieuwe methode geïntroduceerd, LEEPS genaamd, die een van de hardnekkigste inefficiënties bij het trainen van AI-modellen een stuk minder kostbaar zou kunnen maken. De aanpak richt zich op een specifieke bottleneck in prompt-sampling-versterkingsleer-pijplijnen die worden gebruikt om de redeneervaardigheden van grote taalmodellen aan te scherpen, en vroege…

prompt sampling reinforcement learning
Prompt Sampling Reinforcement Learning Boosts LEEPS Efficiency

Onderzoekers hebben een nieuwe methode geïntroduceerd, LEEPS genaamd, die een van de hardnekkigste inefficiënties in het trainen van AI‑modellen een stuk minder kostbaar kan maken. De aanpak richt zich op een specifieke bottleneck in prompt sampling reinforcement learning-pipelines die worden gebruikt om de redeneervaardigheden van grote taalmodellen aan te scherpen, en vroege benchmarkresultaten suggereren dat de methode meetbare winst oplevert zonder de training te vertragen.

Belangrijkste punten

  • LEEPS is een Latent-Guided Explore-Exploit Prompt Sampler, ontworpen om het hergebruik van bekende informatieve prompts in balans te brengen met voortdurende exploratie van onzekere prompts tijdens reinforcement learning met verifieerbare beloningen.
  • Over zes benchmarks voor wiskundig redeneren behaalde LEEPS de hoogste gemiddelde scores op zowel de Qwen2.5-Math-1.5B- als de Qwen2.5-Math-7B-schaal.
  • Relatieve winst ten opzichte van de sterkste baseline bedroeg 2,6% voor het 1,5B-model en 3,7% voor het 7B-model.
  • LEEPS behaalde ook de hoogste scores op drie out-of-distribution benchmarks voor algemeen redeneren op beide modelschalen.
  • De methode voegt slechts ongeveer 2 seconden online sampling-overhead per trainingsstap toe, een kleine kost voor de geleverde prestatieverbetering.

Introductie van LEEPS en de rol ervan in reinforcement learning

LEEPS is een prompt-samplingmethode die is ontworpen om exploratie en exploitatie in balans te brengen tijdens reinforcement learning-training voor grote taalmodellen. Die balans staat centraal in een probleem dat onderzoekers hebben gesignaleerd bij reinforcement learning met verifieerbare beloningen, of RLVR, een trainingstechniek die een van de belangrijkste hefbomen is geworden om te verbeteren hoe goed taalmodellen wiskunde- en logische problemen kunnen doorredeneren.

Het probleem is eenvoudig zodra je het ziet: wanneer een model meerdere rollouts voor dezelfde prompt genereert en elke rollout een identieke beloning oplevert, leert het trainingsproces niets van die ronde. Het verbruikt generatiebudget zonder enig signaal. Promptselectie vóór rollout, dus prompts screenen voordat rollouts worden gegenereerd, is één manier om die verspilling te beperken. Maar volgens de onderzoekers achter LEEPS lopen bestaande pre-rolloutmethoden tegen een lastige afweging aan: te sterk leunen op prompts die in het verleden informatief zijn gebleken, vernauwt de reikwijdte van de trainingsdekking, terwijl een te brede net-uitworp voor exploratie het aandeel prompts verlaagt dat daadwerkelijk nuttige leersignalen oplevert.

Exploratie en exploitatie in prompt sampling in balans brengen

LEEPS is specifiek gebouwd om die spanning op te lossen in plaats van een kant te kiezen. In plaats van exploitatie en exploratie als concurrerende strategieën te behandelen, verschuift de methode adaptief tussen beide op basis van wat het trainingsproces in realtime daadwerkelijk waarneemt. Die adaptieve eigenschap onderscheidt LEEPS van statische samplingbenaderingen, die de verhouding tussen bekende en onzekere prompts meestal vastzetten, ongeacht hoe de training verloopt.

Hoe LEEPS werkt: promptpartitionering en prioritering

In de praktijk splitst LEEPS kandidaatprompts in twee groepen: een exploit-portfolio, opgebouwd uit prompts die in het verleden informatief zijn gebleken, en een explore-portfolio, bestaande uit prompts waarvan de waarde nog onzeker is. Vervolgens verdeelt LEEPS het rolloutbudget adaptief tussen de twee op basis van hun recente niet-triviale ratio’s; dat wil zeggen, het houdt bij hoe vaak elk portfolio recentelijk rollouts met betekenisvolle beloningsvariantie heeft opgeleverd en past de budgetverdeling daarop aan.

Latente-ruimtenaburen en historische rolloutuitkomsten

De exploratiekant is waar LEEPS geavanceerder wordt. In plaats van blind te exploreren, gebruikt de methode representation-space neighbors, in essentie prompts die dicht bij elkaar liggen in de latente ruimte, samen met historische rolloutuitkomsten, om onzekere prompts te prioriteren die statistisch gezien waarschijnlijker niet-nul beloningsvariantie opleveren. Dit maakt exploratie in feite gericht in plaats van willekeurig, zonder extra rollouts nodig te hebben om te bepalen waar gezocht moet worden. Deze latent-gestuurde exploratie is waarschijnlijk de kerntechnische bijdrage: het stelt de sampler in staat een geïnformeerde gok te doen over welke onzekere prompts het generatiebudget waard zijn, in plaats van dat budget uniform over alles wat onbekend is te verspreiden.

Dit is ook waar het argument voor trainingsefficiëntie samenkomt. Promptgroepen die identieke rolloutbeloningen opleveren, verbruiken generatiebudget zonder effectieve leersignalen te bieden, en door prompts te screenen vóór rolloutgeneratie is LEEPS ontworpen om precies die verspilling te verminderen. In een trainingsregime waarin rekenkracht de schaarse hulpbron is, heeft het terugdringen van rollouts die het model niets leren directe downstreamwaarde.

Prestatieverbeteringen en efficiëntiewinst met LEEPS

Het belangrijkste resultaat is dat LEEPS beter presteerde dan de sterkste baseline waarmee het is vergeleken, over twee modelgroottes en in totaal negen benchmarks. Over zes benchmarks voor wiskundig redeneren behaalde LEEPS de hoogste gemiddelde score op beide geteste modelschalen: Qwen2.5-Math-1.5B en Qwen2.5-Math-7B. Dat vertaalde zich in relatieve winst van 2,6% voor het 1,5B-model en 3,7% voor het 7B-model ten opzichte van de sterkste baseline, volgens het onderzoek. Het grotere model liet de grootste relatieve sprong zien, wat erop wijst dat de voordelen van slimmer prompttargeten kunnen schalen met de modelcapaciteit, al rapporteert het paper alleen resultaten op deze twee groottes.

Benchmarkresultaten voor wiskundige en OOD-redeneertaken

De winst was niet beperkt tot wiskundespecifieke taken. LEEPS behaalde ook de hoogste gemiddelde score over drie geëvalueerde out-of-distribution- (OOD) benchmarks voor algemeen redeneren op beide modelschalen. Die out-of-distribution-prestatie is belangrijk omdat ze suggereert dat het voordeel van de methode niet nauw verbonden is met de benchmarks voor wiskundig redeneren waarop primair is getest. Een prompt-samplingmethode die alleen helpt bij de exacte taak waarvoor ze is afgestemd, zou een veel minder nuttig hulpmiddel zijn; een methode die generaliseert naar redeneerbenchmarks buiten die trainingsdistributie is een sterker signaal dat het onderliggende mechanisme – beter gerichte exploratie – daadwerkelijk werk verricht in plaats van overfitten op een specifieke benchmarkset.

Trainingssnelheid en computationele overhead

Dit alles ging niet gepaard met een zware computationele prijs. LEEPS voegt slechts ongeveer 2 seconden online sampling-overhead per trainingsstap toe, een bescheiden kost in verhouding tot de gerapporteerde prestatieverbeteringen. De methode verbeterde doorgaans ook sneller tijdens het trainingsproces zelf, wat betekent dat modellen die met LEEPS zijn getraind, de neiging hadden om eerder in de trainingsrun een hogere prestatie te bereiken, niet alleen aan de finish.

Alles bij elkaar wijzen de resultaten op een vrij praktische conclusie voor teams die grootschalige RLVR-training uitvoeren: de kost van het toevoegen van latent-gestuurde promptselectie is klein, terwijl de opbrengst, zowel in uiteindelijke benchmarkscores als in hoe snel die scores worden bereikt, dat niet is. In een veld waar elke trainingsrun om beperkte rekenkracht concurreert, is een belasting van 2 seconden per stap in ruil voor snellere convergentie en hogere uiteindelijke nauwkeurigheid precies het soort afweging dat onderzoekers doorgaans accepteren.

FAQ

Welk probleem pakt de LEEPS-methode aan in reinforcement learning?

LEEPS pakt verspilling van generatiebudget aan die wordt veroorzaakt door promptgroepen met identieke rolloutbeloningen, door promptselectie vóór rollout toe te passen om de leerefficiëntie te verbeteren.

Hoe brengt LEEPS exploratie en exploitatie in prompt sampling in balans?

LEEPS verdeelt prompts in exploit- en explore-portfolios en verdeelt rolloutbudgetten adaptief op basis van recente resultaten om hergebruik van bekende informatieve prompts en exploratie van onzekere prompts in balans te brengen.

Welke benchmarkprestatieverbeteringen behaalt LEEPS?

LEEPS behaalt de hoogste gemiddelde scores op zes benchmarks voor wiskundig redeneren op twee modelschalen, met relatieve winst van 2,6% en 3,7% ten opzichte van de sterkste baselines, en leidt op drie out-of-distribution benchmarks voor algemeen redeneren.

Introduceert LEEPS significante computationele overhead tijdens training?

LEEPS voegt slechts ongeveer 2 seconden online sampling-overhead per trainingsstap toe, waardoor de methode efficiënt is voor reinforcement learning.

{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”Welk probleem pakt de LEEPS-methode aan in reinforcement learning?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”LEEPS pakt verspilling van generatiebudget aan die wordt veroorzaakt door promptgroepen met identieke rolloutbeloningen, door promptselectie vóór rollout toe te passen om de leerefficiëntie te verbeteren.”}},{“@type”:”Question”,”name”:”Hoe brengt LEEPS exploratie en exploitatie in prompt sampling in balans?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”LEEPS verdeelt prompts in exploit- en explore-portfolios en verdeelt rolloutbudgetten adaptief op basis van recente resultaten om hergebruik van bekende informatieve prompts en exploratie van onzekere prompts in balans te brengen.”}},{“@type”:”Question”,”name”:”Welke benchmarkprestatieverbeteringen behaalt LEEPS?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”LEEPS behaalt de hoogste gemiddelde scores op zes benchmarks voor wiskundig redeneren op twee modelschalen, met relatieve winst van 2,6% en 3,7% ten opzichte van de sterkste baselines, en leidt op drie out-of-distribution benchmarks voor algemeen redeneren.”}},{“@type”:”Question”,”name”:”Introduceert LEEPS significante computationele overhead tijdens training?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”LEEPS voegt slechts ongeveer 2 seconden online sampling-overhead per trainingsstap toe, waardoor de methode efficiënt is voor reinforcement learning.”}}]}

Artikel geproduceerd met hulp van kunstmatige intelligentie en beoordeeld door de redactie.

Francesco Antonio Russo

Alle artikelen van Francesco Antonio Russo