LEEPS potenzia il reinforcement learning con campionamento prompt: +3,7%

Una notizia importante fa rumore nell’ecosistema blockchain. Un problema tecnico apparentemente marginale nel reinforcement learning con campionamento prompt applicato ai grandi modelli linguistici si è rivelato più costoso di quanto sembrasse: quando un gruppo di prompt produce sempre la stessa ricompensa nei rollout, il budget di generazione viene bruciato senza restituire nessun segnale di apprendimento utile. È da questo spreco che nasce LEEPS, un nuovo metodo di campionamento dei prompt pensato per il reinforcement learning con ricompense verificabili (RLVR), la tecnica che negli ultimi anni ha spinto le capacità di ragionamento dei modelli linguistici di grandi dimensioni. Punti chiave LEEPS è un metodo di campionamento dei prompt che bilancia esplorazione e sfruttamento nel reinforcement learning con ricompense verificabili.

Divide i prompt in due portafogli — sfruttamento ed esplorazione — adattando il budget di rollout in base ai risultati recenti. Su sei benchmark di ragionamento matematico raggiunge il punteggio medio più alto sia con Qwen2. 5-Math-7B, con guadagni relativi del 2,6% e del 3,7% rispetto al miglior modello di confronto.

Dinamiche di mercato

Guida anche su tre benchmark di ragionamento generale fuori distribuzione (OOD), aggiungendo solo circa 2 secondi di overhead di campionamento online per ogni passo di training. Perché il campionamento dei prompt è diventato un collo di bottiglia Nel reinforcement learning con ricompense verificabili, non tutti i prompt sono uguali dal punto di vista dell’apprendimento. Quando un modello genera più rollout per lo stesso prompt e tutti ottengono la stessa ricompensa, quel prompt non produce alcun segnale utile per aggiornare i parametri: il calcolo è stato fatto, ma non ha insegnato nulla al modello.

Selezionare i prompt prima ancora di generare i rollout — quello che i ricercatori chiamano pre-rollout prompt selection — è una strategia già nota per ridurre questo spreco. Il problema, spiegano gli autori di LEEPS, è che i metodi esistenti faticano a trovare l’equilibrio giusto tra due esigenze opposte. Sfruttare in modo ripetuto i prompt che in passato si sono rivelati informativi rischia di restringere la copertura dell’addestramento, cioè di far vedere al modello sempre le stesse tipologie di problemi.

Al contrario, un’esplorazione troppo ampia abbassa la percentuale di prompt effettivamente informativi tra quelli campionati, diluendo l’efficacia di ogni ciclo di training. Bilanciare esplorazione e sfruttamento È proprio in questo compromesso che si gioca l’efficienza del training. Un sistema di apprendimento rinforzato prompt troppo conservativo tende a saturarsi su un set ristretto di casi già noti; uno troppo esplorativo spreca risorse computazionali su prompt che, con alta probabilità, non produrranno varianza di ricompensa utile.

Impatto sui mercati

LEEPS nasce esplicitamente per superare questa tensione senza aumentare in modo significativo il costo computazionale complessivo. Come funziona LEEPS: portafogli e priorità basate sullo spazio latente LEEPS affronta il problema dividendo i candidati in due gruppi distinti, chiamati portafoglio di sfruttamento e portafoglio di esplorazione, e allocando in modo adattivo il budget di rollout tra i due in base ai loro tassi recenti di risultati non banali. In pratica, il sistema osserva quanto ciascun gruppo di prompt ha prodotto segnali di apprendimento utili nei passi di training più recenti e ridistribuisce le risorse di conseguenza.

Il secondo elemento distintivo del metodo è l’uso di quello che i ricercatori definiscono campionamento prompt LEEPS guidato dallo spazio latente. Il sistema individua i vicini nello spazio delle rappresentazioni interne del modello e combina questa informazione con gli esiti storici dei rollout, per identificare i prompt incerti che hanno più probabilità di generare varianza di ricompensa diversa da zero. Questo approccio rende l’esplorazione più mirata, senza dover moltiplicare il numero di rollout generati per verificare quali prompt siano davvero utili.

Divisione dei prompt e uso dei vicini nello spazio latente La logica alla base è intuitiva: se un prompt ha già mostrato risultati informativi, viene tenuto nel circuito di sfruttamento. Se invece un prompt è nuovo o incerto, LEEPS lo valuta osservando come si comportano prompt simili nello spazio latente e quale storico di rollout hanno accumulato, prioritizzando quelli con maggiore probabilità di generare segnali di apprendimento reali. Il risultato è una selezione dei prompt più chirurgica rispetto ai metodi che trattano l’intero pool di candidati in modo uniforme.

Questo cambiamento continua a plasmare il panorama delle attività digitali.