Dal 100% al 48,9%: la sicurezza codice con prior strutturali crolla sui dati reali

Ecco gli ultimi aggiornamenti dai mercati delle attività digitali: Uno stesso strumento che porta un modello linguistico dal 20% al 100% di accuratezza su dati sintetici può farlo crollare al 48,9% non appena incontra vulnerabilità reali. È questo il paradosso al centro di una nuova ricerca di Manuel Israel Cázares, depositata su arXiv il 16 luglio 2026, che mette alla prova l’iniezione di prior strutturali nel rilevamento di vulnerabilità nel codice sorgente — e trova esattamente il pattern già osservato nel ragionamento matematico formale. Punti chiave I prior strutturali (cheatsheet) migliorano il recall sulle vulnerabilità semantiche dal 20% al 100% su tutti e tre i modelli testati in contesti sintetici.

Le stesse cheatsheet amplificano il crollo fuori distribuzione: su dati CVE reali (VUDENC), l’F1 per CWE-89 scende dal 100% al 48,9%, un calo di 51,1 punti percentuali. La ricalibrazione iterativa peggiora ulteriormente le cose: la cheatsheet v2 ottiene risultati inferiori alla v1 sui dati reali. I modelli testati sono GPT-OSS-120B, Llama-3.

Dinamiche di mercato

Lo studio suggerisce l’addestramento distribuzione-consapevole come alternativa strutturalmente più solida rispetto alla calibrazione dei prompt. I prior strutturali migliorano il rilevamento sintetico di vulnerabilità La premessa è semplice: i grandi modelli linguistici sanno spesso come risolvere un problema, ma non attivano in modo affidabile quella conoscenza. L’ipotesi del router — già documentata nella ricerca SAIR di Cázares — descrive esattamente questa frattura tra capacità latente e attivazione consistente.

La domanda di questo studio è se il fenomeno si riproduca anche nel dominio della sicurezza del codice. La risposta è sì, e i numeri lo confermano con precisione. Incremento delle performance nei modelli testati Iniettando cheatsheet strutturate nei prompt — i cosiddetti prior strutturali — i tre modelli valutati mostrano un salto netto nelle prestazioni su dataset sintetici.

Il recall sulle vulnerabilità semantiche passa dal 20% al 100% in modo uniforme su GPT-OSS-120B, Llama-3. Non si tratta di un miglioramento marginale: è una saturazione completa delle metriche in-distribution. Questo risultato replica e amplia quanto già osservato da SAIR nel ragionamento matematico, confermando che il meccanismo di prior injection funziona in modo trasversale ai domini — almeno finché ci si muove all’interno della distribuzione di addestramento.

Impatto sui mercati

Categorie e complessità delle vulnerabilità Lo studio copre tre categorie di vulnerabilità: CWE-798 (credenziali hardcoded, complessità sintattica), CWE-284 (controllo accessi, complessità contestuale) e il pattern N+1 — non classificato come CWE — che rappresenta la complessità semantica più elevata. Questa gradazione è deliberata: permette di misurare come le performance varino lungo uno spettro di difficoltà crescente, e non solo in senso binario. Calo di performance con la complessità semantica e dati reali I prior strutturali funzionano bene sui dati sintetici.

Ma la vera domanda per chi lavora sulla sicurezza del software è un’altra: funzionano anche sui CVE reali? Deterioramento zero-shot con complessità semantica Prima ancora di introdurre i dati reali, emerge un primo segnale di fragilità. Le prestazioni zero-shot — cioè senza alcun prior iniettato — degradano in modo sistematico all’aumentare della complessità semantica delle vulnerabilità.

Più una vulnerabilità richiede ragionamento contestuale o logico anziché pattern matching sintattico, meno i modelli riescono a rilevarla senza supporto strutturato. È un gradiente di difficoltà che la ricerca documenta con chiarezza. Crollo con dati reali fuori distribuzione CVE Qui emerge il paradosso centrale.

Questo cambiamento continua a plasmare il panorama delle attività digitali.