Controversia dati training AI: emergono documenti interni sul crollo del 93% dei click al NYT

Una notizia importante fa rumore nell’ecosistema blockchain. Alcuni dipendenti Microsoft si sono chiesti, in documenti interni scritti nel 2023, se l’addestramento dei modelli di intelligenza artificiale su articoli giornalistici altrui equivalesse al “più grande furto di lavoro nella storia dell’umanità”. La frase, contenuta in memo aziendali finiti ora agli atti di un tribunale, riassume bene i nodi al centro della controversia dati training AI che da tre anni oppone editori, Microsoft e OpenAI davanti alla giustizia americana. Documenti giudiziari desecretati giovedì e ripresi da The New York Times mostrano quanto, dentro le due aziende, la questione fosse più controversa di quanto lasciassero intendere le difese pubbliche.

Punti chiave Dipendenti Microsoft hanno discusso internamente se lo scraping di articoli da parte di OpenAI fosse “il più grande furto di lavoro nella storia dell’umanità”. Memo interni parlavano di un “doom loop” capace di far peggiorare la qualità dei modelli costruiti insieme a OpenAI. The New York Times ha citato in giudizio Microsoft e OpenAI a fine 2023, causa poi allargata a undici altri editori.

Dinamiche di mercato

OpenAI è stata obbligata a conservare 20 milioni di log di conversazioni ChatGPT per il procedimento. Il giudice Sidney Stein, della Corte distrettuale del Southern District di New York, sta valutando le richieste di giudizio sommario. Le ammissioni interne su scraping e “furto di lavoro” Nei documenti spunta un memo del 2023 in cui si legge: “milioni di persone in tutto il mondo considereranno presto i grandi modelli che aspirano tutto il loro lavoro come un furto sorprendente di proporzioni senza precedenti”.

Lo stesso autore aggiungeva una frase ancora più dura: “i grandi modelli di AI sono un prodotto che distrugge la propria catena di fornitura”. Microsoft ha precisato che quei memo sono opera di Brent Hecht, direttore di applied science con un ruolo anche accademico alla Northwestern University, e non rappresentano la posizione ufficiale dell’azienda. Secondo la società, Hecht non era un decisore e il suo compito era proprio quello di “presentare prospettive divergenti e asimmetriche” all’interno del dibattito interno.

Il “doom loop” e il crollo del traffico verso gli editori I dati citati nei documenti mostrano un effetto concreto e misurabile: secondo materiale interno di Microsoft, il motore di risposta Copilot ha fatto crollare i click-through rate verso il dominio del New York Times fino al 93% rispetto alla normale ricerca su Bing. In una presentazione del gennaio 2024, sempre firmata da Hecht, questo fenomeno viene descritto come un “doom loop” destinato a “danneggiare le performance dei nostri modelli e dell’intero web allo stesso tempo”. Il documento aggiunge che è “estremamente inusuale che un prodotto finale minacci le fondamenta economiche dei suoi fornitori essenziali”, ma è esattamente la situazione creata dal business degli LLM rispetto alla propria “catena di fornitura di contenuti”.

Impatto sui mercati

Un altro documento Microsoft parla di un “rischio reale” che l’AI generativa possa “disturbare significativamente l’occupazione delle stesse persone che hanno generato i dati su cui il modello fondativo è stato addestrato”. Perché conta: se anche i tecnici interni ammettono che i chatbot sostituiscono, e non solo integrano, i contenuti originali, l’argomento del fair use su cui si basa gran parte della difesa legale delle aziende AI diventa più fragile, perché uno dei criteri chiave di quella dottrina riguarda proprio l’assenza di danno al mercato dell’opera originale. Il tentativo di aggirare il paywall del New York Times Tra gli episodi più imbarazzanti emersi dai documenti c’è quello riguardante il paywall del quotidiano newyorkese.

Un ricercatore OpenAI, secondo le carte, avrebbe segnalato al presidente Greg Brockman un “hack per superare il paywall del nytimes”. Brockman avrebbe risposto semplicemente: “bello”. Le carte descrivono anche come OpenAI abbia costruito dataset come WebText e WebText2 basandosi in modo sproporzionato su contenuti giornalistici raccolti online, oltre a milioni di articoli estratti da Common Crawl, l’archivio pubblico di scansioni web.

Nei documenti si parla pure dello sforzo deliberato di eliminare le note di copyright dai dati usati per l’addestramento, perché i ricercatori “non avrebbero voluto che il modello restituisse” agli utenti finali “avvisi di copyright”. La scala dello scraping tra Microsoft e OpenAI I numeri riportati nei documenti danno un’idea della portata dell’operazione. I dataset intermedi di addestramento di OpenAI conterrebbero oltre 91.

Questo cambiamento continua a plasmare il panorama delle attività digitali.