Nel 2015 Geoffrey Hinton, Oriol Vinyals e Jeff Dean hanno pubblicato un breve articolo su come si insegna.^[1] L’idea era trasferire ciò che una rete neurale grande sa in una rete piccola, nel modo in cui la comprensione di un professore passa a uno studente: meno per dettatura, più osservando come il docente valuta ogni risposta. La chiamarono distillazione, e la motivazione era amichevole: una rete capace di riconoscere la voce abbastanza bene da essere utile era troppo grande da distribuire, così si lasciava che la rete grande facesse da tutore a una sorella minore capace di vivere in un telefono. La tecnica funzionò, le reti piccole furono distribuite, e ognuno tornò a casa. Undici anni dopo la stessa parola compare in un’accusa della Casa Bianca contro un laboratorio cinese, nelle pagine di enforcement di ogni laboratorio di frontiera e in un post di OpenAI che racconta una campagna di model distillation avversariale appena interrotta.^[2]

La model distillation è il modo più economico che si conosca per spostare capacità da un modello all’altro, ed è esattamente per questo che il tentativo di fermarla fallirà. Questo saggio parla del divario tra queste due frasi: tra ciò che la distillazione è, un ciclo che si esegue su un laptop, e ciò che le aziende più potenti del pianeta chiedono ai propri governi di fare al riguardo. Ho costruito la versione più piccola possibile del problema per poter guardare il meccanismo all’opera, perché il meccanismo è l’intero argomento. Una lezione non si può polizzare. Si può soltanto rendere l’insegnamento più costoso, e non esistono abbastanza soldi al mondo per renderlo abbastanza costoso.

Che cos’è realmente la model distillation

Un modello linguistico, nel profondo, è una macchina che legge testo e assegna probabilità al carattere o alla parola successiva. Se lo si addestra nel modo standard, a ogni passo gli si mostra la risposta corretta: dopo the queen said , l’obiettivo è w, punto e basta. La risposta corretta è un insegnante utile ma unidimensionale. Non dice allo studente che queen era molto più plausibile di qween, che una virgola era quasi impensabile, o che helicopter era una possibilità concreta che l’insegnante aveva valutato e scartato. Tutto quel giudizio maturato riposa nelle probabilità che l’insegnante non mostra a nessuno.

La distillazione mostra le probabilità. Invece di pretendere la risposta dell’insegnante, se ne chiede la distribuzione sulle risposte, ammorbidita da una temperature perché i quasi-errori restino visibili. Lo studente viene addestrato su un misto: in parte le risposte rigide del libro, in parte quelle morbide dell’insegnante. Il lavoro originale di Hinton riferiva il trucco funzionante su un sistema vocale commerciale e su MNIST, in modo qualitativo e modesto; su scala reale l’effetto non è per niente modesto, ed è per questo che ogni modello piccolo e serio che abbiate mai usato ha un modello grande da qualche parte nel proprio albero genealogico.^[1]

Per renderlo concreto ho aggiunto una sesta tappa alla serie di modelli linguistici minimali che sto costruendo in Go.^[3] Il codice che conta sono cinque righe:^[4]

teacherLogits := tiny.Detach(teacher.Forward(in))
loss := tiny.DistillLoss(student.Forward(in), teacherLogits, tgt, 4.0, 0.5)
opt.ZeroGrad()
loss.Backward()
opt.Step()

L’insegnante legge il batch e produce la sua tabella di probabilità. Detach lo congela: l’insegnante è una previsione, non un partecipante, e nessun gradiente ritorna verso di lui. DistillLoss combina due termini con peso 0.5: la consueta cross-entropy rispetto ai caratteri successivi del libro e una divergenza tra le probabilità ammorbidite dello studente e quelle dell’insegnante, calcolata a temperature 4.0 così che la seconda e la terza scelta dell’insegnante restino nel quadro. Poi il consueto passo all’indietro, e lo studente ne compie uno.

L’esperimento è volutamente simmetrico. Un insegnante di 116.416 parametri impara un libro. Due studenti identici di 7.488 parametri, stesso seme, stessa forma, si addestrano poi sugli stessi 3.000 batch, differenziandosi per un solo aspetto. Il controllo impara dal libro da solo. Lo studente distillato impara dal libro e dall’opinione ammorbidita dell’insegnante sul libro. Su testo tenuto da parte e letto dai modelli solo dopo l’addestramento:

modello	parametri	loss su dati esclusi, nat per carattere
insegnante	116.416	2,4409
studente di controllo	7.488	2,5569
studente distillato	7.488	2,5462

Lo studente distillato è 15,6 volte più piccolo del suo insegnante e batte il controllo altrimenti identico. A questa scala il vantaggio è un errore di arrotondamento, e non farò finta del contrario; un vocabolario di settanta caratteri e un solo libro sono un giocattolo, e alla scala del giocattolo il controllo era già vicino all’insegnante. La lettura onesta è la direzione, non la dimensione: a parità di tutto il resto, l’accesso all’opinione dell’insegnante compra una generalizzazione che il testo grezzo non compra. Alla scala della frontiera la stessa aritmetica, moltiplicata per un migliaio di miliardi di parametri e per tutti i libri mai scritti, è la differenza tra un prodotto e una demo di ricerca. E si noti che cosa questo scambio non ha richiesto. Nessuna crittografia è stata violata, nessun database è stato bucato, nessun peso è stato copiato. Un modello è stato mostrato a un altro, e il mostrare era il rubare.

L’estate in cui la distillazione è diventata una storia criminale

A febbraio Anthropic ha pubblicato un’accusa: DeepSeek, Moonshot e MiniMax avrebbero estratto le capacità di Claude attraverso circa 24.000 account fraudolenti e oltre 16 milioni di scambi, violando i termini di servizio.^[5] A luglio Moonshot ha rilasciato Kimi K3, un modello a pesi aperti che l’ufficio scientifico della Casa Bianca ha da subito indicato come costruito distillando la Fable di Anthropic, un’accusa che gli esperti indipendenti hanno prontamente contestato: capacità a quella scala, hanno sostenuto, non arrivano copiando gli output di un rivale, e l’accusa combaciava meglio con la geopolitica che con l’ingegneria.^[6] Alla fine di luglio oltre venti aziende avevano firmato una lettera contro le restrizioni sui pesi aperti, Washington ha discusso un divieto e l’ha respinto, e Anthropic ha pubblicato la sua posizione: non ha «mai sostenuto un divieto sui modelli a pesi aperti», vuole che i controlli sulle esportazioni di chip vengano fatti rispettare, vuole che lo Stato «reprima le operazioni di distillazione su scala industriale» e vuole test di sicurezza obbligatori prima del rilascio per tutti i modelli sufficientemente capaci, aperti o chiusi.^[7]

Poi, a fine settembre, OpenAI ha fornito il gran finale della stagione. Aveva interrotto una campagna coordinata che, ha detto, manipolava le conversazioni con i modelli per riprodurre «protected reasoning» in forme visibili a chi la richiedeva. L’attività era iniziata il 1° luglio; il 24 e 25 luglio un gruppo di oltre 4.000 account ha sparato 16.000 richieste con pattern di estrazione; un gruppo più ampio di oltre 15.000 account è stato pienamente interrotto entro il 28 luglio. Gli operatori «non hanno violato la nostra crittografia, compromesso un database o ottenuto accesso diretto alle conversazioni degli utenti memorizzate». OpenAI ha attribuito un nucleo centrale dell’attività a «individui collegati a Moonshot AI, lo sviluppatore di Kimi», un’attribuzione addolcita da ogni avvocato che l’ha toccata, e ha condiviso i dettagli con gli altri laboratori attraverso il Frontier Model Forum.^[2]

Leggete il post di OpenAI come un documento di ingegneria ed è un team di sicurezza che fa il suo lavoro. Leggetelo come un documento di economia ed è una confessione. La manipolazione ha funzionato, su scala, dalla porta principale, usando il prodotto così come viene spedito. E nel mezzo del post sta la frase che chiude il dibattito politico: questa manipolazione «non è una vulnerabilità esclusiva dei modelli di OpenAI».

Una lezione non si può citare in giudizio

Tre argomenti contro la distillazione come bersaglio di politica pubblica, e nessuno sopravvive al contatto con il meccanismo.

L’argomento tecnico fallisce perché la fuga è il prodotto. Una capacità che si vende attraverso un’interfaccia è una capacità esposta attraverso un’interfaccia: ogni output, ogni traccia di ragionamento, ogni curva di latenza è un segnale didattico. Si può rifiutare di mostrare la catena di ragionamento, si può mettere un watermark sugli output, si possono rilevare i pattern di estrazione, e ogni difesa alza il costo della campagna successiva di un certo fattore. La campagna riparte da fattore-più-uno, perché lo studente non ha bisogno della cooperazione dell’insegnante come uno scassinatore ha bisogno di una chiave. Ha bisogno soltanto di esposizione, e l’esposizione è ciò che vendere significa.

L’argomento legale fallisce perché nessuno sa dire quale reato sia avvenuto. Una violazione dei termini di servizio è una disputa contrattuale, e i laboratori di frontiera stanno già litigando su entrambi i lati di quella linea: la stessa industria che, secondo i resoconti, ha pagato agli autori 1,5 miliardi di dollari per aver imparato dai libri^[8] chiede allo Stato di dichiarare che imparare dai modelli è furto. L’asimmetria si aguzza. Gli output distillati probabilmente non sono proprietà proteggibile, perché gli output delle macchine senza paternità umana non superano l’asticella del copyright. E almeno una famiglia di modelli vicina alla frontiera, quella di DeepSeek, è pubblicata sotto licenza MIT che autorizza espressamente la distillazione.^[9] L’industria vuole una legge per i propri insegnanti e un’altra per gli studenti di tutti gli altri.

L’argomento geopolitico fallisce per aritmetica, e qui la migliore testimone è Anthropic in persona: «una volta rilasciati, i pesi non possono essere ritirati».^[7] I controlli sulle esportazioni fermano i chip alla frontiera. Non fermano i file, e i pesi sono file; come ho sostenuto in precedenza, l’enforcement vive dove ci sono le fatture, e la distillazione è precisamente la transazione che non ne ha bisogno.^[10] Un potere che non può ritirare un torrent non può criminalizzare una lezione. Può soltanto criminalizzare l’essere stato istruito, che è un’altra cosa, e un errore molto più antico.

Il fossato era solo un vantaggio di partenza

Perché, allora, il panico? Perché il vero asset della frontiera non è mai stato il segreto. Era il tempo. I modelli aperti stanno indietro a quelli chiusi di pochi punti di indice di capacità, un divario di circa otto punti di indice che, per la valutazione ricorrente di Mozilla, si richiude in circa quattro mesi a ogni generazione; i modelli aperti stanno indietro sui benchmark ma raggiungono la produzione a dodici punti dai rivali chiusi; e nell’agosto 2026 un modello aperto ha conquistato per la prima volta la cima delle classifiche d’uso di OpenRouter, otto dei primi dieci modelli per token erano aperti, e Kimi K3 è diventato il primo rilascio aperto da tremila miliardi di parametri.^[7] Il sunto di Mozilla dell’estate è tagliato sull’osso: un grande laboratorio americano è tornato ai pesi aperti, e Washington ha discusso un divieto e l’ha respinto.

La distillazione è il modo in cui la coda di quel ciclo viene compressa. Non ruba la scoperta del mese prossimo; industrializza quella dell’anno scorso. Ecco perché la frontiera può perdere la discussione e vincere comunque il trimestre: il fossato è un vantaggio di partenza, e i vantaggi di partenza sono reali. Ed ecco perché la frontiera non può vincere il decennio con la lettera: non si allunga un vantaggio di partenza citando in giudizio i corridori alle proprie spalle, si allunga correndo. Intanto la cosa che rendeva davvero difendibile la frontiera, la capacità di spegnere un modello, mettere i pesi in dark period, deprecare un’API, perde forza a ogni copia già in esecuzione. Si può spegnere un modello. Uno studente no.

Le ragioni dell’accusa

Il caso opposto merita più di un uomo di paglia, perché una sua parte è corretta. Ventiquattromila account fraudolenti non sono ricerca, sono inganno industriale, e la rabbia dei laboratori al riguardo è legittima: account finti a quella scala avvelenano la fiducia che rende economico l’accesso via API per tutti, compresi gli accademici e le startup che pagheranno gli effetti collaterali della repressione. I pesi aperti davvero non possono essere ritirati, il che significa che un modello aperto davvero pericoloso è un fatto permanente del mondo e non una cosa patchabile, e Anthropic concede l’altra metà con onestà: i modelli a pesi aperti senza capacità pericolose «sono un bene pubblico».^[7] La disputa non riguarda se i modelli aperti possano essere pericolosi. Riguarda quale strumento affronti il pericolo.

E lì l’accusa afferra lo strumento sbagliato. I test obbligatori prima del rilascio per tutti i modelli, aperti e chiusi, sono una politica coerente: verificabile, controllabile, mirata alle capacità e non alla provenienza. «Reprimere le operazioni di distillazione su scala industriale» non è coerente, perché l’operazione descritta è indistinguibile, a livello di meccanismo, dalla pratica standard dell’intero ecosistema aperto, dove i laboratori distillano i propri modelli grandi in modelli distribuibili per routine, Nvidia compresa. Applicate la repressione e colpirà esattamente le parti che un’azione di enforcement può raggiungere: domestiche, visibili, che pagano fatture. I 24.000 account la aggirano come l’ultima campagna ha aggirato il rilevamento, perché un avversario che ha già accettato di violare un contratto non si ferma alla legge. Una legge che vincola soltanto gli obbedienti non è una legge sulla distillazione. È un sussidio agli incumbent, e l’ecosistema aperto lo pagherebbe per conto dei chiusi.

Anche Jevons insegna

C’è un’ultima ironia, e ha un nome. Quando DeepSeek ha lanciato R1 a gennaio 2025 e Nvidia ha visto evaporare in un solo giorno circa 600 miliardi di dollari di capitalizzazione, l’amministratore delegato di Microsoft ha risposto con una citazione economica: «Jevons paradox strikes again!». Il mercato l’ha letto come un alibi. Era una previsione. Nei quarantacinque mesi coperti dai dati di Mozilla il costo dell’inferenza è calato di un fattore di circa sessanta, e la domanda è cresciuta più veloce del risparmio, perché gli agenti consumano ciò che i chatbot hanno solo assaggiato; entro agosto DeepSeek, il grande distruttore di prezzi, è diventato il primo fornitore aperto ad aumentare i prezzi.^[7] L’efficienza non ha ristretto il mercato. L’efficienza era il cibo del mercato.

La distillazione è Jevons applicato all’intelligenza stessa. Ogni capacità che trapela diventa più economica da possedere, e ogni capacità più economica viene esercitata su scala più ampia, da più persone, in più prodotti, finché il suo esercizio non diventa ordinario. Questo non è un fallimento del mercato; è l’intera storia della tecnologia, dalla stampa a caratteri mobili al file musicale. Una repressione della distillazione è un tentativo di tassare quest’aritmetica, e l’aritmetica non ha un tesoretto da pignorare.

Il mio modello insegnante ha 116.416 parametri, e uno studente di 7.488 parametri che gli gira intorno come una paperella perché l’ho lasciato ascoltare. Un laboratorio di frontiera è la stessa aula con mille miliardi di volte più arredamento. L’insegnante può cifrare i suoi appunti, vietare l’accesso allo studente e chiedere a una superpotenza un’ingiunzione; allo studente basta che gli venga mostrato, e il mostrare è il modello di business. Non si può vietare al futuro di fare i compiti.

---

1. Geoffrey Hinton, Oriol Vinyals, Jeff Dean, Distilling the Knowledge in a Neural Network (2015). L’abstract rivendica miglioramenti qualitativi su un sistema vocale commerciale e su MNIST; il meccanismo descritto sopra è il trasferimento con soft target a temperature del lavoro originale.
2. OpenAI, Disrupting a coordinated model-distillation campaign (30 settembre 2026). Citazioni tradotte dall’originale: «uso sistematico e non autorizzato degli output o del ragionamento di un modello»; attività dal 1° luglio, picchi di 16.000 richieste da oltre 4.000 utenti il 24 e 25 luglio, un gruppo di oltre 15.000 utenti interrotto entro il 28 luglio; «non hanno violato la nostra crittografia, compromesso un database o ottenuto accesso diretto alle conversazioni degli utenti memorizzate»; attribuzione a «individui collegati a Moonshot AI, lo sviluppatore di Kimi»; «non è una vulnerabilità esclusiva dei modelli di OpenAI»; dettagli condivisi attraverso il Frontier Model Forum.
3. Costruire un piccolo LLM in Go, Parte 5: unire i pezzi e osservarlo imparare, la tappa che il codice di questo articolo estende.
4. erubboli/go-tiny-llm, tappa cmd/stage6_distill. Insegnante: 116.416 parametri. Studenti: 7.488 parametri ciascuno, stesso seme e stessi batch. Cross-entropy su 32 finestre fisse di dati esclusi: insegnante 2,4409, controllo 2,5569, distillato 2,5462 nat per carattere. DistillLoss combina la cross-entropy rigida (peso 0,5) con una divergenza KL a temperature 4,0 rispetto ai logit ammorbiditi dell’insegnante.
5. Anthropic, Detecting and preventing distillation attacks (23 febbraio 2026): DeepSeek, Moonshot e MiniMax accusate di campagne con «circa 24.000 account fraudolenti» e «oltre 16 milioni di scambi con Claude», descritte come violazione dei termini di servizio e delle restrizioni d’accesso regionali.
6. Tim Fernholz, Experts say exploiting Anthropic’s Fable isn’t how Kimi K3 got so good, TechCrunch (23 luglio 2026). Il consigliere scientifico della Casa Bianca Michael Kratsios ha sostenuto che nella creazione di Kimi K3 sia avvenuta una distillazione industriale e occulta della Fable di Anthropic; gli esperti hanno contestato che la distillazione spieghi le capacità di K3.
7. Anthropic, Our position on open-weights models (luglio 2026): «Anthropic non ha mai sostenuto un divieto sui modelli a pesi aperti»; «Dobbiamo reprimere le operazioni di distillazione su scala industriale»; «Tutti i modelli sufficientemente capaci, aperti e chiusi, dovrebbero affrontare test di sicurezza obbligatori»; i modelli a pesi aperti senza capacità pericolose «sono un bene pubblico»; «una volta rilasciati, i pesi non possono essere ritirati». Mozilla Foundation, The State of Open Source AI, v1.1 (settembre 2026): modelli aperti a pochi punti di indice dai chiusi a prezzo inferiore, un divario di capacità di 8 punti che si chiude in circa 4 mesi per ciclo, modelli aperti che raggiungono la produzione a 12 punti dai chiusi, il primo modello aperto in cima alle classifiche d’uso di OpenRouter nell’agosto 2026 con 8 dei 10 modelli più usati per token aperti, Kimi K3 come primo rilascio aperto da tremila miliardi di parametri, un calo di circa 60 volte del costo dell’inferenza in 45 mesi, l’aumento di prezzo di DeepSeek ad agosto, «un grande laboratorio americano è tornato ai pesi aperti e Washington ha discusso un divieto e l’ha respinto». La lettera aperta Open Weights and American AI Leadership (24 luglio 2026), firmata da Microsoft, Nvidia, Meta e oltre venti altre aziende e organizzazioni, definisce la distillazione «una tecnica ampiamente utilizzata».
8. Blake Brittain, US judge approves Anthropic’s $1.5 billion settlement of copyright lawsuit, Reuters (20 luglio 2026); il più grande accordo noto sul copyright negli Stati Uniti al momento dell’approvazione.
9. DeepSeek, repository del modello DeepSeek-R1 (gennaio 2025): pesi sotto licenza MIT, che ne consente uso, modifica e ridistribuzione, compresa la distillazione.
10. L’AI Act regola le fatture. I pesi aperti non ne emettono. sull’enforcement che vive dove ci sono le fatture; MiCA e AI Act: l’Europa esporta processo e importa la frontiera sul perché i meccanismi dell’AI Act centrati sui fornitori afferrano i servizi, non i file.