Human in the loop AI: cosa insegna la matematica di OpenAI sul controllo del lavoro delle macchine
Human in the loop AI è teatro se il controllo non può dire no. Cosa insegnano ai marketer la release matematica di OpenAI e le sue correzioni sulla verifica.
Human in the loop AI suona sicuro finché non ti chiedi che cosa controlla, di preciso, quell’umano. Il 6 ottobre OpenAI ha messo su GitHub centinaia di manoscritti di matematica, prodotti da un modello interno.
Il 7 ottobre il suo file della cronologia ha registrato che “un errore di segno invalida un argomento di cancellazione della traccia di stabilizzazione e la costruzione usata da due articoli dipendenti” (mia traduzione). Tre manoscritti sono stati ritirati e altri quattordici sono stati rivisti.
Il file della cronologia mostra come appare una correzione visibile. Il registro nomina l’errore, gli articoli che ha raggiunto e che cosa è stato fatto.
Non so dire se gli altri risultati reggano. Posso dire che questo registro è la parte del processo che un marketer può copiare.
Ora chiediti come sarebbe la tua versione. La tua AI ha scritto un report di campagna questa settimana. Chi l’ha controllato, con che cosa, e dov’è il registro?
Non sono un matematico e non posso giudicare le dimostrazioni. Quello che posso leggere è il processo che le circonda.
I fatti qui sotto vengono dall’annuncio di OpenAI, dal README del repository, dal file della cronologia, dal catalogo delle formalizzazioni, dalla panoramica e da un audit su arXiv. Ho verificato citazioni e cifre su copie salvate di quelle pagine il 14 ottobre 2026.
I punti chiave
- OpenAI ha ritirato tre manoscritti il 7 ottobre, il giorno dopo la pubblicazione, perché un errore di segno ha rotto un argomento usato da altri due articoli. Ne ha rivisti altri 14 e ha scritto i motivi.
- Due cifre sulla formalizzazione non tornano in modo ovvio. Il README dice che circa il 42% dei risultati principali è formalizzato e il file della cronologia indica 300 su 719, mentre il file del catalogo elenca 173 articoli. Il repository non spiega come siano collegate.
- Un controllo automatico verifica l’enunciato così com’è scritto nella macchina. Se quell’enunciato dica ciò che l’articolo afferma resta una domanda per un umano.
- Anche i controllori possono sbagliare. Un audit su arXiv di una serie precedente di OpenAI registra un apparente errore ritirato dopo aver recuperato dal sorgente una barra superiore andata persa.
- Human in the loop AI funziona con cinque parti: input che l’umano può vedere, una regola per rifiutare, una conseguenza del rifiuto, un controllo automatico prima di tutto e un registro.
- Quando l’output costa poco, il collo di bottiglia è il controllo. Metti a budget prima quello.
Cosa ha pubblicato OpenAI
L’annuncio di OpenAI è datato 6 ottobre 2026. Il repository contiene “manoscritti matematici e artefatti di dimostrazione di supporto prodotti da un modello interno di OpenAI” (mia traduzione). Il README conta 719 manoscritti in 372 famiglie al 14 ottobre, e si applica la licenza Apache-2.0.
Cosa dichiara OpenAI sul lavoro:
- Il modello non era rilasciato al 14 ottobre. “La stragrande maggioranza dei risultati è stata ottenuta con la stessa procedura usando un modello interno di OpenAI non rilasciato” (mia traduzione).
- Gli sono stati posti circa 4.000 problemi. Il catalogo è ciò che è rimasto dopo aver richiesto “un livello adeguato di rilevanza” (mia traduzione).
- Ogni risultato ha usato in media circa tre ore di calcolo di ChatGPT Pro. È per risultato, non per problema.
- OpenAI ha consultato l’Advisory Group on Mathematics and Artificial Intelligence indipendente dell’Institute for Advanced Study su come condividere il lavoro. Il post non dice che il gruppo abbia controllato i risultati.
Le affermazioni di punta sono enormi. La famiglia 003 dice che ogni funzione L di Dirichlet, compresa la funzione zeta di Riemann, non ha zeri con parte reale superiore a 7/8, cosa che la panoramica in PDF chiama “risoluzione dell’ipotesi quasi-Riemann” (mia traduzione). Non è l’ipotesi di Riemann.
La famiglia 004 dice che nessun algoritmo decide se un polinomio a coefficienti interi in un numero arbitrario di variabili abbia uno zero razionale, e la presenta come risoluzione del decimo problema di Hilbert sui razionali. La famiglia 107 sostiene un esponente della moltiplicazione di matrici non superiore a 9/4 sui razionali.
Li riporto come affermazioni. Non sono la persona giusta per confermarli o metterli in dubbio.
I tre articoli ritirati comprendono uno intitolato “The rational Hodge conjecture for products of K3 surfaces”, quindi la correzione ha toccato una congettura importante e nota. Il README è insolitamente preciso su ciò che non è controllato.
“Questa raccolta include risultati in fasi diverse di verifica. Non tutti hanno formalizzazioni Lean di accompagnamento” (mia traduzione).
Poi: “Alcuni dei risultati non formalizzati potrebbero avere problemi. Ci impegneremo a correggere rapidamente eventuali problemi di questo tipo” (mia traduzione).
Due conteggi che non tornano
Il README dà un solo conteggio: “il repository ha circa il 42% dei risultati principali formalizzato” (mia traduzione). La voce della cronologia del 7 ottobre dice che l’aggiornamento “porta la percentuale totale di risultati principali formalizzati a 300 / 719 = ~42%” (mia traduzione).
Il README dice che 719 è il numero di manoscritti. Il catalogo delle formalizzazioni elenca 173 articoli con un risultato principale formalizzato, secondo il mio conteggio del 14 ottobre. Non ho trovato una pagina che riconcili 300 con 173.
Non è un errore. È il motivo per chiedersi che cosa conti una percentuale.
Un report “verificato al 90%” può voler dire il 90% delle affermazioni, il 90% delle pagine o il 90% delle affermazioni che qualcuno ha pensato di controllare. Chiedi quale prima di fidarti.
Cosa fa un controllo Lean, e cosa no
Lean, nelle parole di OpenAI, è “un linguaggio di programmazione che permette di far controllare a un computer le dimostrazioni matematiche” (mia traduzione). Quando una dimostrazione è formalizzata in Lean e Lean la accetta, la macchina ha verificato che l’enunciato formale discende dai suoi assiomi.
In parole semplici, la macchina verifica l’enunciato così come è scritto nella macchina.
Se quell’enunciato dica ciò che l’articolo sostiene resta una domanda per un umano che legge entrambi. Sto spiegando io questo principio. Le pagine di OpenAI non lo dicono con queste parole.
Una spunta verde di una macchina significa che la macchina era d’accordo con se stessa. Devi comunque leggere a che cosa ha dato il suo accordo.
Un preprint di audit su arXiv di due autori ha valutato 18 revisioni specifiche per capitolo dei dieci risultati annunciati da OpenAI il 1° agosto 2026, una serie precedente rispetto alla raccolta di ottobre. Riporta che “nelle valutazioni esaminate non resta alcun errore matematico sostanziale confermato in un risultato principale, anche se la profondità della revisione varia e alcune dipendenze restano controllate solo in parte” (mia traduzione).
Segnala il capitolo 8 per la richiesta di uno specialista di una “revisione maggiore di argomenti analitici compressi” e sostiene che “la fiducia dovrebbe combinare controllo formale, ricostruzione umana, uso matematico indipendente e un registro pubblico che supporti la correzione sia delle dimostrazioni sia delle revisioni” (mia traduzione). Lo cito per il metodo, non come verdetto sulla matematica.
Il marketing non ha Lean. La maggior parte delle sue affermazioni si può controllare solo contro una fonte, una data o una persona, ed è per questo che il registro conta più dello strumento.
Anche il controllore può sbagliare
L’audit ha un dettaglio a cui continuo a tornare. Nel capitolo 6, un apparente errore di polarità è stato “ritirato dopo che una barra superiore persa durante l’estrazione dal PDF è stata recuperata dal sorgente tipografico” (mia traduzione).
L’abstract non dice chi l’abbia segnalato. Secondo questa lettura, il problema veniva dall’estrazione del testo, non dalla dimostrazione. Una perdita così è il modo in cui un passaggio di controllo può inventare un errore.
La mia pipeline ha una versione di questo controllo. Degli agenti di lettura estraggono citazioni da pagine di fonti salvate, e uno script conferma che ogni citazione compaia parola per parola nella pagina. Per la ricerca dietro cinque articoli recenti ha accettato 295 citazioni e ne ha respinte due che non comparivano parola per parola nelle loro pagine.
Poi un fact-checker legge la bozza, e io ricontrollo con una ricerca testuale quello che segnala prima di accettarlo, perché le righe lunghe delle fonti causavano falsi allarmi. Un revisore scettico gira a effort alto, e le traduzioni ricevono un secondo passaggio di un madrelingua che ha trovato errori veri. Un controllore è uno strumento con un tasso di errore, e quel tasso di errore va controllato.
Il revisore non dovrebbe essere l’autore. Nel mio articolo su CLAUDE.md ho scritto che la verifica va messa in “controlli che una macchina può fallire”, e che serve un revisore separato dove gusto o posta in gioco sono alti, “perché un modello tende a preferire i propri risultati” (mia traduzione).
Perché human in the loop AI è spesso teatro
La formula promette sicurezza, quindi la gente smette di chiedersi che cosa significhi. Una risposta comune è “un umano ci dà un’occhiata”. Quello è uno slogan.
Ecco la definizione che uso. Un vero ciclo ha cinque parti, e se ne manca una hai un rituale.
- L’umano vede gli input. Le fonti, i dati e le istruzioni, oltre all’output. Non puoi giudicare un riassunto che non sai ricostruire.
- Esiste una regola per rifiutare. Che cosa farebbe dire no a un revisore? Se nessuno sa rispondere, ogni output passa.
- Rifiutare ha una conseguenza. L’output viene rifatto, il processo viene corretto o il caso d’uso viene fermato. Un pulsante di rifiuto che non cambia nulla è decorazione.
- Prima gira un controllo automatico. Il codice controlla link, numeri, citazioni, formati e totali, così l’umano spende attenzione sul giudizio.
- Esiste un registro. Un log di che cosa è stato controllato, da chi e che cosa è stato corretto. Il file della cronologia di OpenAI è un esempio pubblico.
Un ciclo con una sola parte, una persona che guarda, diventa un timbro di gomma appena aggiungi una scadenza e una coda di 200 elementi.
Una tabella di verifica per l’output di marketing
“L’AI ha sbagliato” nasconde tre fallimenti diversi. Sbagliato vuol dire che l’affermazione è falsa: una funzionalità inventata, una statistica fasulla, una citazione che nessuno ha detto. Obsoleto vuol dire che era vero quando il modello l’ha imparato o quando è stata scritta la fonte: un prezzo, una scadenza di legge, una versione di prodotto.
Fuori bersaglio vuol dire che l’affermazione è vera e risponde a una domanda diversa da quella che hai posto. Il riassunto è corretto per il trimestre scorso, o la media è corretta per la regione sbagliata. Lo coglie solo un umano che conosce la domanda, quindi un revisore ha bisogno del brief e non solo dell’output.
Non ti serve Lean. Ti serve il controllo più economico che fallisca in modo evidente per ogni tipo di output.
| Output | Fallimento che intercetta | Controllo automatico | Controllo umano | Registro |
|---|---|---|---|---|
| Numeri in un report | Sbagliato, fuori bersaglio | Ricalcolare i totali dall’export della fonte | Corrisponde a ciò che è successo? | Nome e data del file sorgente |
| Citazioni e statistiche | Sbagliato | Confermare il testo esatto sulla pagina salvata della fonte | La fonte è primaria e aggiornata? | Link e data di accesso |
| Link | Sbagliato, obsoleto | Controllo del codice di stato su ogni URL | Dicono ciò che la frase afferma? | Report dei link |
| Affermazioni legali o di prezzo | Obsoleto, sbagliato | Nessuno affidabile | Leggere la fonte primaria | Fonte, data, revisore |
| Traduzioni | Fuori bersaglio | Parità di struttura e numeri con l’originale | Secondo passaggio di un madrelingua | Nome e data del revisore |
| Immagini con testo | Sbagliato | Nessuno affidabile | Leggere ogni parola | Versione approvata |
| Risposte ai clienti | Fuori bersaglio | Elenco di affermazioni vietate, regole di tono | Campionare e leggere | Log del campionamento |
Alcuni controlli non hanno un’opzione automatica. Sono quelli in cui un umano con nome e cognome deve rispondere del risultato.
Un esempio pratico: il riassunto dei prezzi dei concorrenti
Questo esempio l’ho inventato, quindi non cercare questi concorrenti. Un team marketing chiede a un’AI di riassumere le pagine dei prezzi di quattro concorrenti in un’unica tabella per la presentazione di vendita.
Cosa restituisce l’AI: una tabella pulita con nomi dei piani, prezzi mensili e tre funzionalità principali per piano.
Controllo automatico: uno script scarica ogni pagina dei prezzi, ne salva una copia e conferma che ogni prezzo della tabella compaia sulla pagina salvata accanto al nome del piano. Due prezzi falliscono. Un concorrente mostra per impostazione predefinita i prezzi annuali, e l’AI li ha riportati come mensili.
Controllo umano: una persona che conosce la trattativa commerciale guarda la tabella e nota che le funzionalità confrontano un piano premium di un fornitore con un piano base di un altro. È un caso fuori bersaglio, e nessuno script lo troverebbe.
Registro: le pagine salvate, la data e il nome del revisore vanno nella cartella accanto alla presentazione. Quando un concorrente cambia i prezzi, il team sa quale slide è obsoleta.
Uno script e un revisore possono plausibilmente farlo in un’ora per quattro pagine. La prima volta ci vorrà di più.
Come scrivere una regola di rifiuto
Una regola di rifiuto è una frase che un revisore può applicare senza dibattito. Queste funzionano per il marketing:
- Rifiuta ogni cifra che non compare nell’export della fonte.
- Rifiuta ogni citazione che non compare parola per parola nella pagina salvata.
- Rifiuta ogni affermazione su legge, prezzo o disponibilità senza una fonte primaria e una data.
- Rifiuta ogni frase rivolta al cliente che prometta un risultato, una scadenza o uno sconto.
- Rifiuta ogni traduzione i cui numeri differiscono dall’originale.
Scrivi l’elenco una volta, mettilo dove lavora il revisore e aggiornalo quando un errore sfugge. Ogni errore sfuggito diventa una regola nuova. È un suggerimento di processo, non una consulenza legale.
Cosa copierei dal repository di OpenAI
Togli la matematica e il repository ha tre abitudini che vale la pena copiare.
Un file della cronologia con i motivi. Ogni ritiro nomina gli articoli e la causa, e le revisioni sono raggruppate per ciò che è stato riparato. Per i contenuti scritti dall’AI, tieni un changelog che dica che cosa è stato corretto e perché, non solo che qualcosa è cambiato.
Le versioni vecchie restano raggiungibili. OpenAI dice “Correzioni e revisioni saranno registrate come nuove versioni, con le versioni rilasciate in precedenza che restano accessibili” (mia traduzione). Su questo blog ogni articolo porta una data, e quando modifico un pezzo pubblicato sposto la data di aggiornamento.
Avvertenze dove sta il dubbio. OpenAI dice quali risultati sono formalizzati e quali potrebbero avere problemi. Fai lo stesso nei tuoi report: segna i numeri ricalcolati e quelli presi dall’AI sulla fiducia.
Quando l’output costa poco, il collo di bottiglia è il controllo
OpenAI dice che un risultato medio ha usato circa tre ore di ragionamento di ChatGPT Pro. Non dice quanto richieda controllarne uno, e non lo indovinerei.
La versione marketing si vede meglio. Un’AI può scrivere 50 descrizioni di prodotto in un minuto, e confermare che nessuna inventi una funzionalità non è un minuto di lavoro.
Usare l’AI per il marketing moltiplica quello che fanno le tue persone migliori, e sposta anche il collo di bottiglia dal fare al controllare. Un team che non mette a budget il controllo non ha risparmiato tempo. Ha spostato il rischio sul cliente.
Un audit di verifica in 30 minuti
Fallo su un flusso di lavoro con l’AI questa settimana.
- Scegli un output ricorrente che raggiunge clienti o decisioni: un report, un modello di risposta, un feed di prodotti.
- Scrivi chi lo controlla oggi e che cosa guarda esattamente. Se la risposta è “lo legge”, vai avanti.
- Elenca le cinque parti di un vero ciclo e segna quali esistono.
- Aggiungi il controllo automatico più economico dalla tabella qui sopra.
- Scrivi la regola di rifiuto in una frase.
- Apri un log con una riga per esecuzione: data, controllore, che cosa è stato corretto.
- Rivedi il log tra un mese e sposta il primo controllo manuale nel codice.
Domande frequenti
Cosa significa human in the loop nell’AI?
Significa che una persona partecipa al processo dell’AI, di solito rivedendo o approvando l’output. Funziona solo quando la persona vede gli input, ha una regola per rifiutare e un modo di agire su un rifiuto, e quando esiste un registro.
Human in the loop basta a rendere sicuro l’output dell’AI?
Non da solo. Aggiungi controlli automatici per ciò che il codice può verificare, un revisore separato per il giudizio e un log che ti permetta di correggere il registro in seguito.
L’AI può controllare il proprio lavoro?
Può cogliere alcuni errori, e tende a favorire i propri risultati. Usa un revisore diverso, una rubrica e controlli che una macchina può fallire.
I risultati matematici di OpenAI sono dimostrati?
Non te lo so dire, e questo articolo non parla di questo. OpenAI dice che la raccolta ha “risultati in fasi diverse di verifica”, che secondo il suo conteggio circa il 42% dei risultati principali è formalizzato in Lean e che alcuni risultati non formalizzati “potrebbero avere problemi” (mia traduzione). Se la matematica sia giusta è una domanda per i matematici.
Come verifico l’output dell’AI al lavoro?
Parti da un solo flusso di lavoro. Aggiungi un controllo automatico, una regola di rifiuto e un log, e metti una persona con nome e cognome sui controlli che il codice non può fare.
Il mio verdetto
Un processo di human in the loop AI vale quanto la sua capacità di dire no. Un ciclo che non può rifiutare è un rituale.
La scheda:
- Mostra all’umano gli input.
- Scrivi la regola di rifiuto.
- Fai in modo che rifiutare cambi qualcosa.
- Fai girare prima i controlli automatici.
- Tieni un registro, e lascia che il registro mostri le correzioni.
Questa pagina riflette il repository di OpenAI al 14 ottobre 2026. La raccolta viene aggiornata, quindi controlla il file della cronologia prima di fare affidamento su un conteggio.
Vuoi un secondo paio d’occhi su come il tuo team controlla l’output dell’AI, con una checklist adatta ai tuoi flussi di lavoro? Contattami.
