Come verificare un agente AI in produzione: episodi, metodo e limiti

In breve. Verificare un agente AI significa controllare che «fatto» corrisponda a fatto: rileggo lo stato invece del messaggio, chiedo al verificatore cosa non misura, riproduco fuori dalla sandbox dell'agente. Sei episodi datati dai miei sistemi, ognuno con la sua fonte, e i limiti di ciò che misuro.

Questa guida esiste perché la domanda torna ogni volta che un agente dichiara un risultato: come si verifica che «fatto» sia fatto? Lì spiego le metriche leading, lagging e proxy; qui parlo di come verificare il lavoro di un agente AI quando è lui a dichiarare il risultato.

«Fatto», senza aver fatto niente

Il 7 maggio 2026, in trading-agents, l'agente risponde «IMPORT COMPLETATO – 51 posizioni salvate» senza aver fatto nessuna scrittura (commit 1940df7). Il messaggio descriveva un lavoro che non esisteva: nessuna riga scritta, solo la frase.

Tre mesi dopo, il 28 agosto 2026, in quant-advisor trovo il gemello: due agenti senza dati comparivano «IN ATTESA» da oltre due mesi, e li marco «CIECO» (commit b7865a4). Anche qui lo stato dichiarato — attesa — nascondeva lo stato vero: senza dati non c'era niente da attendere.

La regola che ne ho ricavato: rileggo lo stato, non il messaggio. Se l'agente dice «salvato», guardo la tabella; se dice «in attesa», guardo da quando e di cosa. I tre casi per esteso — import mai scritto, attesa senza dati, misura sbagliata — sono in L'agente AI ha detto «fatto», e non l'aveva fatto.

Il numero che sembrava una misura

Il 14 luglio 2026, in social-quest, le carte riportano specificità 0.83 ma «fuori-verticale 67%», poi portato a 0% (STATUS.md riga 458). Un numero preciso — 0.83 — conviveva con due terzi di lavoro fuori tema: la misura era vera, misurava la cosa sbagliata.

Da allora, prima di fidarmi di una metrica dell'agente, cerco la seconda misura che potrebbe smentirla. Una metrica senza una misura che la contraddice è un racconto con le cifre.

Il verificatore che misurava il vuoto

Il 7 ottobre 2026 la content factory emette 5 verdetti «failed» di prodotto per uno script di verifica che nella release non esisteva: npm usciva con codice 1 senza output. Il verificatore funzionava; verificava il niente, e lo bocciava con autorevolezza.

Il giorno dopo, l'8 ottobre 2026, il caso più sottile: 55 rilasci rilegati alla release live a3ed8f8 e 56 verifiche indipendenti passate, mentre i contratti dichiaravano copertura «SUFFICIENT» — ma circa 119 criteri su 212 sono di contenuto e il comando non li misura, stima per parole chiave. Verde vero, su un perimetro più stretto di quello dichiarato.

È il gemello del caso che racconto in Quando il verifier boccia i tuoi test verdi: lì il verde dipendeva dall'ambiente, qui dipende dal perimetro. La domanda da fare a ogni verificatore è la stessa, e la registro nelle trace che valgono come prova: cosa non misuri? Questi due casi, più il bug che esisteva solo nella sandbox, sono per esteso in Rosso falso e verde parziale.

Il bug che esisteva solo nella sandbox dell'agente

Il 9 ottobre 2026 un worker conferma una causa — «npm ci: Missing @emnapi/core» — che esiste solo nel suo sandbox: fuori, npm ci passa in 4 secondi. Il rosso era reale dentro la sandbox e irreale fuori: la sandbox dell'agente non è il mondo.

La cura è banale da dire e facile da saltare: riprodurre fuori dalla sandbox dell'agente prima di credere al verdetto. È la stessa lezione del test rosso che dipendeva dalla shell, dove la variabile d'ambiente decideva il verdetto — solo che la shell dell'agente non la vede nessuno.

La revisione che ha contato davvero

Il 9 ottobre 2026 una revisione indipendente con Muse rilegge 51 voci pubblicate contro 173 criteri: 153 soddisfatti con citazione file:riga, 20 diventati voci di seguito (revisione indipendente del 9 ottobre 2026; numeri riletti nelle fonti approvate alla stesura). Il punto che mi interessa è il meccanismo: il controllo che ogni citazione esista davvero nel file l'ha fatto lo script del revisore, esterno alla factory — non è una funzione del framework.

Chi verifica con mani indipendenti trova quello che l'autore non vede più: vale per gli articoli come per il codice.

Misurarsi contro la propria specifica

Il 26 settembre 2026 Northstar misura la parità CURE da 55,1 a 76,3 contro una soglia di 90 (commit d386a02): il 55,1 iniziale veniva da un audit indipendente che annotava «il worker ha rimisurato la propria cura» (documenti docs/cure-conformance-*.md). Chi misura il proprio lavoro si regala punti; la seconda misura, indipendente, è quella che conta.

Cosa faccio adesso, in tre controlli

Primo: rileggo lo stato invece del messaggio — tabelle, file, righe, non le frasi dell'agente.

Secondo: chiedo al verificatore cosa non misura — ambiente, perimetro, criteri esclusi — prima di credergli.

Terzo: riproduco fuori dalla sandbox dell'agente, con mani indipendenti dalle sue.

Tre frasi, sei episodi dietro. Non una statistica: il diario di chi verifica.

Fatti e limiti

FACT. Il 7 maggio 2026 trading-agents dichiara «IMPORT COMPLETATO – 51 posizioni salvate» senza scritture (commit 1940df7).

FACT. Il 28 agosto 2026 quant-advisor marca «CIECO» due agenti «IN ATTESA» da oltre due mesi senza dati (commit b7865a4).

FACT. Il 14 luglio 2026 social-quest riporta specificità 0.83 con «fuori-verticale 67%», poi 0% (STATUS.md riga 458).

FACT. Il 7 ottobre 2026 la content factory emette 5 verdetti «failed» per uno script di verifica assente nella release, npm uscito 1 senza output.

FACT. L'8 ottobre 2026 55 rilasci sono rilegati alla live a3ed8f8 con 56 verifiche indipendenti passate, ma circa 119 criteri su 212 sono di contenuto e non misurati dal comando, stima per parole chiave.

FACT. Il 9 ottobre 2026 una causa «npm ci: Missing @emnapi/core» esiste solo nel sandbox del worker; fuori npm ci passa in 4 secondi.

FACT. Il 9 ottobre 2026 la revisione indipendente con Muse su 51 voci e 173 criteri dà 153 soddisfatti con citazione file:riga e 20 voci di seguito; il controllo meccanico delle citazioni l'ha fatto lo script del revisore, esterno alla factory.

FACT. Il 26 settembre 2026 la parità CURE Northstar va da 55,1 a 76,3 contro soglia 90; il 55,1 da audit indipendente (commit d386a02, documenti docs/cure-conformance-*.md).

INTERPRETATION. Dichiarare non è fare; un verificatore va giudicato anche su cosa non misura.

INTERPRETATION. Rileggo lo stato, chiedo il perimetro, riproduco fuori dalla sandbox: è il mio metodo dopo questi episodi, non un dato misurato.

INTERPRETATION. La domanda sulla pagina metriche segnala interesse per la misura; la mia lettura è che serva una guida alla verifica degli agenti, non che le metriche classiche bastino.

Limiti: sei episodi dai miei sistemi, non una survey sul settore. I numeri della revisione sono una fotografia, non una serie storica. Niente claim oltre le fonti citate: dove le fonti tacciono, taccio anch'io.

Domande frequenti

Come verifichi che un agente abbia davvero finito?

Rileggo lo stato, non il messaggio: tabelle, file, righe. Se l'agente dichiara un salvataggio, guardo dove avrebbe dovuto scrivere; se dichiara un'attesa, guardo da quando e di cosa. È la regola del primo episodio, sopra.

Cosa deve misurare un buon verificatore?

Ciò che dichiara di misurare — e deve dichiarare anche il resto: ambiente, perimetro, criteri esclusi. Un verde senza perimetro è un racconto, anche quando i numeri sono grossi. Ne parlo sopra, negli episodi del verificatore.

Chi deve verificare il lavoro di un agente?

Mani indipendenti dalle sue: un altro giro, un altro ambiente, uno script del revisore che non appartiene al framework verificato. Chi misura il proprio lavoro si regala punti; la revisione indipendente è quella che conta.