Model-agnostic per costruzione: prima l'harness, poi il nome sul listino
Il nome del modello non ha mai deciso niente: A/B su 200 casi congelati, Mock al 98% in QA, verdetto deterministico. Prima l'harness, poi il listino.
In breve. Nei miei sistemi il nome del modello non ha mai deciso niente: hanno deciso l'harness che permette di cambiarlo. A/B appaiato su 200 casi congelati, Mock provider al 98% delle chiamate in QA, verdetto deterministico che non chiama nessun modello, Governor provider-agnostic per direttiva fin dal primo giorno. Chi sceglie il modello prima dell'harness sposa un fornitore a scatola chiusa.
Il repricing che ha dimostrato tutto
Dopo il repricing OpenAI del 30 luglio 2026 ho migrato SupportChat, l'assistente di Arvo, da gpt-5.4-mini a gpt-5.6-luna. L'ho trattato come cambio di contratto di qualità, non come taglio di costo: A/B appaiato su 200 casi congelati passati a entrambi i modelli, 83,0% contro 84,0% con p = 0,83 — differenza indistinguibile dal rumore — e condizioni di rollback scritte prima di accendere il nuovo modello. Il metodo completo sta nella migrazione con A/B appaiato. Senza i 200 casi congelati, quel giorno avrei scelto a sensazione. Con i casi, ho scelto con un numero — e il numero diceva che il nome non contava.
I tre strati che rendono il nome irrilevante
Primo strato: il confronto congelato. Stessi casi, entrambi i modelli, statistica onesta. Secondo strato: l'isolamento. Un AI Provider Layer con Mock provider che simula latenza e fallimenti: il 98% delle chiamate in QA non tocca nessun modello a pagamento, con un solo golden path reale a notte. Terzo strato: il verdetto deterministico, che non chiama nessun modello per decidere. Tre casi datati dove il nome non ha deciso niente li ho raccolti nella domanda sbagliata su GPT, Claude e Qwen.
Provider-agnostic per direttiva, non per slogan
Il Governor dei miei run nasce provider-agnostic per direttiva fin dal primo giorno: verdetti a forma chiusa, nessun percorso di esecuzione, e dove i provider divergono si registra la divergenza invece di presumere che si comportino uguali. L'ho raccontato nel blocco globale letto male. La direttiva conta più dell'interfaccia: un'astrazione con dentro un solo provider è un matrimonio, non un'architettura. L'ordine giusto resta quello: prima l'harness che permette di cambiare, poi il nome sul listino.