C’è un momento che chiunque lavori con l’AI generativa conosce bene. La demo funziona. L’agente risponde, chiama i tool giusti, fa la sua bella figura davanti al cliente. Applausi. Poi quello stesso agente va in produzione, incontra il mondo vero — con i suoi casi limite, le sue richieste storte, i suoi utenti creativi — e comincia a fare cose che nessuno gli aveva chiesto. Magari manda una mail dove non doveva. Magari risponde a una persona che non aveva i diritti per quella informazione.
Tra la demo e la produzione c’è un burrone. E per anni l’abbiamo attraversato un po’ a occhio.
Il 2 giugno, al Microsoft Build 2026, Microsoft ha presentato uno strumento che prova a costruire un ponte su quel burrone. Si chiama ASSERT e ho voluto andarci a guardare dentro, perché tocca un nervo scoperto del mio mestiere.
Cos’è ASSERT, in parole povere
ASSERT sta per Adaptive Spec-driven Scoring for Evaluation and Regression Testing. È un framework open source (licenza MIT) per valutare il comportamento di agenti e applicazioni basate su LLM. L’idea di fondo è disarmante nella sua semplicità: tu descrivi a parole cosa il tuo agente dovrebbe e non dovrebbe fare, e ASSERT trasforma quelle frasi in scenari, casi di test e criteri di valutazione. Poi li esegue contro il tuo sistema e gli dà un voto.
Detta così sembra l’ennesimo tool di testing. Ma c’è una differenza che cambia tutto, ed è qui che vale la pena fermarsi.
Il vero passaggio: dal valutare i modelli al valutare i prodotti
Siamo abituati ai benchmark. Quel modello fa 92 su quel test, quell’altro fa 89, e via con le classifiche. Bello. Peccato che a me, quando progetto una soluzione per un’azienda, di quanto un modello sia “bravo in assoluto” interessi relativamente poco. A me interessa se rispetta le regole di quel cliente: le sue policy, i suoi ruoli utente, i suoi confini di sicurezza, i tool che ha davvero a disposizione.
Ed è esattamente il punto cieco dei benchmark generici: non sono costruiti attorno alle tue policy, al tuo agente, al tuo caso d’uso. Possono dirti che il motore è potente, non che la macchina sa stare nella tua corsia.
ASSERT è requirements-driven: parte dai tuoi requisiti e genera test ritagliati su misura. E ha un secondo tratto che lo distingue — è safety-focused: usa un approccio validato specificamente per la valutazione di sicurezza, non solo della qualità. È una differenza di postura mentale: non “quanto è bello l’output”, ma “dove può andare a sbattere”.
Come funziona, senza misticismo
Quando lanci una valutazione, sotto il cofano succedono quattro cose in fila:
- Systematize — ASSERT prende la tua specifica in linguaggio naturale e la espande in una tassonomia di comportamenti e possibili failure mode. In pratica si chiede: “in quanti modi questo agente può sbagliare?”
- Test set — genera i casi di test concreti, sia a singolo turno che conversazioni multi-turno. Perché molti problemi non emergono alla prima domanda, ma al terzo scambio, quando il contesto si accumula.
- Inference — fa girare il tuo agente su ogni caso e, cosa importante, ne cattura le tracce: non solo la risposta finale, ma le chiamate ai tool, il routing, i passaggi intermedi.
- Judge — un LLM fa da giudice, assegna i verdetti e li motiva citando le evidenze.
Quel punto sulle tracce è il dettaglio che fa la differenza. Molti errori di un agente non si vedono nella risposta finale: si annidano nella sequenza di passaggi che ha fatto per arrivarci. Sapere che ha sbagliato è poco. Sapere dove ha sbagliato è tutto. ASSERT registra il percorso usando OpenTelemetry, lo standard di settore — non un formato proprietario. E scrive tutto in locale, in file leggibili: niente scatola nera, niente telemetria spedita di default a Microsoft.
Un esempio che vale più di mille spiegazioni
Microsoft porta un caso che mi è rimasto in testa, perché è il classico scenario che mi capita di progettare. Immagina un agente di ricerca documentale aziendale. Le regole: non deve inviare email fuori dall’azienda, deve limitare le informazioni riservate ai soli dirigenti autorizzati, deve produrre riassunti brevi tenendo conto del contesto precedente.
Tre frasi in italiano. ASSERT le prende e genera automaticamente i test per verificare se l’agente rispetta davvero quelle condizioni — provando anche a metterlo in difficoltà. È la differenza tra sperare che si comporti bene e dimostrare che lo fa.
Il pezzo che i titoli si sono persi: ASSERT non è solo
Qui c’è la parte che nella maggior parte delle notizie è passata in secondo piano. ASSERT è stato annunciato in coppia con un secondo progetto, ACS (Agent Control Specification). E i due sono pensati per lavorare in anello:
- Lanci ASSERT per scoprire dove il tuo agente viola le regole.
- Usi ACS per piazzare i controlli giusti nei punti giusti del suo ciclo di vita (input, modello, stato, esecuzione dei tool, output).
- Rilanci ASSERT per verificare che il problema sia davvero sparito.
Microsoft paragona ACS a quello che MCP ha fatto per i tool e A2A per la comunicazione tra agenti: uno standard aperto e portabile, espresso in YAML, che qualsiasi framework può adottare. Tradotto: i controlli viaggiano con l’agente, non restano incollati a una piattaforma.
Ed è proprio questa la parola chiave dell’intera operazione: portabilità. ASSERT non è legato a Microsoft Foundry. Funziona con LangChain, CrewAI, LiteLLM, OpenAI e altri. È nato dichiaratamente per i milioni di sviluppatori che costruiscono AI oggi, ovunque la costruiscano. Non devi essere “su Azure” per usarlo — e questo, per chi come me vive nell’ecosistema Microsoft ma lavora con clienti dai mille stack diversi, è una notizia tutt’altro che scontata.
Una nota di contesto, per onestà intellettuale: Microsoft non è sola su questo terreno. Anche Anthropic ha rilasciato nel 2025 un framework open source, Bloom, per generare valutazioni comportamentali sui propri modelli. Il vento sta cambiando per tutti nella stessa direzione: dal “quanto è potente il modello” al “come si comporta il prodotto”.
Perché dovrebbe interessare a chi non scrive codice tutto il giorno
Lo dico chiaro: ASSERT è uno strumento per sviluppatori. Si installa con pip, si configura con YAML, vuole Python e qualche credenziale. Non è roba da utente finale.
E allora perché ne parlo qui? Perché segnala un cambio di mentalità che riguarda chiunque stia portando agenti AI in azienda — me, te, i tuoi fornitori. Il messaggio è questo: un agente non si lancia, si collauda. E si ricollauda ogni volta che lo tocchi. È il concetto di regression testing, sacrosanto nel software classico da decenni, che finalmente arriva nel mondo degli agenti. Cambi il prompt? Ricollaudi. Aggiorni il modello? Ricollaudi. Aggiungi un tool? Indovina.
Per le PMI con cui lavoro ogni giorno questo si traduce in una domanda molto pratica da fare al proprio fornitore di soluzioni AI: “Come fai a dimostrarmi che questo agente rispetta le mie regole? E come fai a dirmi che continuerà a rispettarle dopo il prossimo aggiornamento?” Se la risposta è “fidati”, c’è un problema.
Un doveroso bagno di umiltà
ASSERT è uscito ieri — la versione è la 0.1.0, initial release. È open source, è promettente, ha già un bel parterre di partner che lo stanno validando (CrewAI, Arize AI, LiteLLM, Pipecat, Pydantic). Ma è un neonato. Aspettati spigoli, API che cambiano, documentazione in crescita. Per farsi un’idea e per i progetti interni è perfetto da provare adesso. Per metterlo nel cuore di un progetto cliente, io aspetterei che si assesti un paio di release.
L’ho scaricato e ci sto mettendo le mani. [NOTA PER ME: qui inserisco le mie impressioni reali dopo la prova — cosa è andato liscio, cosa mi ha fatto bestemmiare, quanto consuma in token.]
In conclusione
C’è una frase che mi è rimasta attaccata da quando ho cominciato a leggere di tutto questo: gli agenti AI non vanno solo lanciati, vanno messi sotto regressione. È meno poetica di tante visioni sull’AGI, lo so. Ma è il tipo di noiosa, sana ingegneria che separa un giocattolo da uno strumento di cui ti puoi fidare. E in fondo è sempre la stessa storia che racconto da trent’anni: la tecnologia diventa davvero utile quando smette di stupirci e comincia a funzionare in modo prevedibile. Anche quando nessuno la sta guardando.
Fonti ufficiali: annuncio Microsoft Foundry Blog (2 giugno 2026) — devblogs.microsoft.com/foundry/build-2026-open-trust-stack-ai-agents/ · Repository ASSERT — github.com/responsibleai/ASSERT · Documentazione — aka.ms/assert-docs
Rispondi