Expedia: gli "evals" sostituiranno i PRD nella progettazione con AI
Xavi Amatriain, chief AI officer di Expedia Group (ex Google), ha dichiarato che le valutazioni automatizzate (evals) stanno diventando il nuovo documento di specifica dei prodotti (PRD) nello sviluppo software basato su AI. Secondo Amatriain, i team devono concentrare il pensiero progettuale negli evals, inclusi test di sicurezza e red teaming, prima ancora di iniziare a codificare. Questa transizione è significativa per il settore tech perché riflette come l'AI-generated code sta trasformando l'ingegneria del software tradizionale. Tuttavia, una ricerca VentureBeat rivela un divario critico: il 66% delle 157 aziende intervistate già permette il deployment in produzione senza revisione umana, ma solo il 5% si fida pienamente delle valutazioni automatizzate. Il 50% ha già deployato agenti che hanno passato i test interni ma hanno fallito con clienti reali. Amatriain sostiene di minimizzare i "guardrail" artificiali perché creano sistemi fragili e compromettono i feedback degli utenti. Expedia utilizza un modello a tre livelli basato su principi, mostrando come la gestione dei rischi AI evolve nel settore.
Questa notizia è rilevante perché la dichiarazione di Amatriain sulla sostituzione dei PRD con evals rappresenta un catalizzatore positivo per i titoli tech AI-focused, segnalando maggiore efficienza operativa e velocità di deployment. Tuttavia, la ricerca VentureBeat evidenzia rischi sistemici che potrebbero contenere i guadagni: il divario tra fiducia nelle valutazioni (5%) e deployment senza revisione umana (66%) crea volatilità nel sentiment degli investitori verso operatori AI-dipendenti. Questo innesca una rivalutazione delle pratiche di governance AI e della resilienza operativa nei sistemi di produzione.
La transizione rispecchia il ciclo di adozione tecnologica visto con l'automazione cloud (2015-2017), quando DevOps ha sostituito processi manuali riducendo time-to-market ma aumentando i rischi operativi. Analogamente, il fallimento del 50% degli agenti con clienti reali nonostante i test interni ricorda i problemi di quality assurance visti nel ciclo di machine learning 2018-2020, quando modelli validati in ambiente controllato fallivano in produzione per distribuzione dati non prevista.
- Competitive moat per primi mover: aziende cloud/SaaS che standardizzano evals come framework di qualità (MSFT, AMZN, GOOGL) potranno offrire soluzioni enterprise-grade, creando lock-in per clienti e premium valuation
- Crescita nel mercato delle "eval platforms": startup e vendor di testing/observability AI (potenzialmente acquisibili da PLTR, CRWD, NET, PANW) beneficeranno della domanda di strumenti di validazione robusti, compensando i rischi operativi
- Espansione di EXPD (non in lista ma core example) attraverso automazione cost-saving nei servizi di booking-matching, replicabile in settore travel/hospitality generando upside sui multipli P/E se i rischi vengono gestiti
- Rischio operativo sistemico: il 66% dei deployment senza revisione umana con solo il 5% di fiducia nelle evals espone le aziende tech a failure in cascata e perdite reputazionali devastanti per servizi customer-facing come Expedia
- Diluzione dei margini: l'adozione di evals potrebbe ridurre i costi di sviluppo nel breve termine ma aumentare i costi di remediation quando i sistemi falliscono in produzione, penalizzando USMB tech e SaaS
- Regulatory backlash: la minimizzazione dei guardrail di Amatriain potrebbe attrarre scrutinio normativo da SEC e autorità UE, creando liability non prezzata per early adopters di modelli agentici senza oversight umano
- Andamento di GOOGL, TEAM, TRN.MI nelle prossime sedute
- Regulatory backlash: la minimizzazione dei guardrail di Amatriain potrebbe attrarre scrutinio normativo da SEC e...
- Evoluzione del sentiment e dati macro collegati
- Reazione dei mercati nelle prossime 24-48 ore
