AI in locale per aziende: quando conviene davvero

"I dati non possono uscire." Se in azienda qualcuno l'ha detto, questa pillola ti serve. In pochi minuti capisci quando un modello AI in locale conviene, quali lavori regge, quanto costa davvero e come decidere, lavoro per lavoro, cosa tenere in casa.

Cos'è

Un modello in locale è un modello AI che gira su un sistema sotto il tuo controllo: una stanza server, un cloud privato, una GPU dedicata. I pesi del modello (i file che lo fanno funzionare), i log e i documenti che passano restano nel perimetro che hai firmato. Non è un portatile sotto la scrivania.

Due varianti da non confondere. On-prem vuol dire in casa tua. Self-hosting può stare anche su un cloud europeo, con chiavi tue. Per alcuni clienti la differenza è legale, per altri è solo velocità. Va scritta prima, nel contratto.

Perché serve

A volte il vincolo viene dal legale, a volte da un cliente della pubblica amministrazione, a volte è solo paura. In ogni caso è un vincolo di progetto, non un'opinione su quale modello sia il migliore.

La risposta non è "modelli aperti contro modelli chiusi". È una flotta: una parte del lavoro sta in casa, una parte va su un modello di frontiera (i modelli più potenti, usati via API) con contratto e DPA, cioè l'accordo sul trattamento dei dati. Un router, un sistema che smista, decide lavoro per lavoro.

Nella nostra prova abbiamo messo in produzione Mistral 7B e Qwen 2.5 7B su GPU A10G on-prem, su tre lavori: classificazione di documenti, estrazione di dati strutturati e bozze interne. Rispetto a Sonnet 4.6:

• qualità: 92%, in un confronto alla cieca su un campione etichettato dal cliente;
• attesa: meno 65%;
• costo per milione di token: da 3,10 euro a 0,12 euro, circa 1 a 26.

Il 92% vuol dire otto errori in più su cento, su lavori dove l'errore si vede e si corregge. Non su una perizia.

I lavori dove il locale regge

• Classificazione: entra un documento, esce un'etichetta (contratto, fattura, reclamo, altro). Volume alto, giudizio stretto. Un modello piccolo istruito sulle tue etichette batte un modello grande che non le ha mai viste.
• Estrazione: campi da una bolla, una polizza, un verbale. Schema fisso, errori misurabili. Qui il locale è abbastanza buono e molto più economico.
• Bozze interne: riassunti per il team, prime stesure di mail, verbali. Costano così poco che le fai sempre, non solo "quando c'è tempo". Niente esce verso un cliente senza revisione.

Fuori da questi, oggi il locale perde: analisi legale fine, architettura, codice nuovo su un dominio poco noto. Lì va il modello di frontiera. Costa di più, sbaglia di meno. Per molti clienti enterprise la quota di lavoro che lo merita sta sotto il 20%.

Sull'italiano il confine è lo stesso. Sul nostro set di 240 prompt in italiano (fisco, logistica, norme) i modelli aperti inciampano su terminologia e sfumature. Il confine non è "italiano contro inglese", ma schema chiuso contro linguaggio aperto. Una bolla di accompagnamento è schema chiuso: sta in casa. Un parere su un capitolato è linguaggio aperto: oggi no.

Come si fa

1. Elenca i lavori, non i desideri. "Classifica questo", "estrai quello", "scrivi una bozza", "rispondi a questa domanda difficile".
2. Per ognuno stima volume e danno dell'errore. Volume alto e danno basso: locale. Volume basso e danno alto: frontiera. Volume alto e danno alto: non partire dall'AI, parti dal processo.
3. Fai un campione etichettato. Anche duecento esempi. Senza campione il 92% è una chiacchiera; con il campione diventa una soglia: sotto, non si va in produzione.
4. Metti un router. Il team manda il lavoro, il router sceglie il modello. Nessuno deve "ricordarsi" quale usare.
5. Registra dove va ogni lavoro. Un router che scrive "questo è andato al modello locale, questo alla frontiera" è già parte della risposta all'AI Act, che chiede di sapere cosa fa il sistema.
6. Decidi chi lo tiene acceso. Serve una persona che aggiorna i pesi, guarda i log, sblocca una coda ferma. Se non c'è, un self-hosting su cloud europeo con contratto chiaro è più onesto dell'on-prem.

Pronto da copiare. Incolla in Claude o ChatGPT la lista dei lavori che vorresti affidare all'AI (solo i nomi dei lavori, non i documenti):

Prova piccola

Prendi un lavoro a schema chiuso: per esempio venti documenti da etichettare come contratto, fattura, reclamo o altro. Scrivi tu l'etichetta giusta. Poi falli etichettare a un modello piccolo e conta quanti ne azzecca. In dieci minuti hai un primo numero tuo, non il nostro. Finché il modello non gira in casa, usa documenti finti o anonimizzati.

Attenzione a

• 0,12 euro è il costo dell'inferenza, non il totale. Aggiungi ammortamento della GPU, elettricità e ore di chi la governa. Sul volume alto resta più basso della frontiera, ma non è gratis. Chi vende "AI locale a costo zero" omette la riga del personale.
• Locale non vuol dire privato per magia. Lo è se nessuno porta fuori i prompt, se i log ruotano e gli accessi sono nominativi. Altrimenti hai solo spostato il rischio in una stanza che conosci peggio.
• Lotti e sportello sono due progetti diversi. Un classificatore notturno gira a lotti, con coda, nuovi tentativi e report al mattino. Un operatore allo sportello vuole la risposta subito: il meno 65% vale per questo caso. Non mescolarli.
• Non comprare una GPU per mandarci tutto. Sprechi corrente e qualità.
• Non tenere due mondi separati, ChatGPT per i manager e Ollama per l'IT. È lo stesso lavoro spezzato in due.
• Non promettere al legale che "nulla esce" se una parte del ragionamento deve uscire. Dillo, metti il DPA, istruisci il router. La fiducia sta nella mappa, non nel divieto.

Se i dati possono uscire e il problema è la spesa, leggi come non sforare i limiti dei piani AI. Se vuoi tracciare il confine e metterlo in produzione, scrivici: il sistema resta tuo.

In breve: L'AI in locale conviene sui lavori ripetitivi ad alto volume con schema chiuso; il ragionamento difficile resta su un modello di frontiera, e il confine si traccia lavoro per lavoro.