Perché oggi l'on-premise è realistico
Sono cambiate due cose. La prima: i modelli open-weight, famiglie di modelli pubblicate insieme ai pesi, che si possono scaricare ed eseguire in locale, sono diventati abbastanza validi per i compiti quotidiani che contano in azienda: cercare e riassumere documenti interni, redigere bozze, confrontare versioni, tradurre. La seconda: il software di erogazione è maturo. Server di inferenza come vLLM, llama.cpp o Ollama eseguono questi modelli in modo efficiente anche su una sola macchina e offrono alle applicazioni un'interfaccia standard.
On-premise non significa avere i modelli più grandi in circolazione. Significa scegliere un modello sufficiente per un insieme definito di compiti, dimensionato sul vostro hardware e sul numero di utenti, mantenendo il pieno controllo su dove vanno i dati.
Che cosa deve garantire un'installazione on-premise
Un sistema privato è privato quanto il suo anello più debole. Verificate che:
- Documenti, richieste e risposte non lascino mai la vostra infrastruttura. Nessuna chiamata ad API esterne, nessuna telemetria verso i produttori dei modelli.
- Il modello non venga addestrato sui vostri dati. Si usa così com'è pubblicato; eventuali adattamenti restano in casa.
- Gli accessi seguano i permessi esistenti. Gli utenti entrano con la directory aziendale e vedono solo ciò a cui sono già autorizzati.
- Tutto venga registrato. Chi ha chiesto cosa, quando e con quali documenti, conservato sui vostri sistemi secondo la vostra politica di conservazione.
Sono i punti su cui si concentrerà una verifica sulla protezione dei dati. Metterli per iscritto una volta, insieme ad architettura e flussi di dati, è ciò che trasforma uno strumento bloccato in uno approvato: ne parliamo nelle note su nLPD e GDPR nei progetti AI.
Dimensionare l'hardware
Il primo vincolo è la memoria. Un modello ha bisogno di memoria per i suoi pesi e per un'area di lavoro (la cache del contesto) che cresce con la lunghezza dei documenti e con il numero di utenti simultanei. Le leve principali sono due:
- Dimensione del modello. I modelli più piccoli rispondono più in fretta e stanno su hardware modesto; quelli più grandi gestiscono ragionamenti complessi e documenti lunghi.
- Quantizzazione. Memorizzare i pesi a precisione ridotta abbassa molto il fabbisogno di memoria, con un costo in qualità spesso accettabile per i compiti documentali. Va misurato, non dato per scontato.
In pratica le configurazioni si dividono in due famiglie:
| Configurazione | Adatta a | Attenzione a |
|---|---|---|
| Una sola macchina di classe workstation con molta memoria unificata | Team piccoli, piloti, uffici con pochi utenti contemporanei | Prestazioni quando molti utenti chiedono insieme |
| Uno o più server con GPU da data center | Reparti o intere organizzazioni, molti utenti, modelli più grandi | Consumi, raffreddamento, spazio in rack e tempi di fornitura |
Il modo onesto di dimensionare è un pilota su una macchina, con documenti e utenti reali, misurando i tempi di risposta sotto un carico realistico. Solo dopo si decide cosa serve in produzione.
Collegare il modello ai documenti
Da solo un modello non sa nulla della vostra azienda. Lo schema utile è la retrieval-augmented generation: i documenti vengono indicizzati in locale, per ogni domanda si recuperano i passaggi pertinenti e il modello risponde basandosi su di essi, citando le fonti. Indice, embedding e database vettoriale girano tutti nello stesso perimetro del modello.
L'integrazione di solito comprende:
- archivi documentali e cartelle condivise, in sola lettura;
- la directory aziendale per autenticazione e permessi;
- un'interfaccia web interna e un'API per le altre applicazioni.
Isolato dalla rete o ad accesso controllato
Due modalità coprono quasi tutti i casi:
- Isolato (air-gapped): nessuna connessione in entrata o in uscita. Gli aggiornamenti (nuove versioni dei modelli, patch di sicurezza) arrivano su supporti controllati, in finestre di manutenzione concordate. Adatto agli ambienti più sensibili.
- Accesso controllato: il sistema sta sulla rete interna, l'accesso amministrativo passa da canali autorizzati e registrati, e nulla comunica con servizi AI esterni.
Gestirlo nel tempo
Un sistema di AI privata è software in produzione e richiede la stessa cura:
- monitoraggio di tempi di risposta, errori e utilizzo;
- aggiornamenti di modelli e software, verificati su un insieme fisso di domande di valutazione prima del rilascio;
- pianificazione della capacità man mano che l'uso cresce;
- supporto con tempi di risposta definiti.
Conviene?
L'AI on-premise ha senso quando la riservatezza è il vincolo che blocca l'adozione: sanità, istituzioni finanziarie, studi legali, pubblica amministrazione e qualsiasi azienda con proprietà intellettuale sensibile. Quando i dati possono essere trattati in cloud alle giuste condizioni, un'installazione su cloud sovrano presso un fornitore svizzero o europeo può essere un'alternativa più semplice.
Da dove partire
Individuate una raccolta di documenti, un gruppo di utenti e le regole di riservatezza che valgono. Un pilota su una sola macchina, provato dalle vostre persone, risponde alla maggior parte delle domande prima di qualsiasi acquisto importante di hardware. È così che parte Privatim, la nostra offerta di AI privata.