Come funziona la RAG, in parole semplici
La RAG divide il lavoro in due fasi:
- Recupero. Quando qualcuno fa una domanda, il sistema cerca nei vostri documenti e seleziona i pochi passaggi che con più probabilità contengono la risposta.
- Generazione. Il modello riceve la domanda insieme a quei passaggi, con l'istruzione di rispondere solo sulla base di questi e di citare da dove viene ogni affermazione.
Il modello non "impara" i vostri documenti e non viene addestrato su di essi. I documenti vengono consultati al momento della domanda: per questo la RAG funziona con contenuti che cambiano ogni giorno e permette di applicare i permessi a ogni singola richiesta.
Gli elementi che decidono la qualità
Acquisizione: dai documenti ai passaggi ricercabili
I documenti vengono convertiti in testo, suddivisi in passaggi (i cosiddetti "chunk") e indicizzati. È la fase meno visibile e quella che conta di più:
- Le scansioni richiedono l'OCR, e le tabelle devono sopravvivere alla conversione.
- I passaggi devono seguire la struttura del documento (articoli di un contratto, sezioni di una procedura), non un numero arbitrario di caratteri.
- Ogni passaggio conserva i suoi metadati: file di origine, pagina, data, versione e chi è autorizzato a vederlo.
Recupero: trovare i passaggi giusti
La maggior parte dei sistemi combina due tipi di ricerca. La ricerca semantica usa gli embedding, rappresentazioni numeriche del significato, per trovare passaggi che dicono la stessa cosa con parole diverse. La ricerca per parole chiave trova termini esatti come codici prodotto, numeri di articolo o nomi, dove la ricerca semantica è imprecisa. Un passaggio di riordino (re-ranking) mette infine in ordine i candidati. Un buon recupero conta più della scelta del modello: se il passaggio giusto non viene trovato, nessun modello può citarlo.
Generazione: rispondere con le fonti
Il prompt chiede al modello di rispondere solo dai passaggi recuperati, di citare ogni fonte e di dirlo apertamente quando i passaggi non contengono la risposta. "Non ho trovato questa informazione nei documenti a cui hai accesso" è una funzionalità, non un difetto.
Permessi: le risposte devono rispettare i diritti di accesso
Se un utente non può aprire un documento nell'archivio, l'assistente non deve citarlo. Il modo affidabile è filtrare i passaggi recuperati in base ai permessi dell'utente, letti dalla directory aziendale, a ogni richiesta, e non una sola volta durante l'indicizzazione.
Valutare un sistema RAG
Un sistema RAG va testato come qualsiasi altro software, con un insieme fisso di domande di cui si conoscono risposta corretta e fonte. Per ogni domanda si verifica:
- Recupero: il passaggio giusto era tra quelli trovati?
- Fedeltà: ogni affermazione della risposta è supportata da una fonte citata?
- Completezza: la risposta copre ciò che la domanda chiedeva?
- Rifiuto: quando la risposta non è nei documenti, il sistema lo ha detto?
Da cinquanta a cento domande rappresentative, scritte insieme a chi userà il sistema, bastano per confrontare versioni diverse e accorgersi di un peggioramento quando cambiano documenti, prompt o modelli.
Errori frequenti
- Indicizzare tutto subito. Meglio partire da una raccolta curata (le procedure di un reparto, i contratti di una linea di business) e allargare dopo.
- Ignorare le versioni dei documenti. Due versioni della stessa policy nell'indice producono risposte contraddittorie. I documenti superati vanno ritirati.
- Nessun ritorno dagli utenti. Chi usa il sistema deve poter segnalare risposte sbagliate o incomplete, e qualcuno deve leggere le segnalazioni.
- Considerare il modello il prodotto. Il modello si può sostituire. La catena di acquisizione, il modello dei permessi e il set di valutazione sono ciò che si costruisce una volta e si conserva.
Dove ha senso la RAG
La RAG è lo strumento giusto quando le persone hanno bisogno di risposte da un insieme di documenti troppo grande da leggere e che cambia nel tempo: policy e procedure, documentazione tecnica, archivi contrattuali, fascicoli, conoscenza del supporto clienti. È anche lo strato di conoscenza dietro gli agenti AI che preparano le pratiche nell'ERP.
Servono due premesse: documenti ragionevolmente puliti e aggiornati, spesso il primo compito di un progetto di piattaforma dati, e una decisione chiara su dove vengono trattati i dati. Quando i documenti riservati non possono uscire dall'azienda, l'intero sistema può girare su modelli privati on-premise.
Da dove partire
Scegliete una raccolta di documenti e un gruppo di utenti con un bisogno reale e ricorrente, e scrivete con loro le domande di valutazione prima di costruire qualsiasi cosa. Il nostro servizio di AI applicata realizza proprio questo tipo di proof of concept, sui vostri documenti e con i vostri permessi, a prezzo fisso.