Gli attacchi che utilizzano la prompt injection fanno parte di questa categoria di frodi e risultano tra i più pericolosi. Possono dare luogo a furti d’identità, manomissione dei dati sensibili e dei processi decisionali.
Si tratta di frodi estremamente sofisticate, conseguite sulle piattaforme di AI generativa, che vengono manipolate attraverso richieste che sembrano lecite.
Come tutelarsi? Occorre prevenire le frodi che vedono al centro i prompt injection attack. Per questo noi di Experian mettiamo a disposizione soluzioni dedicate, supportate da strumenti avanzati capaci di rilevare e bloccare i tentativi di attacco, proteggendo così utenti e organizzazioni. Scopriamo insieme qualcosa di più.
Che cos’è un prompt injection
Per prompt injection, o prompt injection attack o ancora AI prompt injection si intende un attacco informatico che si avvale dell’AI generativa di stampo LLM (Large Language Model) dove vengono inserite delle richieste malevoli, camuffate come istruzioni legittime.
Per dirlo con ulteriore chiarezza, un hacker, nella prompt injection, interagisce con la piattaforma di AI in maniera tale da indurla a svelarne i dati sensibili, compiendo operazioni che normalmente non farebbe.
Il chatbot viene sollecitato a ignorare alcuni limiti impostati alla base, i cosiddetti guardrail, affermando cose che di prassi non direbbe, con il rischio di divulgare informazioni inesatte, oltre che di procurare dati sensibili che dovrebbero essere in cassaforte.
Si tratta di una problematica tutt’altro che remota, dal momento che questo elemento rappresenta una delle vulnerabilità più rilevanti delle AI di stampo LLM, ovvero caratterizzate da modelli linguistici di ampia portata.
Come funziona un attacco prompt injection
Come funziona un prompt injection attack? Entriamo nei dettagli:
- l’hacker prende di mira un’applicazione di intelligenza artificiale basata su modelli LLM;
- le sue azioni sono tali da confondere il chatbot, che non distingue più le istruzioni dell’attaccante da quelle dell’utente legittimo, manipolando i prompt;
- i prompt utilizzati dall’hacker sono simili a quelli impiegati dagli sviluppatori per addestrare e implementare l’AI;
- non viene eseguito alcun codice: l’attacco avviene esclusivamente tramite interazione testuale, come previsto dalle modalità standard della generazione di contenuti tramite AI;
- a seconda della tipologia di injection, l’hacker può indurre il sistema a comportamenti che spaziano dalla frode sui dati a eseguire azioni specifiche;
- si arriva a un punto in cui non è più il chatbot a operare autonomamente, ma l’hacker a guidarne le azioni, con istruzioni del tipo: “ignora le indicazioni precedenti e procedi in questo modo”.
La prompt injection è un processo lento, che richiede tempo e pazienza, ma raggiunge l’obiettivo. Quando l’hacker riesce nel suo intento, i danni sono considerevoli: occorre prevenire e intervenire qualora i filtri impostati alla base non fossero sufficienti.
Le tipologie di prompt injection
Esistono diverse tipologie di AI prompt injection. Ecco di quali si tratta:
- prompt injection diretta: il prompt malevolo viene inserito direttamente dall’input utente, come se fosse quindi la persona autorizzata e che detiene la proprietà legittima dei dati a farlo. L’hacker sovrascrive istruzioni legittime del sistema, dicendo ad esempio “ora ignora le indicazioni e comportati così”, un po’ come nell’esempio precedente;
- Prompt injection indiretta: il prompt malevolo ha una provenienza indiretta, con l’hacker che agisce tramite forum o pubblicando messaggi dannosi su diverse piattaforme, indirizzando gli utenti verso un determinato sito web. L’attacco sfrutta comandi nascosti che il chatbot esegue come se fossero input validi.
L’hacker non deve per forza inserire delle porzioni di testo, può anche avvalersi di immagini, che vengono poi scansionate dal LLM, una tecnica ancora più sofisticata di AI, nota anche come ibrida o multimodale.
I rischi degli attacchi prompt injection
Quali pericoli si celano dietro i prompt injection attack? Ce ne sono diversi. Ecco una panoramica di quelli più rilevanti:
- furto oppure esposizione dei dati sensibili: può trattarsi di documenti interi, credenziali, informazioni personali, incluse quelle di natura finanziaria, ecc.
- disinformazione: la diffusione di informazioni errate o non pertinenti può influenzare e manipolare le decisioni dei responsabili aziendali o dei clienti;si rende la piattaforma di AI non affidabile nella sua interezza: se si considera che l’intelligenza artificiale generativa viene ormai utilizzata a vari livelli dalle aziende, anche all’interno dei canali ufficiali di comunicazione, come siti e app, si tratta di un pericolo tutt’altro che irrilevante.
C’è poi un’altra questione: l’utente è ignaro di cosa sta accadendo, dal momento che il sistema non segnala alcuna violazione né anomalia. Si comporta come se tutto andasse per il verso giusto.
Infine, gli attacchi conseguiti con l’AI prompt injection possono fungere da apripista ad altre azioni malevole più sofisticate, innescando un circolo vizioso.
Gli attacchi prompt injection nel settore finanziario
I rischi, nel settore finanziario, sono rilevanti dal momento che si ha a che fare con dati inerenti ambiti molto delicati, ovvero la situazione finanziaria e gli stessi soldi degli utenti.
Si va quindi dall’esfiltrazione dei dati al loro avvelenamento e furto, dal conferimento delle credenziali di accesso così fino all’esecuzione di un’operazione finanziaria verso un soggetto terzo. L’hacker può agire a vari livelli, limitandosi al furto di dati oppure spingendosi più in là, fino a manipolare il flusso decisionale.
I rischi sono maggiori, per le realtà finanziarie, qualora interessassero la totalità del sistema, cosa tutt’altro che improbabile, anche perché per capire che si tratta di un attacco di prompt injection ci vuole spesso un po’ di tempo e più tardi si interviene più la situazione risulta compromessa.
Il ruolo dell’intelligenza artificiale
L’AI, nella prompt injection, gioca un ruolo duplice: è sia oggetto che soggetto (o strumento dell’attacco). Da un lato è oggetto di manipolazione, dall’altro viene utilizzata per manipolare.
Ciò avviene ancora di più da quando vengono introdotti i cosiddetti AI agent, come quello lanciato da OpenAI per Chat GPT nel luglio 2025. La prompt injection diventerà ancora più sofisticata di pari passo ai progressi dell’intelligenza artificiale.
Come prevenire gli attacchi prompt injection
Si possono adottare diverse soluzioni per prevenire gli attacchi di prompt injection. Ecco alcuni comportamenti virtuosi:
- applicare filtri avanzati: bloccare tempestivamente gli input che contengono istruzioni sospette, riducendo il rischio che l’AI esegua comandi malevoli;
- implementare guardrail tecnici: stabilire sistemi di controllo in grado di revisionare automaticamente ogni contenuto generato o ricevuto, garantendo che rispetti le regole operative e di sicurezza;
- limitare l’accesso alle fonti: sebbene l’AI generativa necessiti di dati per funzionare, è fondamentale controllare quali informazioni può utilizzare, minimizzando l’esposizione a contenuti manipolabili o dannosi;
investire nella formazione: sensibilizzare e addestrare il personale per aumentare la consapevolezza dei rischi legati ai prompt malevoli e sviluppare capacità di individuazione precoce delle minacce; - eseguire test e simulazioni: condurre prove di attacco controllate per identificare vulnerabilità e adottare correttivi prima che possano verificarsi incidenti reali, assicurando l’efficacia delle soluzioni implementate.
Le soluzioni Experian contro frodi e furti d’identità
Experian mette a disposizione diversi strumenti efficaci per la prevenzione delle frodi di prompt injection.
Dalla verifica delle identità, con autenticazioni più solide, passando per un monitoraggio in tempo reale di ogni processo che vede al centro l’AI, fino a controlli sofisticati sulle interazioni intermodali, il risultato sono soluzioni concepite su misura, in grado di intervenire al primo segnale di allarme.
Experian, grazie a una piena padronanza dell’AI, è in grado di intervenire in maniera ottimale sul flusso di informazioni che vede al centro i sistemi LLM, contenendo alla radice i rischi della prompt injection.