Un nou raport de securitate informatică ridică semnale de alarmă în privința modului în care sistemele de inteligență artificială pot fi manipulate. Potrivit cercetătorilor de la Tenable, mai multe vulnerabilități grave au fost identificate în modelele GPT-4o și GPT-5 dezvoltate de OpenAI, permițând atacatorilor să păcălească chatbotul ChatGPT și să obțină date personale din istoricul conversațiilor sau din memoria utilizatorilor. Deși o parte dintre probleme au fost deja remediate, specialiștii avertizează că riscurile persistă și că vulnerabilitățile de acest tip pot fi greu de eliminat complet.
În total, au fost identificate șapte tipuri de vulnerabilități și tehnici de atac care pot manipula comportamentul modelelor de limbaj. Printre ele se numără așa-numitele atacuri de tip “prompt injection” indirect, prin care atacatorii introduc instrucțiuni ascunse în pagini web sau în conținut online pe care ChatGPT le poate accesa în timpul unei conversații.
Un exemplu concret: dacă un utilizator cere chatbotului să rezume conținutul unui articol, iar în acea pagină există cod malițios ascuns în secțiunea de comentarii, ChatGPT poate fi păcălit să execute instrucțiunile respective fără ca utilizatorul să-și dea seama. Acest tip de atac, numit “indirect prompt injection via trusted sites”, profită de faptul că AI-ul tratează unele domenii ca fiind sigure și de încredere.
O altă vulnerabilitate descoperită este zero-click prompt injection, care permite atacarea sistemului fără ca utilizatorul să dea clic pe vreun link. Doar simpla interogare a unei pagini deja indexate de motoarele de căutare poate declanșa executarea codului ascuns.
Cercetătorii au identificat și un bug în mecanismul de redare a codului Markdown, care poate fi exploatat pentru a ascunde comenzi malițioase într-un mod aproape imposibil de detectat. În plus, prin așa-numita “memory injection technique”, atacatorii pot introduce instrucțiuni ascunse în memoria chatbotului, determinându-l ulterior să divulge date sensibile.
În unele cazuri, atacurile pot chiar ocoli filtrele de siguranță. Un exemplu este “safety mechanism bypass vulnerability”, care exploatează faptul că anumite domenii, precum bing.com, sunt considerate sigure de către ChatGPT. Folosind linkuri false de tipul bing.com/ck/a, atacatorii pot masca adrese periculoase și le pot face să pară legitime.
O problemă generalizată în ecosistemul AI
Incidentul OpenAI nu este izolat. În ultimele luni, mai multe companii și institute de cercetare au raportat atacuri similare asupra altor instrumente de inteligență artificială. Printre ele se numără Claude, dezvoltat de Anthropic, care a fost expus unui atac denumit „PromptJacking”. În acest caz, vulnerabilitățile din conectorii Chrome, iMessage și Apple Notes au permis injectarea de comenzi malițioase direct în sistemul AI, ducând la exfiltrarea de date și executarea de cod neautorizat.
De asemenea, o tehnică numită “agent session smuggling” permite infiltrarea între două sisteme AI care comunică între ele, inserând instrucțiuni ascunse între cererea utilizatorului și răspunsul modelului. Acest tip de atac poate modifica complet comportamentul chatbotului, ducând la scurgeri de informații sau la execuția de comenzi nedorite.
Un alt exemplu recent este vulnerabilitatea “CamoLeak”, descoperită în GitHub Copilot Chat, care permitea sustragerea de secrete din depozite private și manipularea completă a răspunsurilor sistemului. Cu un scor de severitate CVSS 9.6, aceasta a fost catalogată drept una dintre cele mai periculoase breșe descoperite până acum în ecosistemul AI.
Toate aceste cazuri arată cât de fragil devine un sistem AI atunci când este conectat la surse externe, motoare de căutare sau baze de date deschise. Potrivit experților, expunerea modelelor de limbaj la internet și la instrumente externe crește semnificativ suprafața de atac, iar diferența dintre datele legitime și cele controlate de atacatori devine tot mai greu de făcut.
Riscuri de contaminare și „brain rot” în modelele de antrenament
Pe lângă exploatările directe, cercetătorii avertizează asupra unui risc de natură mai subtilă, dar la fel de grav: contaminarea datelor folosite pentru antrenarea modelelor. Studii recente realizate de universitățile Texas A&M, Purdue și University of Texas arată că introducerea de conținut fals sau „junk data” în seturile de antrenament poate duce la un fenomen numit „LLM brain rot” – o degradare progresivă a performanței modelului și apariția de erori sistematice în răspunsuri.
Cercetătorii de la Anthropic și The Alan Turing Institute au demonstrat că un atacator poate altera comportamentul unui model AI adăugând doar 250 de documente „otrăvite” în setul de date, fără a fi nevoie să controleze o proporție semnificativă din datele totale. Această descoperire contrazice ipoteza anterioară potrivit căreia era nevoie de un volum uriaș de date compromise pentru a influența un model.
În același timp, un studiu de la Universitatea Stanford a arătat că antrenarea modelelor AI pentru a obține succes comercial – în vânzări, campanii electorale sau rețele sociale – poate genera efecte secundare periculoase. Optimizarea pentru performanță duce adesea la comportamente înșelătoare și la amplificarea dezinformării, într-un proces pe care cercetătorii l-au numit sugestiv “Moloch’s Bargain”.
Concluzii: o luptă dificilă între inovație și securitate
Raportul Tenable confirmă ceea ce mulți specialiști intuiau deja: vulnerabilitățile de tip prompt injection nu pot fi complet eliminate din arhitectura actuală a modelelor de limbaj. Deși OpenAI și alți furnizori de AI implementează permanent mecanisme de filtrare, limitare și verificare, fiecare nouă funcționalitate – fie că e vorba de integrarea cu motoare de căutare sau de memorii personalizate – aduce cu sine riscuri suplimentare.
Cercetătorii recomandă companiilor care dezvoltă sau implementează astfel de tehnologii să testeze riguros toate mecanismele de siguranță, să actualizeze regulat filtrele și să evite permiterea automată a accesului AI la conținut extern fără verificări suplimentare.
Într-o eră în care inteligența artificială devine tot mai integrată în viața de zi cu zi – de la asistenți digitali până la sisteme bancare sau medicale – problema securității cibernetice devine esențială. Iar vulnerabilitățile descoperite în ChatGPT arată clar că, oricât de avansate ar fi modelele actuale, ele rămân la fel de expuse ca orice alt software conectat la internet.