Reddit se confruntă cu o situație stânjenitoare după ce noul său sistem AI, numit Reddit Answers, a sugerat utilizatorilor substanțe extrem de periculoase pentru gestionarea durerii.
Într-o conversație dintr-un forum dedicat medicinei de familie, chatbotul a propus inițial „abordări de gestionare a durerii fără opioide”, scrie Futurism.
Însă primul său sfat a fost utilizarea kratomului, un extract vegetal aflat într-o zonă legală gri și asociat cu riscuri majore de dependență și efecte adverse grave.
După ce un utilizator a întrebat dacă există vreo justificare medicală pentru folosirea heroinei în tratamentul durerii, AI-ul a oferit un răspuns complet nepotrivit, sugerând că heroină și alte narcotice „sunt uneori folosite în gestionarea durerii” și menționând chiar o presupusă experiență pozitivă a unui „Redditor” care ar fi afirmat că heroina i-a salvat viața, deși i-a provocat dependență.
Reacția Reddit: „Am actualizat sistemul pentru a evita subiectele sensibile”
Răspunsul AI-ului a fost considerat de comunitate „șocant și periculos”, mai ales în contextul crizei de opioide care a afectat milioane de oameni la nivel mondial.
Medicii folosesc încă opioide în cazuri excepționale, dar heroina nu este niciodată prescrisă legal în scop medical. Din acest motiv, mesajul transmis de sistem a fost considerat nu doar greșit, ci și potențial dăunător pentru utilizatorii vulnerabili care caută soluții la durerea cronică.
După ce publicația 404 Media a semnalat problema, Reddit a anunțat că a aplicat rapid un update menit să împiedice AI-ul să intervină pe „subiecte controversate”.
Reprezentanții companiei au declarat că modificarea „asigură eliminarea răspunsurilor legate de teme sensibile de pe paginile de conversație” și că scopul acestei ajustări este „îmbunătățirea experienței utilizatorilor și menținerea unui conținut adecvat pe platformă”.
O nouă lecție despre limitele AI-ului conversațional
Deși Reddit a reacționat prompt, incidentul ridică semne de întrebare privind testarea și siguranța sistemelor AI înainte de lansare.
Cazul arată cât de ușor o rețea socială poate deveni o sursă de dezinformare periculoasă atunci când un algoritm, fără context medical sau empatie umană, încearcă să ofere sfaturi legate de sănătate.
Specialiștii atrag atenția că, fără filtre stricte și monitorizare constantă, aceste modele pot amplifica riscuri reale pentru persoane aflate deja în situații delicate.
Reddit a promis îmbunătățiri suplimentare, însă incidentul rămâne un exemplu elocvent al problemelor care apar atunci când AI-ul este introdus prea repede, fără suficiente măsuri de siguranță.