Riscul crește atunci când firmele le permit sistemelor AI să ia decizii și să acceseze date fără o verificare umană suficientă. Avertismentul vine de la hackerul etic belgian Inti De Ceukelaire, care a explicat, într-un interviu acordat publicației RetailDetail, cum introducerea inteligenței artificiale în operațiunile comerciale creează noi riscuri de securitate pentru companii.
Cum poate fi păcălit chatbotul unui magazin să ofere reduceri
Unul dintre exemplele prezentate de Inti De Ceukelaire privește manipularea chatboturilor comerciale pentru a le determina să promită reduceri pe care companiile nu intenționau să le acorde.
Problema apare atunci când un sistem AI este proiectat să răspundă solicitărilor clienților, dar nu respectă suficient de strict limitele stabilite de comerciant.
Un atacator poate încerca să formuleze instrucțiuni astfel încât chatbotul să ignore regulile inițiale și să ofere un răspuns sau să ia o decizie care nu ar fi trebuit permisă.
Acest tip de manipulare este cunoscut în securitatea informatică drept prompt injection, o tehnică prin care instrucțiuni introduse de o persoană sau ascunse în conținutul procesat de AI pot influența comportamentul sistemului.
În cazul unui magazin online, miza poate fi financiară. Dacă un chatbot promite o reducere neautorizată, comerciantul se poate confrunta cu reclamații, costuri suplimentare și dispute privind respectarea ofertei.
Avertismentul unui hacker pentru companiile care automatizează totul
„Înainte, oamenii erau veriga slabă. Acum este inteligența artificială”, avertizează Inti De Ceukelaire, potrivit RetailDetail.
Timp de ani de zile, angajații au reprezentat una dintre principalele ținte ale atacurilor informatice. Mesajele frauduloase, parolele compromise și tentativele de a obține informații prin manipularea oamenilor au fost riscuri constante pentru companii.
Introducerea inteligenței artificiale schimbă însă suprafața de atac. Chatboturile și asistenții AI pot avea acces la documente, conturi, baze de date sau sisteme interne pentru a rezolva mai rapid solicitările utilizatorilor. Cu cât primesc mai multe permisiuni, cu atât consecințele unei manipulări pot deveni mai importante.
De Ceukelaire susține că, în cadrul unor teste, a reușit să manipuleze sisteme AI pentru a obține acces la fișiere interne, conturi și informații private.
Aceste exemple arată de ce simpla introducere a unui asistent AI într-o companie nu poate fi tratată exclusiv ca o măsură de eficientizare.
Un chatbot care răspunde la întrebări generale despre programul magazinelor prezintă un risc diferit față de unul care poate consulta informații confidențiale, modifica date sau interacționa cu sistemele comerciale.
Cine răspunde dacă AI-ul greșește o comandă sau promite un preț neautorizat?
Riscurile nu se limitează la securitatea datelor. Inteligența artificială poate crea și probleme comerciale atunci când este autorizată să negocieze, să vândă sau să plaseze comenzi.
De Ceukelaire oferă exemplul unui agent AI care comandă o sută de produse, dar selectează culoarea greșită. O asemenea eroare poate genera costuri, retururi și dispute între client și comerciant.
„Dacă un AI face o greșeală, cine va plăti pentru acea greșeală?”, întreabă expertul.
Problema devine mai complicată atunci când clientul și magazinul online au așteptări diferite în privința unei comenzi realizate prin intermediul unui asistent AI.
Potrivit hackerului etic, companiile riscă să creeze o nouă categorie de conflicte comerciale dacă permit sistemelor automatizate să ia decizii fără mecanisme clare de control.
Hackerul etic Inti De Ceukelaire: „Trebuie să știi cum se comportă un câine înainte să-l lași în preajma copiilor tăi.”
De Ceukelaire nu contestă beneficiile inteligenței artificiale. Dimpotrivă, spune că utilizează frecvent această tehnologie și că vede oportunități importante pentru companii.
Critica sa vizează viteza cu care organizațiile adoptă aplicații AI, uneori fără să înțeleagă suficient cum funcționează.
Retailerii automatizează serviciile pentru clienți și testează agenți AI autonomi inclusiv din teama de a nu rămâne în urma concurenței. Totuși, nu orice automatizare produce economii sau îmbunătățește eficiența.
„Nu totul trebuie să fie AI”, avertizează expertul. „Trebuie să știi cum se comportă un câine înainte să-l lași în preajma copiilor tăi.”
O altă problemă este reducerea supravegherii umane. În sistemele automatizate, principiul human-in-the-loop presupune existența unei persoane care poate verifica rezultatele și interveni atunci când apar erori.
De Ceukelaire consideră că această formă de control riscă să fie eliminată tocmai în momentul în care companiile oferă inteligenței artificiale responsabilități tot mai mari.
În același timp, schimbarea modului în care consumatorii cumpără produse poate afecta și strategiile de marketing. Dacă asistenții AI ajung să compare prețuri și să facă achiziții în numele clienților, magazinele online ar putea primi mai puține vizite directe.
Apare astfel o altă întrebare: pot tehnicile publicitare care influențează oamenii să influențeze și deciziile unui agent AI?
Expertul spune că testează inclusiv această posibilitate, deoarece modelele lingvistice pot reacționa previzibil la anumite forme de influențare, chiar dacă nu funcționează precum creierul uman.
Mesajul său pentru companii nu este să renunțe la inteligența artificială, ci să îi înțeleagă limitele înainte de a-i permite să gestioneze informații, să negocieze prețuri sau să ia decizii comerciale.
