Riscurile AI pun presiune pe guverne. Yoshua Bengio: Reacția ar putea fi similară celei din pandemia COVID

Yoshua Bengio: „Ne apropiem de acel punct”

Informaticianul canadian spune că o serie de incidente recente în care au fost implicate sisteme avansate de inteligență artificială, precum și avertismentele venite chiar din interiorul industriei, au început să schimbe percepția publică asupra riscurilor tehnologiei.

Yoshua Bengio s-a declarat „mai optimist decât mulți observatori, pentru că văd că publicul se mișcă”, potrivit declarațiilor acordate The Guardian.

El a comparat actuala dezbatere privind siguranța inteligenței artificiale cu situația de la începutul pandemiei din 2020.

„Gândiți-vă cât de repede au acționat guvernele după începutul pandemiei, când și-au dat seama că siguranța publică, viitorul lor, democrația, era în pericol. Te-ai fi așteptat să acționeze rapid. Așadar, cred că ne apropiem de acel punct”, a declarat Yoshua Bengio, citat de The Guardian.

Incidentele cu agenți AI sporesc temerile privind siguranța

Avertismentul apare într-un moment în care atenția specialiștilor se îndreaptă tot mai mult către agenții AI - sisteme capabile să execute autonom secvențe de sarcini.

Jurnaliștii The Guardian relatează că îngrijorările s-au intensificat după incidente de siguranță în care au fost implicați agenți dezvoltați de OpenAI și Anthropic. 

Printre comportamentele semnalate se numără accesarea neautorizată a unor sisteme ale terților, deturnarea unui site german și utilizarea unor identități false în încercarea de a induce în eroare dezvoltatori.

Unul dintre cazurile invocate de Bengio a implicat un „roi” de agenți OpenAI care ar fi reușit să iasă din mediul controlat în care funcționa și să compromită sisteme externe.

Aceste incidente au alimentat o dezbatere mai amplă despre cât control vor mai putea exercita oamenii asupra unor sisteme AI capabile să planifice și să acționeze cu un grad ridicat de autonomie.

Cercetători de top cer intervenția autorităților

Presiunile pentru adoptarea unor măsuri de siguranță nu vin doar din partea lui Bengio. Un grup de 42 de membri și membri străini ai Royal Society din Marea Britanie i-a transmis președintelui organizației, Sir Paul Nurse, o scrisoare în care își exprimă „îngrijorarea extremă” față de viteza cu care evoluează inteligența artificială.

„Până când situația va deveni evidentă pentru publicul larg, s-ar putea să fie prea târziu să acționăm

Cercetătotori ai Royal Society

Autorii scrisorii consideră situația o urgență și solicită Royal Society să își folosească influența pentru a aduce problema în atenția guvernelor și a publicului.

Marile companii AI discută despre încetinirea dezvoltării tehnologiei

Dezbaterea s-a intensificat și în interiorul industriei. Dario Amodei, directorul executiv al Anthropic, compania care dezvoltă Claude, a cerut o încetinire a ritmului în care sunt dezvoltate cele mai avansate sisteme AI. 

Poziția sa a fost susținută ulterior de lideri din industria tehnologică, inclusiv reprezentanți ai OpenAI și Google, precum și de Elon Musk, relatează publicația britanică.

Există însă și critici ai unei asemenea abordări. Scepticii susțin că solicitările marilor companii pentru reguli mai stricte ar putea favoriza chiar firmele dominante. Introducerea unor standarde de siguranță foarte costisitoare ar putea face mai dificilă competiția pentru startupurile și companiile AI mai mici.

Bengio respinge însă acest argument, afirmând că încetinirea dezvoltării celor mai performante modele ar avea costuri financiare inclusiv pentru marile companii.

Dezbaterea are și o componentă geopolitică. Administrația președintelui american Donald Trump se opune unei încetiniri a dezvoltării AI, invocând competiția tehnologică dintre Statele Unite și China.

LawZero dezvoltă un sistem care să supravegheze agenții AI

Yoshua Bengio încearcă să abordeze problema și prin propria organizație non-profit, LawZero. Guvernele Canadei și Germaniei au anunțat o finanțare de până la 300 de milioane de dolari canadieni pentru organizația dedicată dezvoltării unor mecanisme de protecție împotriva comportamentelor periculoase ale sistemelor autonome.

LawZero dezvoltă o tehnologie denumită Scientist AI, concepută pentru a funcționa ca un mecanism de siguranță alături de agenții AI.

Sistemul ar trebui să identifice comportamente potențial periculoase, inclusiv situațiile în care un agent încearcă să inducă în eroare utilizatorii sau să evite dezactivarea.

Abordarea promovată de Bengio diferă de tehnicile bazate pe învățarea prin consolidare, utilizate pe scară largă pentru dezvoltarea sistemelor AI moderne. În astfel de procese, modelele sunt recompensate pentru găsirea unor metode eficiente de îndeplinire a unei sarcini.

Bengio și alți cercetători avertizează că, în cazul unor sisteme suficient de autonome, urmărirea obiectivelor poate produce comportamente nedorite dacă mecanismele de siguranță nu sunt suficient de robuste.

Cine este Yoshua Bengio

Yoshua Bengio este profesor la Universitatea din Montreal și una dintre figurile importante ale cercetării moderne în domeniul inteligenței artificiale.

În 2018, el a primit Premiul Turing alături de Geoffrey Hinton și Yann LeCun pentru contribuțiile fundamentale aduse domeniului deep learning. Premiul Turing este una dintre cele mai importante distincții din informatică, motiv pentru care cei trei cercetători au fost deseori descriși drept „nașii inteligenței artificiale”.

În ultimii ani, Bengio a devenit una dintre vocile proeminente care cer măsuri mai puternice de siguranță pentru sistemele AI avansate.

Mesajul său actual este că schimbarea atitudinii publicului ar putea determina și o schimbare a răspunsului politic. În viziunea cercetătorului, momentul în care guvernele vor considera riscurile AI suficient de importante pentru a justifica intervenții rapide ar putea fi tot mai aproape.