Un cercetător care a lucrat la Anthropic și OpenAI lansează un avertisment extrem
- Jacob Coxon susține că rivalitatea dintre marile laboratoare de inteligență artificială împinge companiile să accelereze dezvoltarea modelelor, în timp ce riscurile asociate unor sisteme care ar putea depăși capacitățile umane rămân insuficient gestionate.
În mesajul prin care și-a anunțat plecarea, Coxon a acuzat Anthropic și OpenAI că se îndreaptă într-un ritm periculos spre dezvoltarea unei superinteligențe capabile să se îmbunătățească singură, potrivit Politico.ro.
Cercetătorul spune că temerile privind un scenariu catastrofal nu există doar în afara industriei.
Potrivit acestuia, inclusiv persoane implicate direct în construirea celor mai avansate sisteme AI iau în calcul posibilitatea ca tehnologia să ajungă să reprezinte o amenințare existențială pentru oameni.
Avertismentul său nu înseamnă însă că dispariția omenirii este considerată inevitabilă. Discuția privește probabilitatea unor scenarii extreme în situația în care sisteme mult mai capabile decât cele actuale ar deveni dificil sau imposibil de controlat.
Jacob Coxon și-a anunțat plecarea într-o postare pe X, avertizând că lumea „nu ar trebui să subestimeze puterea acestei tehnologii.”
El a adăuga că „în curând, acestea vor fi sisteme supraomenești capabile să spargă orice, să revoluționeze orice domeniu peste noapte și să dobândească putere și resurse reale. Cu toții am fost martori la progresul înregistrat în fiecare dintre aceste domenii, iar progresul nu încetinește.”
Un cercetător Anthropic estimează un risc de peste 10%
- Poziția lui Coxon a primit o susținere neobișnuit de puternică din interiorul Anthropic. Evan Hubinger, cercetător specializat în problema alinierii sistemelor AI la obiectivele oamenilor, a declarat public că ia în serios posibilitatea unui asemenea scenariu și estimează la peste 10% riscul ca inteligența artificială să provoace dispariția oamenilor în următorul deceniu.
Hubinger a recunoscut totodată că industria nu dispune în prezent de un plan demonstrat pentru rezolvarea problemei alinierii unei eventuale superinteligențe.
Și Samuel Marks, un alt cercetător Anthropic specializat în siguranța AI, a afirmat că dezvoltatorii unor asemenea tehnologii iau în calcul inclusiv rezultate catastrofale.
De ce ar putea deveni periculoasă o inteligență artificială superioară oamenilor
- Una dintre principalele temeri ale cercetătorilor privește apariția unor sisteme capabile să acționeze cu un grad tot mai mare de autonomie.
Riscul teoretic apare dacă un asemenea sistem urmărește obiective care nu mai corespund intențiilor oamenilor și dobândește suficiente capacități pentru a evita mecanismele prin care ar trebui să fie controlat.
Printre scenariile discutate de specialiști se numără folosirea autonomă a instrumentelor informatice, atacurile cibernetice, manipularea oamenilor sau exploatarea infrastructurilor digitale.
Un alt risc este utilizarea deliberată a unor sisteme AI foarte performante de către oameni pentru activități periculoase.
Companiile susțin că investesc în siguranța AI
- Anthropic afirmă, la rândul său, că tratează riscurile inteligenței artificiale cu seriozitate și că dezvoltă unele dintre cele mai stricte mecanisme de siguranță din industrie.
Compania lucrează inclusiv la cercetări de „interpretabilitate”, prin care specialiștii încearcă să înțeleagă mai bine procesele interne ale modelelor AI, și testează sistemele pentru identificarea unor capacități periculoase în domenii precum securitatea cibernetică.
Anthropic a susținut și necesitatea unor mecanisme verificabile prin care companiile din industrie să coordoneze modul în care lansează sisteme AI foarte puternice.
Cursa pentru superinteligență reaprinde dezbaterea despre reglementare
- Demisia lui Jacob Coxon readuce în centrul atenției una dintre cele mai controversate întrebări ale momentului: poate industria inteligenței artificiale să dezvolte sisteme mai puternice decât oamenii și, în același timp, să garanteze că acestea vor rămâne sub control?
Dezbaterea depășește deja laboratoarele tehnologice. Senatorul american Bernie Sanders a reacționat la avertismentele cercetătorului și a anunțat intenția de a susține măsuri pentru oprirea dezvoltării superinteligenței.
Pentru moment, scenariul dispariției omenirii din cauza inteligenței artificiale rămâne o estimare de risc, nu o predicție demonstrată.
Faptul că asemenea avertismente vin chiar de la cercetători care au lucrat direct la dezvoltarea celor mai performante sisteme AI transformă însă problema siguranței într-una dintre marile teme ale cursei tehnologice actuale.
Acest lucru este considerat de companiile din domeniul IA, precum DeepMind, deținută de Google, drept unul dintre posibilii factori declanșatori ai unui scenariu în care IA ar depăși cu mult inteligența umană (fenomen cunoscut sub numele de „superinteligență artificială”), în loc să se limiteze la a o egala (fenomen cunoscut sub numele de „inteligență artificială generală”).
„Cei care dezvoltă IA cred cu tărie că aceasta ne-ar putea ucide pe toți până la sfârșitul acestui deceniu”, a afirmat Coxon într-o postare ulterioară.
Evan Hubinger, coordonatorul echipei de la Anthropic care se ocupă de asigurarea alinierii tehnologiei la obiectivele și valorile umane, a susținut afirmațiile lui Coxon într-o postare ulterioară proprie, deși nu a părăsit compania.
Jacob are dreptate în această privință - noi chiar credem cu tărie că IA ar putea ucide toți oamenii
Evan Hubinger, coordonatorul echipei de la Anthropic
Evan Hubinger a estimat că șansele ca acest lucru să se întâmple sunt mai mari de zece la sută în următorul deceniu și a adăugat că nu există încă un plan privind modul în care IA ar putea fi menținută în concordanță cu obiectivele umane în scenariul superinteligenței.
Elon Musk lansează un nou avertisment cu privire la evoluția inteligenței artificiale
- Miliardarul consideră că tehnologia ar putea ajunge la un nivel atât de avansat încât oamenii să nu o mai poată controla direct. În acest context, companiile sale încearcă să dezvolte sisteme capabile să gestioneze automat inteligența artificială înainte ca aceasta să atingă un asemenea nivel de autonomie.
Nu mai este un secret pentru nimeni că omul de afaceri Elon Musk, acționarul majoritar de la producătorul auto Tesla, compania spațială SpaceX, rețeaua socială X și firma de inteligență artificială xAI, este în fruntea listei celor mai bogați oameni din lume, publicată de revista Forbes.
