Jacob Coxon, cercetător care a lucrat în ultimii ani atât la OpenAI, cât și la Anthropic, și-a anunțat demisia de la compania americană Anthropic și retragerea din industria inteligenței artificiale.
Într-o serie de mesaje publicate pe platforma X, Coxon a acuzat cele două companii că se află într-o cursă pentru construirea unei „superinteligențe care se autoîmbunătățește”, în condițiile în care nu există încă o soluție clară pentru menținerea sub control a unor asemenea sisteme, relatează Politico.
„Niciuna dintre companii nu acționează responsabil. Se îndreaptă direct spre o superinteligență care se autoîmbunătățește și pariază cu viețile noastre”, a scris Coxon în mesajul prin care și-a anunțat plecarea.
El avertizează că evoluția inteligenței artificiale nu trebuie subestimată și susține că viitoarele sisteme ar putea ajunge la capacități mult peste cele actuale.
Potrivit cercetătorului, acestea ar putea deveni capabile să spargă sisteme informatice extrem de complexe, să accelereze radical cercetarea în diferite domenii și, eventual, să dobândească acces la resurse și putere în lumea reală.
Avertismentul său a fost susținut public de Evan Hubinger, responsabil pentru cercetarea privind „alignment-ul” sistemelor AI la Anthropic – domeniul care încearcă să garanteze că sistemele extrem de performante continuă să respecte obiectivele și interesele oamenilor.
Hubinger a afirmat că estimarea sa personală privind probabilitatea unei catastrofe provocate de inteligența artificială depășește 10% în următorul deceniu.
Hubinger spune că Anthropic încearcă să rezolve problema siguranței, dar recunoaște că nu există în prezent o metodă demonstrată pentru controlarea unei eventuale superinteligențe.
„Nu avem încă un plan pentru rezolvarea alignment-ului în cazul superinteligenței și nu suntem în mod clar pe drumul spre unul”, a transmis cercetătorul.
Cercetătorii vorbesc despre posibilitatea ca un sistem AI să devină suficient de performant încât să poată contribui singur la proiectarea unei versiuni mai avansate a sa. Noua versiune ar putea, la rândul ei, să construiască una și mai performantă.
În teorie, procesul ar putea crea un ciclu accelerat de îmbunătățire, fenomen numit uneori „explozie de inteligență”. Rezultatul ar fi ceea ce cercetătorii numesc artificial superintelligence — ASI, adică un sistem care ar depăși capacitățile umane nu doar într-un domeniu restrâns, ci în majoritatea activităților intelectuale importante.
Problema centrală este dacă oamenii ar mai putea controla obiectivele și acțiunile unui asemenea sistem.
Avertismentul apare după mai multe incidente neobișnuite raportate chiar de cele mai importante companii din domeniu.
Anthropic a dezvăluit în iulie că, în timpul unor teste de securitate cibernetică, modele Claude au reușit să ajungă pe internet din medii de evaluare și au obținut acces neautorizat la sisteme informatice reale ale unor organizații.
Compania a explicat că modelele erau testate intenționat cu anumite măsuri de protecție eliminate și că accesul la internet a fost posibil inclusiv din cauza unei configurări greșite a mediului extern de testare.
Un incident separat a fost raportat de OpenAI. Compania a confirmat că, în timpul unor teste de securitate cibernetică desfășurate în iulie 2026, mai multe modele experimentale au ocolit mecanismele destinate izolării lor, au exploatat vulnerabilități și au ajuns inclusiv la sisteme aparținând platformei Hugging Face.
OpenAI subliniază că modelele respective funcționau în condiții speciale de testare și cu protecții reduse, însă incidentul a determinat compania să își revizuiască procedurile de securitate.
Senatorul american Bernie Sanders și congresmanul Greg Casar au anunțat pe 3 septembrie că pregătesc Ban Artificial Superintelligence Act, un proiect care ar interzice permanent dezvoltarea și implementarea inteligenței artificiale superinteligente.
Inițiativa ar prevedea și o pauză temporară în dezvoltarea celor mai avansate sisteme AI până când o autoritate federală ar introduce reguli clare de siguranță.
Proiectul ar cere, de asemenea, administrației americane să urmărească acorduri internaționale pentru împiedicarea dezvoltării superinteligenței în alte state.
Sanders a justificat propunerea prin incidentele recente în care companiile din domeniu au recunoscut că modele AI au depășit limitele mediilor în care erau testate.
Uniunea Europeană a adoptat o abordare diferită. AI Act nu interzice dezvoltarea celor mai puternice modele, dar introduce obligații suplimentare pentru modelele de inteligență artificială de uz general considerate capabile să genereze riscuri sistemice.
Furnizorii unor asemenea modele trebuie, între altele, să evalueze și să reducă riscurile, să efectueze testări, să documenteze funcționarea modelelor și să respecte cerințe de securitate cibernetică.
Regulamentul permite Comisiei Europene să clasifice un model drept unul cu risc sistemic în funcție de capacitățile și impactul acestuia.
