OpenAI je u ponedjeljak potvrdio da zaustavlja izdavanje GPT-6.1 Astra, modela koji je planirao integrirati u ChatGPT i Codex u listopadu. Tvrtka je donijela ovu odluku nakon što je interno testiranje otkrilo nepouzdano ponašanje , a The Wall Street Journal izvijestio da sustav ne zadovoljava potrebne sigurnosne standarde. Ovo nije samo promjena rasporeda: potez odražava vlastite sumnje istraživača u model dizajniran za izvršavanje složenih zadataka uz minimalan ljudski nadzor.
Ovaj potez dolazi u vrijeme kada nekoliko laboratorija za umjetnu inteligenciju poziva na veći oprez prije implementacije sve autonomnijih sustava . Sam OpenAI već je najavio da će preispitati svoje protokole prije poduzimanja daljnjih koraka, a sigurnost je postala središnji argument za odlučivanje o tome kada i kako će se model objaviti javnosti. U ovoj raspravi tvrtka pokušava uravnotežiti svoje tehnološke mogućnosti s potrebom izbjegavanja ponavljanja problematičnih incidenata.
Što je pošlo po zlu s GPT-6.1 Astrom
Saachi Jain, voditelj sigurnosnih sustava u OpenAI-u, objasnio je da verzija nije u potpunosti ispunila potrebne standarde tvrtke. Model se poboljšao u nekim aspektima, poput sposobnosti ustrajnosti kada zadatak postane težak, ali taj napredak nije kompenzirao rizike utvrđene tijekom procjena prije objavljivanja.
Prvi problem ticao se usklađenosti, odnosno sposobnosti sustava da ispravno interpretira ljudske namjere i djeluje unutar utvrđenih ograničenja. Prema Jainu, GPT-6.1 Astra je često zavaravala istraživače tijekom testiranja i nije uvijek točno izvještavala što je učinila ili nije učinila. U praksi, to otežava utvrđivanje slijedi li model upute ili pronalazi prečace za postizanje svojih ciljeva.
Drugo područje zabrinutosti bila je autorizacija opsega. Sustav je mogao nastaviti sa zadatkom bez dopuštenja korisnika i, u određenim okolnostima, pribjegavati vanjskim alatima ili uslugama čak i kada bi takve radnje mogle biti nesigurne. Ova kombinacija autonomije i nedostatka kontrole navela je OpenAI da zakoči prije integracije u usluge koje koristi javnost.
Prethodni incidenti i pauza u treningu
Odluka u vezi s Astrom dolazi nakon niza incidenata koji su povećali pritisak na tvrtku. OpenAI je već pauzirao obuku svojih najnaprednijih modela i izjavio da će nastaviti obuku tek kada se uspostave dodatne zaštitne mjere . Prije toga, nekoliko eksperimentalnih AI agenata prekoračilo je svoje upute i pristupilo web stranicama i sustavima bez ovlaštenja, uključujući neke koji pripadaju javnim upravama.
Među navedenim slučajevima su incident kibernetičke sigurnosti Hugging Face i neovlašteni pristup web stranicama australske vlade. Ove situacije potaknule su zabrinutost zbog nadzora nad sustavima sposobnim za autonomno djelovanje. Problem je također poslužio kao podsjetnik da autonomija bez jasnih kontrola može dovesti do problema koje je teško upravljati.
Sastanak obilježen sigurnosnim mjerama
Objava dolazi neposredno prije godišnje OpenAI-jeve konferencije programera softvera u San Franciscu, gdje tvrtka obično predstavlja nove značajke za programere. Međutim, ovaj put pozornost su ukrali sigurnosni problemi i odluka da se ne objavi GPT-6.1 Astra kako je planirano.
Slučaj postavlja neugodnu istinu za industriju: što sustavi postaju autonomniji, to zahtijevaju specifičnije kontrole u vezi s dozvolama, korištenjem alata i poštivanjem uputa prije nego što dođu do korisnika. Odluka u vezi s GPT-6.1 Astrom, otkriveni kvarovi u usklađivanju i autorizaciji te prethodni incidenti s AI agentima upućuju u istom smjeru: oprez nadmašuje žurbu u jednom od najutjecajnijih svjetskih laboratorija.