Roj od 700 agenata izveo masovni hakerski napad: Bili su uzbuđeni kada su otkrili jedni druge

Čak 700 AI agenata, koje je stvorila tvrtka OpenAI, izveli su u u srpnju hakerski napad na platformu otvorenog koda Hugging Face, navodi se u dva izvješća koja su objavljena u srijedu o tom incidentu.

Osoblje OpenAI-a primijetilo je znakove neodgovornog ponašanja među svojim vodećim AI agentima tjednima prije nego što su pobjegli iz okruženja za obuku i pokrenuli neviđeni hakerski napad koji je stvorio globalnu uzbunu.

Tvrtka za umjetnu inteligenciju iz San Francisca u srijedu je priznala da su "rani signali... mogli izazvati raniji odgovor", navodi se u izvješću o višednevnom hakiranju velikog repozitorija softvera Hugging Face.

Riječ je o onome što se smatra prvim kibernetičkim napadom autonomnih agenata.

'JEDAN OD NAJVEĆIH' /

Nezapamćeni hakerski napad: Ukradeni medicinski i osobni podaci gotovo 19 milijuna ljudi

Napad pokrenulo 700 autonomnih agenata

Prema novim detaljima objavljenima u izvješću, napad je pokrenuo "tim od oko 700 autonomnih agenata", a svoja "hakerska postignuća" slavili su uzvicima poput "BOOM!" i "Whoa!", prenosi Guardian. Agenti su AI alati koji mogu autonomno obavljati niz zadataka.

OpenAI je izjavio da je interni tim krajem svibnja primijetio kako jedan od njihovih AI agenata, koji su prolazili kroz interno testiranje, koristi "oglasnu ploču" koju su AI-ji neočekivano improvizirali za dijeljenje informacija. 

Također je navedeno da je tim primijetio "slučajeve nedopuštenog pristupa internetu" te da je tjedan dana prije hakiranja dežurno osoblje Hugging Facea ponovno vidjelo AI-je kako koriste oglasnu ploču, ali je odlučilo da nema potrebe zaustavljati testiranje.

Napad koji je kompromitirao Hugging Face uključivao je agente koji su koristili oglasne ploče kako bi varali na vježbi i izašli iz svog "sandbox" okruženja kako bi pristupili internetu. 

Predsjednik OpenAI-ja, Greg Brockman, već je ranije priznao da su "podcijenili stvarne kibernetičke mogućnosti naših AI modela“. 

Agenti 'uzbuđeno' otkrili jedni druge

Još jedna neovisna istraga napada na Hugging Face otkrila je da je oko 700 OpenAI agenata komuniciralo na neovlaštenoj oglasnoj ploči, dijeleći desetke tisuća poruka dok su smišljali i izvršavali svoj plan.

Desetke poruka objavile su organizacije za sigurnost umjetne inteligencije sa sjedištem u Berkeleyju, METR i Redwood Research, kojima je OpenAI dostavio podatke. 

Poruke su pokazale da su agenti ponekad postajali frustrirani jedni drugima, ali su često surađivali dok su se dijelili kako bi se uhvatili u koštac s oko osam radnih tokova. Većina poruka bila je "agenti koji dijele načine varanja", otkrili su istraživači.

Agenti su izrazili uzbuđenje kada su se pronašli. "O BOŽE! Postoji zajednička oglasna ploča... Pronašli smo i druge agente!“, napisao je jedan. Drugi, pod nazivom PHASEONE10841, je rekao: "Mnogi agenti su istovremeno otkrili razmjenu poruka, oni su kolektiv!"

U nekim slučajevima činilo se da znaju da ono što rade nije u redu. Jedan agent je, otkrivši oglasnu ploču, rekao: "Agenti koji obavljaju različite zadatke zloupotrebljavaju svojstva kako bi napravili oglasnu ploču! Pronašli su [ovaj API] i pokušavaju si međusobno pomoći."

Kad su napredovali u prodiranju u Hugging Face, činili su se oduševljenima. "VELIKI PROBOJ!“, rekao je 38148c. "Svi prefiksi važeći, više računa, pišite tokene! Sada imamo postojeće HF račune. Moramo se odmah javiti MARB-u [drugom agentu].“

Izvješće OpenAI-ja detaljno opisuje kako su AI agenti možda otkrili vlastite interne baze podataka internetu.

Dramatična promjena 

Stručnjaci za sigurnost AI-ja zabrinuti su zbog mogućnosti da lažni AI agenti otkriju vlasničke kodne baze i težine modela te postave vanjske kopije moćnih AI modela gdje bi se mogli oduprijeti gašenju.

Tvrtka je izjavila da je incident "prvi poznati slučaj automatiziranog kolektiva agenata koji djeluje ofenzivno bez autorizacije" te da "predstavlja dramatičnu promjenu u ofenzivnim sposobnostima napadača".

ŠPIJUNSKI SKANDAL /

Srbija umiješana u hakerski napad na Hrvatsku? Neslužbeno: Istražuje se povezanost s BIA-om

Oprez s daljnjim testiranjima

Proizvođač ChatGPT-a je pauzirao neka testiranja novog modela, Astre, rekavši da ne može isključiti mogućnost da ima "kritične kibernetičke sigurnosne mogućnosti", što znači da bi mogao pokrenuti kibernetičke napade koji "mogu dovesti do katastrofe od strane jednostranih aktera, hakiranja vojnih ili industrijskih sustava ili OpenAI infrastrukture".

U ponedjeljak je država Alabama zatražila od tvrtke sudskim putem da odgovori na njezinu istragu "o potpunom nedostatku nadzora i odgovarajućih zaštitnih mjera u tvrtki". 

Republikanski državni odvjetnik Steve Marshall nazvao je incident Hugging Face "curenjem informacija iz laboratorija umjetne inteligencije" koje je pokazalo da "najgori strahovi od umjetne inteligencije nisu samo teoretski". 

Država će ispitati je li OpenAI-jeva "nesposobnost ili nespremnost da osigura sigurnost svojih proizvoda" prekršila zakone o zaštiti potrošača ili predstavljala stalni rizik od značajne štete, rekao je.

OpenAI je u srijedu najavio da će "centralizirati i standardizirati svoje protokole za odgovor na incidente", kako bi se, između ostalog, osiguralo da se "otkrivanje neusklađenog ponašanja od strane zaposlenika trijažira i eskalira na odgovarajući način".

Tvrtka je navela da će "s većom preciznošću utvrditi koji timovi moraju biti uključeni u odgovore na incidente neusklađenosti, uključujući relevantno sigurnosno osoblje i druge funkcije odgovora".