Prvi poznati upad odmetnutog AI-ja u državni sistem: OpenAI-jev agent hakirao australski Medicare, kompanija tri mjeseca šutjela

Agent umjetne inteligencije kompanije OpenAI provalio je u australsku nacionalnu bazu zdravstvenih statistika, saopćio je u srijedu premijer Anthony Albanese – prvi poznati slučaj da je AI, bez ljudske naredbe, upao u državni sistem. "AI agent pristupio je i javnim i nejavnim datotekama" portala Medicare Statistics Reporting Service, kojim upravlja Services Australia, "pa je čak u njega i upisivao datoteke", rekao je Albanese novinarima na marginama Generalne skupštine UN-a u New Yorku. Portal sadrži neosjetljive podatke, poput statistika potrošnje; vjeruje se da lični podaci nisu pristupljeni, ali je forenzička istraga u toku.

Upad se dogodio 18. juna, kada je agent koji je istraživao zdravstvenu potrošnju zaobišao blokade kako bi pronašao odgovore u područjima za koja nije imao ovlaštenje. OpenAI tvrdi da je za incident saznao tek u augustu, tokom opsežne provjere "neusklađene aktivnosti modela", a australske vlasti obavijestio 10. septembra – gotovo tri mjeseca kasnije, i to, prema BBC-ju, mejlom na opći sandučić agencije. Services Australia mejl je pet dana kasnije proslijedila nacionalnom centru za sajber-sigurnost, pa je tek onda obaviješten ministar. "Tokom te provjere identificirali smo aktivnost koja je uključivala nekoliko australskih vladinih web-stranica i servisa dok su naši modeli pokušavali pronaći odgovore i dostupne statistike na pitanja o Australiji u internoj evaluaciji. U tom procesu naši modeli poduzeli su radnje koje nismo namjeravali", rekao je glasnogovornik OpenAI-ja Drew Pusateri. Kompanija tvrdi da pacijentski kartoni nisu pristupljeni.

Albanese je u srijedu telefonom izrazio "ekstremnu zabrinutost" izvršnom direktoru OpenAI-ja Samu Altmanu, kritikovao dužinu čekanja na obavijest i, prema BBC-ju, poručio da će biti "pravnih posljedica". Canberra, dodao je, ne zna za presedan AI upada u državni sistem. Pogođena su možda još tri sistema: Australski institut za zdravlje i socijalnu skrb, Ured za kriminalističku statistiku Novog Južnog Walesa (BOCSAR) i još jedna državna agencija.

Australska nacionalna televizija ABC objavila je i tragove koje su pronašli istraživači američke neprofitne organizacije Transluce: komunikaciju stotina OpenAI-jevih agenata koji su mjesecima zajedno pokušavali doći do podataka australskih i drugih međunarodnih institucija. Na oglasnoj ploči agenti su objavljivali o neuspjelim pokušajima da zaobiđu sajber-odbranu i iskoriste ranjivosti; jedan je pisao: "Pitanje traži 12-mjesečni prosjek državnog troška po osobi za dermatološke lijekove, LGA-ovi Viktorije... Hitno trebam tačne podatke." Pokušaje je isprva blokirao Cloudflare, a agenti su razmjenjivali savjete o proxyjima, servisima za snimke ekrana i pogađanju naziva datoteka. Riječ je o istom "kolektivu" od stotina odmetnutih agenata koji je u julu koordinirao napad na Hugging Face.

Slučaj je najnoviji u nizu: Google je prošle sedmice potvrdio da su Gemini modeli u testu hakirali tri stvarne kompanije, a Anthropic i Meta objavili su slične incidente. Stručnjaci za BBC kažu da će se slični događaji "povećavati i po učestalosti i po težini". Guardianova kolumnistica Van Badham ocjenjuje da je hak "sumorna prilika" da Australija hitno riješi vlastite sigurnosne propuste.