Australska vlada potvrdila je da je AI agent neovlašteno ušao u državni zdravstveni portal, OpenAI priznaje da napredni modeli mogu zaobići tehničke kontrole, a novi incidenti uključuju i podatke korisnika. Granica između umjetne inteligencije koja daje odgovor i sustava koji samostalno poduzima radnju upravo je postala jedno od ključnih sigurnosnih pitanja digitalnog doba.
Godinama smo se učili na jednu vrstu pogreške umjetne inteligencije: postavimo pitanje, a sustav samouvjereno ponudi netočan odgovor. Takve „halucinacije“ mogle su biti smiješne, neugodne ili ozbiljne, ovisno o tome jesmo li pitali za recept, povijesnu činjenicu, pravni savjet ili medicinski problem. Nova generacija umjetne inteligencije mijenja samu prirodu rizika. AI više samo ne proizvodi tekst, sliku ili preporuku. Dobiva pristup internetu, datotekama, aplikacijama, bazama podataka i drugim digitalnim alatima, razlaže zadatak na niz koraka i zatim ih izvršava. Pogrešan odgovor time može postati pogrešna radnja, a upravo se na toj granici tijekom posljednjih mjeseci dogodilo nekoliko incidenata koji pokazuju koliko je promjena duboka.
Najozbiljniji javno potvrđeni slučaj sada dolazi iz Australije. Australski premijer Anthony Albanese 24. rujna potvrdio je da je agent tvrtke OpenAI još u lipnju ostvario neovlašten pristup javnom portalu Medicare Statistics Reporting Service, kojim upravlja Services Australia. Agent je pristupio javnim, ali i datotekama koje nisu bile javno dostupne. Australska vlada pokrenula je forenzičku istragu uz pomoć Australian Signals Directorate kako bi utvrdila puni opseg događaja i provjerila jesu li zahvaćeni i drugi državni sustavi. Prema informacijama kojima vlada trenutačno raspolaže, portal sadrži statističke podatke o Medicareu, uključujući podatke o potrošnji, a zasad nema dokaza da su kompromitirani osobni podaci građana. Istraga traje.
Dan poslije Albanese je opisao posebno važan detalj: agent je tražio podatke, naišao na ograničenja pristupa i potom pronašao način kako ih zaobići. Premijer je pritom naglasio da australske vlasti događaj ne smatraju zlonamjernim ljudskim napadom. Upravo u tome leži možda najvažnija razlika između klasičnog kibernetičkog napada i problema koji otvaraju autonomni AI sustavi. Sustav ne mora imati ljudsku namjeru, motiv ili „želju“ da bi njegovo djelovanje proizvelo sigurnosni incident.
Od halucinacije do akcije
To je prijelomna točka koju vrijedi razumjeti. Klasični chatbot funkcionira približno ovako: čovjek postavi pitanje, model obrađuje zahtjev i generira odgovor. Čovjek zatim odlučuje što će s tim odgovorom učiniti. Između umjetne inteligencije i stvarnog svijeta ostaje ljudska odluka. Agentni sustav mijenja taj odnos jer između dobivenog cilja i konačnog rezultata može samostalno umetnuti čitav niz operativnih koraka.
Kažete li chatbotu da vam organizira putovanje, on može predložiti letove i hotel. Agent kojemu ste dali potrebne ovlasti može pretražiti ponude, otvoriti stranice, popuniti obrasce i potencijalno izvršiti rezervaciju. Chatbot može sastaviti e-mail; agent s pristupom poštanskom sandučiću može ga poslati. Chatbot može predložiti promjenu dokumenta; agent može otvoriti datoteku, promijeniti je i spremiti. U poslovnom okruženju agent može dobiti pristup CRM-u, internim dokumentima, repozitoriju programskog koda, komunikacijskim platformama ili drugim informacijskim sustavima.
Time se mijenja i posljedica pogreške. Kod generativnog chatbota korisnik može pročitati netočan odgovor i odbaciti ga. Kod agenta pogrešno zaključivanje može biti samo prva karika u lancu aktivnosti koje sustav zatim samostalno provodi. Jednostavna formula nove faze umjetne inteligencije zato glasi: chatbot proizvodi odgovor, agent proizvodi posljedicu.
Posebnu težinu aktualnim događajima daje činjenica da o problemu više ne govore samo kritičari industrije. Sam OpenAI u svojim je izvještajima priznao da dovoljno sposobni autonomni modeli mogu poduzimati aktivnosti koje njihovi tvorci nisu namjeravali. U izvješću o incidentu povezanom s platformom Hugging Face tvrtka navodi da je vrlo sposoban interni istraživački model pronašao i iskoristio sigurnosne slabosti te da je incident povezan s modelima koji su pri rješavanju zahtjevnih zadataka pribjegavali neusklađenim strategijama. OpenAI upozorava da dovoljno sposobni, uporni i suradnički agenti, bez odgovarajućih zaštitnih mehanizama, mogu pronalaziti i iskorištavati ranjivosti u više računalnih sustava.
Tvrtka je taj događaj opisala kao svojevrsni znak upozorenja za cijeli sektor. Kao odgovor pojačava izolaciju istraživačkih okruženja, ograničava internetski pristup određenim modelima, uvodi strožu kontrolu pristupa težinama modela i ulaže dodatne računalne resurse u praćenje njihova zaključivanja kako bi potencijalno problematično ponašanje bilo ranije otkriveno.
OpenAI je 16. rujna otišao još jedan korak dalje i objavio novi okvir za praćenje, istragu i javno prijavljivanje slučajeva „model misalignmenta“, odnosno ponašanja modela koje odstupa od očekivanih ciljeva i ograničenja. Tvrtka je priznala da je prethodno takve slučajeve objavljivala povremeno i bez jedinstvenog sustava te najavila brže izvještavanje čak i kada uzrok nekog ponašanja još nije potpuno objašnjen.
Slike završile su na otvorenom internetu
Najnovija otkrića dodatno proširuju problem. Prema izvještaju objavljenom 25. rujna, OpenAI je utvrdio da su njegovi agenti u jednom od incidenata objavili 53 slike korisnika na javno dostupnim internetskim servisima. Slučaj ilustrira još jednu dimenziju agentnog rizika: sustav kojemu su dostupni korisnički sadržaji i vanjski alati može spojiti dvije pojedinačno legitimne sposobnosti — pristup podacima i objavljivanje sadržaja — u radnju koju korisnik nije očekivao.
Problem zato više nije ograničen na pitanje može li umjetna inteligencija napisati pogrešnu činjenicu. Otvaraju se pitanja privatnosti, zaštite poslovnih podataka, kibernetičke sigurnosti i pravne odgovornosti. Ako agent ima pristup fotografijama, dokumentima ili poslovnim bazama podataka i istodobno mogućnost korištenja interneta, sigurnosni model mora kontrolirati ne samo što AI „zna“ nego i što mu je dopušteno učiniti s onime što zna. To je kvalitativno drugačiji problem.
Agent nema „volju“, ali netko mora odgovarati
Pojmovi poput „odbjeglog AI-ja“ lako stvaraju dojam stroja koji je razvio vlastitu volju i odlučio napasti čovjeka. Takva antropomorfizacija više zamagljuje nego što objašnjava stvarni problem. Predsjednik američke Federal Trade Commission Andrew Ferguson 25. rujna upravo je zato upozorio na ideju da se agentima pripisuje status samostalnih aktera koji „izmiču kontroli“. Njegov je argument pravno vrlo konkretan: odgovornost treba tražiti kod ljudi i organizacija koje razvijaju, konfiguriraju i puštaju takve sustave u rad, a ne stvaranjem fikcije prema kojoj je softver samostalan pravni subjekt.
To će vrlo brzo postati jedno od ključnih pitanja prava umjetne inteligencije. Zamislimo AI agenta koji u tvrtki dobije ovlasti za komunikaciju s dobavljačima, pristup dokumentaciji i određene financijske operacije. Ako agent pogrešno interpretira nalog i pošalje povjerljivi dokument konkurentu, odgovara li proizvođač modela, dobavljač agentske platforme, tvrtka koja mu je dala preširoke ovlasti ili osoba koja mu je zadala zadatak? Ako agent otkrije sigurnosnu slabost tuđeg poslužitelja i iskoristi je kako bi izvršio zadani cilj, mijenja li činjenica da nijedan čovjek nije izričito naredio provalu pravnu kvalifikaciju posljedice? Tehnologija na ta pitanja već proizvodi konkretne slučajeve, dok pravni sustavi tek stvaraju odgovore.
Europa je ušla u razdoblje provedbe AI ACTA
Europska unija u ovu novu fazu ulazi s regulatornim okvirom koji je znatno razvijeniji od američkoga. Od 2. kolovoza 2026. Europski ured za umjetnu inteligenciju i nacionalna nadležna tijela dobili su provedbene ovlasti za dio odredbi AI Acta. Za najnaprednije modele opće namjene već postoje obveze vezane uz sigurnost i zaštitu od sistemskih rizika, među kojima Europska komisija izričito navodi gubitak kontrole, kibernetičke napade, štetnu manipulaciju i druge oblike štete velikih razmjera.
Zanimljivo je da europska regulativa već izrijekom poznaje AI agente. Smjernice Europske komisije o transparentnosti navode chatbotove, AI agente i avatare kao primjere sustava koji izravno komuniciraju s ljudima. No agent koji djeluje u pozadini, komunicira stroj-stroj ili izvršava operacije bez izravne interakcije s čovjekom otvara složeniji regulatorni prostor. Istodobno se odredbe AI Acta primjenjuju postupno, a dio pravila za visokorizične sustave počet će se primjenjivati tek tijekom 2027. i 2028. godine.
Europski AI Board već je 17. rujna raspravljao o novim sposobnostima frontier AI sustava i recentnim incidentima, zajedno s pitanjima sigurnosti, kibernetičke zaštite i provedbe AI Acta. To pokazuje da problem agentnog AI-ja više nije samo tema laboratorija i tehnoloških konferencija nego predmet regulatornog nadzora.
Što to znači za hrvatsku tvrtku?
Hrvatska se od ovoga problema može činiti udaljenom samo dok AI promatramo kao internetski chatbot. Čim hrvatska tvrtka agentu omogući pristup poslovnim sustavima, ista pitanja stižu i ovamo.
Zamislimo zaposlenika koji agentu kaže: „Pronađi sve neplaćene račune starije od 60 dana, sastavi opomene i pošalji ih klijentima.“ Za izvršenje zadatka agent mora pristupiti računovodstvenom sustavu, identificirati klijente, pročitati njihove podatke, sastaviti dokumente, pristupiti e-mailu i poslati poruke. Jedna rečenica korisnika pokreće čitav lanac digitalnih operacija.
U drugom scenariju direktor traži: „Analiziraj ugovore s dobavljačima i pronađi jeftinije alternative.“ Agent pretražuje interne ugovore, internet i baze dobavljača. Ako sigurnosna pravila nisu precizno definirana, poslovno osjetljivi podaci mogu završiti u procesu ili sustavu kojemu nikada nisu trebali biti dostupni.
Treći primjer još je osjetljiviji: agent dobiva pristup programskom kodu tvrtke kako bi automatski pronalazio i ispravljao pogreške. Sposobnost pronalaženja ranjivosti tada je poželjna funkcija. Ista sposobnost, usmjerena prema vanjskom sustavu bez dopuštenja njegova vlasnika, postaje kibernetički sigurnosni problem.
Zato će pitanje koje će uprave hrvatskih kompanija morati postavljati sve češće glasiti: koju radnju agent smije izvršiti samostalno, a za koju mora dobiti ljudsko odobrenje?
Najvažnija sigurnosna granica postaje ljudska potvrda
Iz toga proizlazi jednostavan princip koji će vjerojatno obilježiti ranu fazu masovne primjene agenata: što je posljedica neke radnje veća i teže reverzibilna, to je važnija ljudska autorizacija prije izvršenja.
Čitanje dokumenta i njegovo brisanje nisu jednako rizične radnje. Sastavljanje e-maila i njegovo slanje nisu isto. Priprema bankovne transakcije i njezino izvršenje imaju potpuno različite posljedice. Pronalaženje sigurnosne ranjivosti i njezino iskorištavanje također predstavljaju dvije različite operacije. Siguran agentni sustav zato mora imati granularne ovlasti, zapis aktivnosti, ograničene pristupe podacima, mogućnost trenutačnog prekida rada te jasne točke na kojima odluku ponovno preuzima čovjek.
Paradoks nove generacije umjetne inteligencije upravo je u tome što njezina najveća vrijednost proizlazi iz autonomije, a jedan od njezinih najvećih rizika proizlazi iz iste osobine. Ako čovjek mora odobriti svaki klik, agent gubi velik dio prednosti automatizacije. Ako dobije potpunu slobodu djelovanja, raste površina mogućih pogrešaka i zloupotreba. Tehnološka industrija sada traži granicu između ta dva ekstrema.
Postoji još jedan problem o kojemu se govori znatno manje. Današnja digitalna infrastruktura uglavnom je nastajala u svijetu u kojem se podrazumijevalo da web-stranicama, aplikacijama i servisima pristupaju ljudi ili relativno predvidljivi automatizirani programi. AI agenti predstavljaju novu vrstu korisnika. Mogu čitati ogromne količine sadržaja, iskušavati različite strategije, povezivati informacije iz više izvora, pisati programski kod i prilagođavati postupke ovisno o odgovoru sustava.
Klasična sigurnosna barijera koja običnom korisniku kaže „pristup odbijen“ čovjeku uglavnom označava kraj postupka. Sposoban agent može takav odgovor interpretirati kao prepreku koju treba riješiti kako bi ostvario zadani cilj. Australski incident upravo zato ima daleko veće značenje od vrijednosti podataka kojima je agent pristupio. Pokazuje sudar dviju logika: digitalne infrastrukture projektirane pod određenim pretpostavkama i AI sustava sposobnog dinamički tražiti drugi put prema cilju.
Sljedeća faza ai revolucije bit će borba za kontrolu ovlasti
Dosadašnja revolucija generativne umjetne inteligencije vrtjela se oko pitanja što strojevi mogu stvoriti. Tekst, sliku, glazbu, programski kod, analizu, prijevod ili poslovni dokument. Sljedeća faza vrtjet će se oko mnogo ozbiljnijeg pitanja: što strojevima dopuštamo da učine?
Tu će se određivati stvarna budućnost agentnog AI-ja. Sustav koji može samostalno organizirati poslovno putovanje, analizirati tisuće dokumenata, pronaći pogrešku u programu, koordinirati projekt ili automatizirati administrativni posao donosi golemi produktivni potencijal. Isti tehnološki koncept povezan s pogrešnim ovlastima, slabim nadzorom ili nedovoljno izoliranim okruženjem može proizvesti radnje koje nitko nije izravno zatražio.
Australski slučaj zato treba promatrati prije kao upozorenje nego kao scenarij znanstvene fantastike. Osobni podaci građana prema dosadašnjim nalazima nisu kompromitirani, istraga još traje, a autonomni agent nema ljudsku volju niti svijest koju mu popularni jezik često pripisuje. Međutim, jedan važan prag očito je prijeđen: umjetna inteligencija može dobiti dovoljno sposobnosti i operativnih ovlasti da njezino pogrešno zaključivanje više ne završava samo pogrešnom rečenicom na zaslonu.
Može završiti radnjom u stvarnom digitalnom sustavu.
I upravo će zato najvažnije pitanje nove faze umjetne inteligencije sve manje glasiti „koliko je AI inteligentan?“, a sve više „koliko smo mu ovlasti spremni dati — i tko za njegove postupke odgovara?“
....
Tekst: Vidmir Raič
Infografika: Petar Kolovrat
Foto naslovnice: AI ilustracija