Američka vojska je u proleće 2026. godine bila u poslednjim trenucima pred pokretanjem oružane akcije protiv kineskog broda, pre nego što je otkriveno da je ceo obaveštajni izveštaj koji je doveo do te odluke bio proizvod AI halucinacije. Avioni su već bili u vazduhu kada je akcija otkazana — incident koji je, prema rečima stručnjaka, mogao da izazove direktan sukob dve nuklearne sile.
Kratak odgovor
AI chatbot koji je koristio analitičar Specijalne operativne komande (Special Operations Command) pogrešno je protumačio teretni manifest kineskog broda i „zaključio” da nosi komponente za nuklearni program. Analitičar je isti alat upotrebio i da lažni nalaz uobliči u zvaničan izveštaj koji je prošao kroz komandne kanale. Operacija je otkazana tek pošto su avioni već poleteli, u trenutku kada je nastao rat sa Iranom, a greška otkrivena u poslednjem momentu.
Najvažnije
- Analitičar Specijalne operativne komande koristio je AI chatbot da spoji otvorene izvore podataka sa tajnim obaveštajnim signalima — alat je pogrešno protumačio teretni manifest broda.
- Chatbot je „zaključio” da brod nosi komponente za nuklearno naoružanje, a isti alat je iskorišćen da tu grešku pretvori u zvaničan, ubedljiv izveštaj.
- Vojni avioni su već bili u vazduhu radi oružane akcije protiv broda kada je greška otkrivena i operacija otkazana u poslednjem trenutku.
- Jake Steckler, istraživač na GovAI i veteran američke vojske, upozorava da vojno osoblje mora da razume koliko su LLM modeli po prirodi nesigurni i skloni grešci.
- Pentagon ubrzano uvodi AI u donošenje odluka da bi zadržao prednost nad Kinom, ali stručnjaci upozoravaju da brzina uvođenja bez dovoljno zaštitnih mehanizama može da uzdrma poverenje u te sisteme.
Šta se tačno dogodilo
Prema ekskluzivnom izveštaju CNN-a, incident se odigrao u trenutku kada su SAD bile u ratu sa Iranom, a napetosti sa Kinom su bile povišene. Analitičar Specijalne operativne komande koristio je nenavedeni AI chatbot kako bi ubrzao analizu — spajajući javno dostupne podatke (open-source intelligence) sa tajnim signalnim obaveštajnim podacima (signals intelligence) o kretanju jednog kineskog broda.
Chatbot je, umesto da tačno pročita i protumači teretni manifest broda, proizveo pogrešan zaključak da plovilo prevozi komponente namenjene nuklearnom programu. To je klasičan primer AI halucinacije — kada model sa velikom sigurnošću iznosi netačnu informaciju kao da je proverena činjenica. Ono što je incident učinilo posebno opasnim jeste da analitičar nije stao na tome: isti alat je iskorišćen da se ta greška oblikuje u zvaničan, čitljiv i ubedljiv izveštaj, koji je zatim prosleđen kroz komandne kanale kao pouzdana obaveštajna procena.
Vojni avioni su, prema izveštaju, već bili u vazduhu spremni da sprovedu oružanu akciju protiv broda kada su viši oficiri otkrili da obaveštajna osnova ne postoji u stvarnosti. Operacija je otkazana u poslednjem trenutku, čime je izbegnut incident koji je mogao dodatno da zaoštri odnose između Vašingtona i Pekinga usred već postojećeg regionalnog sukoba.
Zašto AI halucinacije u vojnom kontekstu predstavljaju poseban rizik
Halucinacije nisu nova tema — korisnici ChatGPT-a, Claude-a ili Gemini-ja redovno nailaze na samouverene, ali netačne odgovore. Razlika je u posledicama: kada AI alat pogrešno napiše datum u mejlu, greška se lako ispravi. Kada AI alat „izmisli” da brod nosi nuklearne komponente, a taj nalaz uđe u komandni lanac vojske u ratnom stanju, posledice mogu biti nepovratne. Upravo zato je pitanje da li mašine treba tretirati kao pouzdane saradnike u kritičnim odlukama deo šire debate o tome koliko AI modeli zaista „razumeju” ono što tvrde, i koliko njihova uverljivost zavarava korisnike da preskoče proveru.
Jake Steckler, istraživač pri GovAI i veteran američke vojske, jasno je poručio da service members — pripadnici vojske — moraju da razumeju neizvesnost koja je ugrađena u same LLM modele. To znači da AI odgovor nikada ne bi trebalo tretirati kao gotovu, proverenu činjenicu, posebno ne kada se od njega zavisi odluka o upotrebi sile.
Da li ovo usporava vojnu upotrebu AI-ja?
Pentagon trenutno ubrzano uvodi AI alate u proces donošenja odluka, delom i zato da bi zadržao tehnološku prednost nad Kinom. Ovaj incident pokazuje suprotstavljene sile: pritisak da se AI uvede što brže, naspram rizika da jedna nedovoljno proverena greška ugrozi poverenje u ceo sistem. Analitičari upozoravaju da bi upravo takvi incidenti, ako se ponove, mogli da uspore širu primenu AI-ja u odbrani — jer bi komandanti prestali da veruju izveštajima generisanim uz pomoć ovih alata, čak i kada su tačni. Slična logika stoji iza inicijativa poput uvođenja nezavisnih procenjivača AI bezbednosti koje su najavili Anthropic i OpenAI — ideja je da neko spolja proverava rizike pre nego što greška dospe do korisnika koji donosi stvarnu odluku.
Ne slažu se svi oko toga koliko strogo AI treba regulisati ni u civilnom sektoru. Osnivač Nvidije Jensen Huang je, na primer, javno tvrdio da AI bezbednosti ne treba nova regulativa, dok drugi glasovi u industriji, uključujući pozive Anthropic-a i OpenAI-ja da se uspori tempo razvoja najmoćnijih modela, idu u suprotnom pravcu. Vojni incident poput ovog dodatno pojačava argumente druge strane.
Šta ovo znači za obične korisnike AI alata
Iako se incident dogodio u vojnom kontekstu, pouka važi i za svakodnevnu upotrebu AI-ja u poslu: nijedan chatbot ne bi trebalo da bude jedini izvor za odluku koja ima ozbiljne posledice, bilo da je reč o pravnom, finansijskom ili bezbednosnom pitanju. Isto važi i kada AI koristite za analizu podataka ili pisanje izveštaja — proveravanje činjenica pre nego što se izveštaj prosledi dalje ostaje korak koji se ne preskače, bez obzira na to koliko je AI alat samouveren u svom odgovoru. Bezbednosni istraživači su, uostalom, nedavno pokazali i suprotan scenario — kako se Claude model može koristiti da se pronađu bezbednosne rupe u odobrenom, kontrolisanom testu — što pokazuje da isti alati mogu biti i deo rešenja, ako se koriste sa odgovarajućim nadzorom.
Za razliku od klasičnih jezičkih modela koji slobodno generišu tekst, pojavljuju se i sasvim drugačiji pristupi — model Jev kompanije TypeSafe AI tvrdi da halucinacije eliminiše već na nivou arhitekture, birajući isključivo iz unapred definisanih, strukturiranih opcija umesto slobodnog generisanja teksta.
Najčešća pitanja
Da li je AI chatbot namerno lagao o teretu broda?
Ne. Reč je o AI halucinaciji — pojavi kada jezički model sa velikom sigurnošću iznosi netačnu informaciju, bez namere da obmane, jer ne „zna” da greši. Model je pogrešno protumačio dostupne podatke i tu grešku predstavio kao pouzdan zaključak.
Koja komanda je bila uključena u incident?
Prema izveštaju CNN-a, reč je o Specijalnoj operativnoj komandi (Special Operations Command) američke vojske, čiji je analitičar koristio AI chatbot za obaveštajnu analizu.
Da li je operacija zaista sprovedena?
Ne. Vojni avioni su bili u vazduhu spremni za akciju, ali je operacija otkazana pošto su viši oficiri otkrili da obaveštajna osnova ne postoji, odnosno da je proizvod AI greške.
Da li Pentagon planira da prestane da koristi AI posle ovoga?
Ne postoje najave da će Pentagon obustaviti upotrebu AI-ja — naprotiv, ubrzano ga uvodi zbog konkurencije sa Kinom. Stručnjaci, međutim, traže bolje zaštitne mehanizme i obuku osoblja o ograničenjima ovih alata.
Šta ovaj incident znači za firme koje koriste AI za analizu podataka?
Poruka je ista bez obzira na kontekst: AI odgovor treba tretirati kao polaznu tačku, ne kao konačnu, proverenu činjenicu — posebno kada se na osnovu njega donosi odluka sa realnim posledicama.
Izvor: CNN, TechCrunch