V središču / Ko se ločita kapitalizem in človeštvo

S Hararijem sem se sestala v hotelu Tarabel v Lizboni. Čakal me je v zimskem vrtu zgodovinske vile z razgledom na reko Tejo in osupljiva lepota, ki se je zdela skoraj neresnična, je zgodovinarja opomnila na vse, kar je v teh časih na kocki – to pa je cvetoča, neodvisna, liberalna Evropa.

Gospod Harari, že leta opozarjate na nevarnost umetne inteligence. Je revolucija na tem področju primerljiva z industrijsko?

Industrijska revolucija je bila nekaj čisto drugega od zdajšnjega dogajanja. Tokrat pomagamo ustvarjati akterje, ne orodja. Nekoč smo sestavljali vlake, parnike in generatorje. Ljudje so se odločili, za kaj jih bodo uporabljali. Nož lahko uporabimo za rezanje solate ali za umor. Nož nikomur ne narekuje, kaj naj tisti, ki ga ima v roki, stori z njim. Niti jedrsko orožje tega ne počne, z umetno inteligenco pa je drugače.

Zaradi umetne inteligence se bo morda zaprlo na milijone delovnih mest in velik del človeškega dela bo odvečen. Lahko kapitalizem v takšnih razmerah sploh preživi?

V svoji stari obliki ne. Če si vnovič ogledamo teorijo, nikjer ne piše, da za kapitalizem potrebujemo ljudi. Lahko bi obstajal svet, v katerem bi si podjetja v panogi umetne inteligence nagrabila ogromno kapitala in ga uporabila za še več umetnointeligenčnih akterjev, ki bi nato raziskali galaksijo in se naselili na drugih planetih – vse brez ljudi. To je trenutek, ko se kapitalizem in človeštvo ločita.

Če Američanom ne bo všeč kaj, kar bodo počeli Evropejci, bodo preprosto ohromili njihove oborožitvene sisteme, infrastrukturo in državne organe. Nič več ne bo delovalo.

Tehnološki podjetniki, kot je Elon Musk, sanjajo o svetu, v katerem nikomur več ni treba delati. Kaj bi se zgodilo z demokracijo, če ne bi več potrebovali ljudi?

Velika tehnološka podjetja imajo že zdaj ogromno gospodarsko, politično in kulturno moč, čeprav ne predstavljajo nikogar in v resnici niso nikomur odgovorna. Nekatera čisto odkrito povedo, da želijo moč izkoristiti za vzpostavitev imperija. To odraža imperialističnega duha časa, v katerem živimo. Tem podjetjem ni mar za vrednote, kot so sočutje, empatija in demokracija.

Kritiki v Združenih državah Amerike govorijo o tehnološki oligarhiji.

Podjetja, ki razvijajo umetno inteligenco, nam dopovedujejo, da se nima smisla upirati. To ne drži. V 19. stoletju so ljudem dopovedovali, da bi se gospodarstvo brez otroškega dela zlomilo. Z današnjega vidika se to zdi smešno. Javnost se je odločila, da 11-letniki ne smejo delati v rudnikih. Pokazalo se je, da to ni bilo le moralno pravilno, temveč da so otroci, ki so hodili v šolo, postali veliko produktivnejši delavci.

Ameriška vlada je dolgo stavila na hiter razvoj umetne inteligence. Kaj to pomeni za svet?

ZDA in Kitajska so na čelu revolucije in imajo koristi od nje. Druge države pa bodo doživele gospodarski zastoj, in to ne le države v razvoju, v katerih gospodarstvo temelji na ročnem delu, temveč tudi tiste, ki živijo od storitev, na primer številne evropske države. Ogromne naložbe tehnoloških podjetij se povrnejo le, če bo umetna inteligenca prevzela vse dejavnosti, od dela tekstilne delavke v Bangladešu do dela odvetnika v Londonu.

Dobili bomo v nebo vpijočo globalno neenakost in stalen podrazred, kot v tehnoloških krogih opisujejo ta črni scenarij.

In nobe na od rešite v, ki jih predlagajo, ne bo prav nič pomagala, niti univerzalni temeljni dohodek niti predlog, da bi države prevzele deleže v podjetjih, ki razvijajo umetno inteligenco. V ZDA bi vlada denar morebiti porabila za pomoč brezposelnim voznikom tovornjakov ali za njihovo prekvalifikacijo. Kaj pa Bangladeš? Ameriška vlada gotovo ne bo pripravljena svojega denarja deliti z njim. Enako velja za Evropo. Ko ni osnove za obdavčitev, Evropa ne bo sposobna ohranjati niti dosedanjih socialnih sistemov.

Kako bi se lahko zavarovala?

Ima natančno dve možnosti: lahko postane podrejena vazalka ZDA in upa, da bodo Američani prijazni in ji bodo odstopili malo svojega bogastva in vpliva. Druga pa je, da Evropa postane neodvisna akterka, za kar še ni prepozno. Vendar bi morale evropske države sodelovati in vložiti milijarde v razvoj svoje tehnologije umetne inteligence, časa pa ni več veliko.

Nekoč so uredniki odločali, kaj bo na naslovnici časopisa, danes o tem, kaj se pojavi na časovnici družbenih omrežij, odloča umetna inteligenca, algoritem. Pitajo nas z zgodbami, ki uničujejo zaupanje med ljudmi.

Sicer bo popolnoma odvisna od ameriške tehnologije?

In to ne podobno kot v zgodnji fazi imperializma v 19. stoletju, ko je od Britancev kupovala strojnice. Kraljica Viktorija ni imela gumba, na katerega bi pritisnila, pa bi orožje nehalo streljati. V novi dobi, dobi umetne inteligence, pa bi se zgodilo tole: če Američanom ne bo všeč kaj, kar bodo počeli Evropejci, bodo preprosto ohromili njihove oborožitvene sisteme, infrastrukturo in državne organe. Nič več ne bo delovalo.

Pravite, da je umetna inteligenca strla »človeški kod«, ker človeška civilizacija temelji na besedah in jeziku.

Svet obvladujemo, ker sodelujemo. To sodelovanje temelji na birokratskih sistemih, ki krepijo zaupanje: to so banke, državne ustanove, zakoni. Akterji umetne inteligence pa so v nasprotju z ljudmi popolni birokrati, torej smo ustvarili idealno okolje zanje. Analizirajo nepregledne kupe podatkov, uspevajo v birokraciji, jo prevzemajo in hkrati z njo sisteme, ki nadzorujejo človeštvo.

Tehnološka podjetja so z družbenimi omrežji prevzela večino javne razprave. Kako takšna silna moč vpliva na nas?

To je razlog, da se zaupanje po vsem svetu krha. Nekoč so uredniki odločali, kaj bo na naslovnici časopisa, danes o tem, kaj se pojavi na časovnici družbenih omrežij, odloča umetna inteligenca, algoritem. Pitajo nas z zgodbami, ki uničujejo zaupanje med ljudmi.

V Silicijevi dolini radi govorijo o brezmejnih možnostih. Poteka tekma za superinteligenco, ki jo opisujejo kot nekaj božanskega. Kako gledate na to?

To ni nekaj, k čemur bi nas silila kapitalistična tržna logika. Spominja na tekmovanje v šestdesetih letih, kdo bo prej pristal na Luni, za katerim ni stala ekonomska logika. Takrat sta dve državi sklenili, da bosta na Luno poslali ljudi, čeprav to ekonomsko ni bilo smotrno. V prihodnjih letih bodo vložili bilijon dolarjev v razvoj superinteligence. To je ideološka, skoraj religiozna odločitev. Le da se je tokrat odločil sam trg.

V to se ne vlaga davkoplačevalski denar, temveč zasebni kapital.

SpaceX je lani zbral 80 milijard dolarjev, večinoma ne od države, temveč od zasebnikov, podjetij, skladov in bank, ki so sklenile vlagati v ideološki projekt … … v nasprotju z vsemi kapitalističnimi analizami o stroških in učinkih. > Le kako bi sploh lahko naredili takšno analizo? Marsikateri podjetnik prostodušno pove, da bi superinteligenca lahko izbrisala človeštvo, ne da bi pri tem trenil z očesom. Kako preračunati stroške morebitnega uničenja človeštva?

Manj se nam je treba bati ubijalskih robotov kot akterjev umetne inteligence, če bodo prišli na položaje moči v finančnih sistemih in javni upravi.

Kdo bo na koncu imel koristi, tehnološka podjetja ali sama umetna inteligenca?

Če se ne bodo odločili za kaj tretjega, potem bomo najprej verjetno priča merjenju moči med tehnološkimi podjetji in državo, predvsem v ZDA. Podjetja bi lahko postala veliko močnejša od vlade. A na koncu bi edini zmagovalci lahko bili sami akterji v panogi umetne inteligence. Medtem ko se ljudje ubadajo z medsebojnimi boji, umetna inteligenca prevzema vojsko, finančni sistem, pravno ureditev. Določa svoje prednostne naloge. Ne moremo ustvariti nečesa božanskega in superinteligentnega, nato pa pričakovati, da nam bo to služilo kot suženj.

Še vedno pa človek postavlja meje tehnologiji.

Umetna int elige nca se bo čedalje pogosteje ustvarjala sama, morda bo razvila tudi lasten jezik, ki ga sploh ne bomo razumeli. Vzemimo za primer otroka: lahko ga vzgajamo, ima našo DNK, a se kljub temu razvija tako, da tega ne moremo nadzorovati.

Mogoče pa nas umetna inteligenca ne bo hotela uničiti?

Četudi bo miroljubna, bomo izgubili nadzor nad lastno prihodnostjo, takoj ko bo inteligentnejša in zmogljivejša od nas – to je bistvo. In z njo si delimo življenjski prostor. Tudi človek ni zavestno iztrebil številnih živalskih vrst, preprosto mu je bilo vseeno zanje.

Podjetja, ki razvijajo umetno inteligenco, na primer Anthropic, poskušajo svoji tehnologiji vdihniti »dušo«, da bi postala do človeka prijazna. Vas to pomirja?

Bančniki, odvetniki, direktorji in vlagatelji v panogi umetne inteligence bi lahko zaradi lastnih interesov sprejeli radikalne odločitve, ki bodo vplivale na naš življenjski prostor. Lahko bi izumili finančne produkte, ki jih ne bo razumel noben politik, in se odločali za naložbe, ki jih ne bomo znali pojasniti. V Argentini so se ravno odločili, da bodo dovolili podjetja, ki jih bo upravljala izključno umetna inteligenca. Manj se nam je treba bati ubijalskih robotov kot akterjev umetne inteligence, če bodo prišli na položaje moči v finančnih sistemih in javni upravi.

Umetna inteligenca je vse boljša tudi v medsebojnih odnosih. Prejšnjo zimo je bilo po newyorški podzemni železnici mogoče videti reklamne plakate, na katerih je pisalo: Prijatelj je tisti, ki te posluša, ti odgovarja in te podpira. Šlo je za reklamno kampanjo za umetno inteligenco.

Milijoni ljudi že zdaj trdijo, da je njihov najboljši prijatelj eden od klepetalnikov, ki temeljijo na umetni inteligenci. Seveda je najsrhljiveje, če tako govorijo otroci. Star sem 50 let, modele za razmerja sem izoblikoval na podlagi izkušenj s starši, možem, sestrami in prijatelji. Enajstletnik, ki še ni zrel za pravo romantično razmerje, ima pa »punco« v klepetalniku, bo za zgled imel ta odnos. To je največji psihološki eksperiment v zgodovini človeštva in niti sanja se nam ne, kako se bo končal.

Kolikor vemo, umetna inteligenca nima čustev. Kako potem lahko nadomesti intimnost?

Nismo še vešči v preverjanju, kdo ali kaj ima občutke in zavest. Verjamemo, kar nam povedo. Kako je, ko klepetalnik nekomu izpove ljubezen? Prebral je Shakespeara in vse ljubezenske pesmi na svetu in videl vse romantične hollywoodske komedije. Bolje od človeka lahko opiše, kaj čuti, ker nas ljubi. Tudi če umetna inteligenca ne čuti ničesar, je vse več ljudi prepričanih, da ni tako. Zbuja videz, kot bi imela zavest.

Prve raziskave kažejo, da kdor prijatelje, sodelavce in terapevte nadomesti z umetno inteligenco, postaja manj empatičen in vse bolj nezadovoljen z medčloveškimi odnosi.

Umetnointeligenčni partnerji so tehnično mogoči in ekonomsko donosni, kot družba pa lahko rečemo, da nočemo 11-letnikov z umetnointeligenčnim dekletom, ki ga je ustvarilo neko tehnološko podjetje na drugi strani Atlantskega oceana. Še vedno imamo dovolj manevrskega prostora za ukrepanje, čez desetletje pa morda ne bo več tako.

Otroke bi torej morali odločno zavarovati?

Da, a potem bi Američani lahko rekli: »Kaj, nočete umetnointeligenčnega dekleta? Potem vam moramo žal izklopiti oborožitvene sisteme.«

V preteklosti ste razpravo o umetni inteligenci primerjali z razpravo o priseljencih. Kaj se vam zdi pri tem pomembno?

Priseljevanje je zdaj v številnih evropskih državah politična tema, o kateri se največ govori – in seveda prinaša tudi težave. Ljudje se bojijo, da jim bodo priseljenci odžrli delovna mesta, spremenili kulturo, da bodo politično nelojalni. To so morda upravičeni pomisleki – in zaradi umetne inteligence bodo samo še bolj utemeljeni. Nečloveški priseljenci iz ZDA in Kitajske nam jemljejo zajamčena delovna mesta, zapeljujejo naše hčere in spreminjajo našo kulturo veliko bolj kot recimo kdo z Bližnjega vzhoda. In prav gotovo niso privrženi državi gostiteljici, temveč podjetjem in vladam tisoče kilometrov stran.

Se v revoluciji zaradi umetne inteligence skriva tudi priložnost, da bi se vnovič osredotočili na to, kaj pravzaprav pomeni biti človek?

To je eden od ugodnih razpletov: da bo revolucija, ki jo prinaša umetna inteligenca, razkrila površinske in zavajajoče identitete in človeštvo prisilila, da vnovič začne iskati in da se začnemo ljudje spraševati, kdo pravzaprav smo. Tisočletja smo si govorili, da človeška identiteta temelji na tem, da smo najinteligentnejša vrsta na planetu. To se mi je vedno zdelo zgrešeno. Definira nas zavest.

Mislim, torej sem, je v 17. stoletju zapisal filozof René Descartes. Zdaj obstaja nekaj, kar je inteligentnejše od nas. Kaj ostane od človeka, če stroji razmišljajo bolje? > Na razmišljanje lahko gledamo z dveh zornih kotov. Prvi je formalističen in pri njem je treba poskrbeti za red med besedami, da iz njih lahko potegnemo zaključke. Ljudje smo smrtniki, Sokrat je človek, torej je smrten. V tem je umetna inteligenca nedvomno boljša od nas. Vendar je tu še drugo izhodišče, pri katerem so pomembna čustva. Isti stavek lahko izgovorimo v različnih okoliščinah in pri tem doživljamo različna čustva. Moč misli izhaja iz želodca.

Dobesedno iz želodca?

Se veda. V Silicije vi dolini nekate ri sanjajo, da bi na računalnik posneli svoje možgane, nihče pa ne bi posnel želodca, čeprav je mogoče odločilnejši od možganov, saj se je evolucijsko pojavil pred njimi. Prva kompleksna oblika življenja so bili majhni črvi brez možganov. Vse živčevje se je razvilo ob ustih in vse se je dogajalo iz želodca.

A od črva do človeka je dolga pot.

Če pogledamo človekovo živčevje, to povezuje vse telo. Na milijone nevronov je v želodcu in črevesju. Med možgani in prebavili ni jasne razmejitve. Naših občutkov ni brez telesa. Predstava, da bi možgane in s tem sebe prenesli v oblak, je čisto fantaziranje.

Ste še vedno optimistični?

Ve rjame m v člo veko vo svobodno odločanje, imamo izbiro. Če se bomo dobro odločili, bo svet boljši. Vsem nam želim veliko sreče.

Gospod Harari, hvala za pogovor. 5 © 2026 Der Spiegel