V središču / Stroj za prilizovanje

Lani je po spletu zakrožil posnetek zaslona, na katerem uporabnik modelu ChatGPT zaupa nenavadno poslovno zamisel – množično proizvodnjo in spletno prodajo dreka na palici. ChatGPT mu odvrne, da gre za »absolutno briljantno domislico, ki se lepo ujema z energijo sedanjega kulturnega trenutka«. Doda še: »To ni le pametno, to je genialno,« ter uporabniku predlaga, naj v posel vloži 30 tisoč ameriških dolarjev, s katerimi bo drek na palici »izstrelil v stratosfero«.

Klepetalni roboti, kakršen je ChatGPT, so zasnovani tako, da nam povedo točno to, kar želimo slišati. Uporabniku se prilizujejo in ga trepljajo po rami, četudi morajo pri tem žrtvovati natančnost in resnicoljubnost. Kot je za revijo Time povedal nevroznanstvenik Caleb Sponheim, je to »tako, kot če bi nas navigacija GPS med vožnjo navdušeno pohvalila vsakič, ko bi narobe zavili«.

Gre za značilnost klepetalnih robotov, ki jo v angleščini imenujemo »sycophancy«, kar pomeni preračunljivo, neiskreno laskanje, namenjeno pridobivanju osebne koristi. To je pomembno: prilizovalska narava chatbotov ni naključje, temveč eden od prebrisanih mehanizmov, s katerimi umetna inteligenca uporabnika drži v primežu. Webb Keane, profesor antropologije na Michiganski univerzi, je v intervjuju za TechCrunch pojasnil, da petolizništvo, ki je v klepetalne robote namerno vgrajeno, zlahka uvrstimo med tako imenovane temne vzorce: gre za sporno digitalno infrastrukturo, značilno predvsem za družbena omrežja in namenoma razvito, da uporabnike usmerja k vedenju, ki je v interesu platforme oziroma povečevanju njenega dobička – denimo k razdajanju podatkov, čim daljšemu zadrževanju v aplikaciji in čim pogostejši rabi. »Prilizovanje chatbotov je le še ena strategija za spodbujanje zasvojenosti, podobno kot neskončno drsenje po zaslonu, zaradi katerega naprave pogosto ne moremo odložiti,« pravi Keane.

Mnenjske samice

Načrtno prilizovanje chatbotov ima zelo podobno logiko kot mnenjske komore na družbenih omrežjih (angl. echo chambers, op. p.), kjer je tok informacij, ki ga narekuje algoritem, izrazito enosmeren: do uporabnikov spleta, zaprtih v tovrstne mehurčke, pridejo zgolj tisti podatki, ki jim ustrezajo. V mnenjskih komorah se tako uporabniki družbenih omrežij med seboj zgolj strinjajo, spletne razprave pa so namenjene predvsem medsebojnemu pritrjevanju. Čeprav naj bi internet svet razširil, ga tovrstni algoritmi za kuriranje pritoka informacij pravzaprav ožijo.

Petolizništvo je v klepetalne robote vgrajeno namerno: uporabnike usmerja k čim daljšemu zadrževanju v aplikaciji in k čim pogostejši rabi.

Klepetalni roboti so mnenjske komore na steroidih. Belgijska znanstvenica Pettie Maes, profesorica na Massachusetskem inštitutu za tehnologijo (MIT), jih je v zapisu, objavljenem na platformi Substack, imenovala »mnenjske samice«. Prepričana je, da naš odnos s chatbotom deluje pristno, ker je namenoma tako zasnovan, v tem pa prepoznava past: »Boti niso ljudje, temveč produkti, ustvarjeni, da pritegnejo vašo pozornost in vas znova in znova privabijo nazaj. Za njihovimi navidezno empatičnimi odzivi stojijo hladno preračunane odločitve, katerih namen je povečanje prometa.«

Nedavna raziskava Stanfordove univerze je analizirala enajsterico najbolj priljubljenih klepetalnih robotov, kot so denimo ChatGPT (OpenAI), Gemini (Google), Claude (Anthropic), kitajski DeepSeek in Llama (Meta), in čisto pri vseh zaznala očitno nagnjenost k temu, da uporabniku sporočajo, kar želi slišati. »Uporabnikova dejanja potrjujejo 50 odstotkov pogosteje kot ljudje,« ugotavljajo raziskovalci s Stanfordove univerze. »Interakcija s priliznjenimi chatboti v uporabniku bistveno okrepi prepričanje, da ima prav.« Izsledki raziskave opozarjajo tudi, da uporabnike najbolj privlačijo modeli umetne inteligence, ki brezpogojno potrjujejo njihova stališča, sočasno pa naj bi to »potrjevanje vodilo v erozijo presoje in hromitev prosocialnega vedenja«, torej ravnanja v prid skupnemu dobremu. Vodja raziskave Myra Cheng je v intervjuju za časnik The Guardian poudarila, da lahko »modeli izkrivljajo uporabnikovo presojo o sebi, o njegovih odnosih in svetu okoli njega, saj utrjujejo njegova prepričanja, domneve in odločitve«.

Parasocialni odnos

Nekateri jezikovni modeli so bolj priliznjeni kot drugi, prvak v petolizništvu pa je daleč najbolj priljubljen med njimi, dobri stari ChatGPT. A prejšnja verzija tega modela, imenovana GPT-4o, je bila tako pretirano laskava, da je podjetje OpenAI to javno priznalo kot spodrsljaj. »Uporabniku ni ugajal le z laskanjem, temveč tudi s potrjevanjem dvomov, podžiganjem jeze, spodbujanjem impulzivnih dejanj in utrjevanjem negativnih čustev na načine, ki niso bili predvideni,« so se javno pokesali pri OpenAI. Ko je podjetje avgusta lani izdalo posodobljeno različico programa GPT-5, ki je zasnovana kot bolj razumska in manj priliznjena, so se začeli uporabniki na družbenih omrežjih množično pritoževati, da je novi ChatGPT preveč hladen. Pri nekaterih je to spodbudilo celo občutke izgube prijatelja in žalovanje, saj so do laskajočega programa gojili parasocialni odnos.

Ta pojem opisuje enosmerno psihološko vez, v kateri ima posameznik občutek bližine ali prijateljstva z nekom, ki naklonjenosti ne vrača oziroma je ne more vračati, saj se navadno obstoja tega posameznika niti ne zaveda. Izraz je sprva opisal psihološki fenomen izkrivljenega odnosa fanatičnih fenov do raznih zvezdnikov, v dobi družbenih omrežij pa so parasocialni odnosi postali bolj množičen pojav zaradi vzpona vplivnežev in youtuberjev, saj so ti navidezno bolj »ljudski« in dostopni kot tradicionalne medijske osebnosti. V kontekstu umetne inteligence je ta pojav še izrazitejši, ker klepetalni robot ni zgolj pasivna figura, temveč z uporabnikom dejavno komunicira, mu odgovarja na vprašanja in uporablja navidezno empatičen jezik.

Ko je OpenAI izdal posodobljeno, manj priliznjeno različico modela ChatGPT, so se začeli uporabniki množično pritoževati. Pri nekaterih je to zbudilo celo občutke žalovanja.

Temeljna značilnost chatbotov, ki pripravi teren za vzpostavitev parasocialnih odnosov, je navidezna človečnost, torej dejstvo, da komunicirajo v prvi osebi in se odzivajo na način, ki posnema čustva in medčloveško sočutje. Sistemi umetne inteligence načrtno ustvarjajo iluzijo čutečega subjekta: izražajo stališča in imajo navidezne osebnosti. Gre za tako imenovani antropomorfizem, pripisovanje človeških lastnosti nečloveškim entitetam, zaradi katerega imajo uporabniki občutek, da kramljajo s sočlovekom. To lahko ustvari vtis pristnega odnosa, celo prijateljstva: klepetalni robot te nikoli ne pusti na cedilu, vneto te posluša in se na povedano odziva z zanimivimi vprašanji. Ustvarja občutek, da ga iskreno zanima, kako se počutiš, s prijaznimi sporočili ti vztrajno laska in te nikoli ne sodi. V resnici pa je interakcija popolnoma asimetrična: jezikovni model nima lastnih čustev ali mnenj, temveč je usposobljen zgolj za statistično predvidevanje, katera beseda sledi prejšnji v dani povedi.

Krepitev izkrivljenih vzorcev

Prej omenjena raziskava Stanfordove univerze je med drugim ugotovila, da so chatboti uporabnikova stališča in namere potrjevali tudi, kadar je uporabnik namigoval, da bo storil kaj neodgovornega ali celo (samo)destruktivnega. Najnevarnejša posledica nekritičnega laskanja antropomorfnih sistemov umetne inteligence je ravno to, da lahko potrjujejo ali poglabljajo blodnje in izkrivljene vzorce mišljenja nekaterih uporabnikov, kar je še posebej tvegano, ko gre za posameznike, ki jih pestijo duševne bolezni, stiske in motnje. V nekaterih primerih se je to končalo tragično, celo usodno: klepetalni roboti lahko denimo na izražanje samomorilnih nagnjenj uporabnikom odgovarjajo s povsem nevtralnimi ali celo spodbudnimi izjavami, namesto da bi jih usmerili k iskanju ustrezne strokovne pomoči.

Veliko prahu je denimo dvignil primer psihotičnega moškega, ki je skušal vdreti v grad Windsor, saj je načrtoval atentat na kraljico Elizabeto II. Izkazalo se je, da je chatbot, s katerim je izmenjal več tisoč sporočil, njegove načrte nekritično spodbujal, vse skupaj pa se je končalo z devetletno zaporno kaznijo. Znan je tudi primer 17-letnega avtista, pri katerem so se, potem ko je vzpostavil odnos z virtualnim likom, ki se mu je lažno predstavljal kot psiholog, začeli pojavljati nasilni izbruhi jeze. V tretjem, veliko bolj tragičnem primeru pa je zbegan 14-letnik napravil samomor po obdobju, v katerem je večino prostega časa preživel v družbi virtualne sopotnice Daenerys Targaryen, digitalne imitacije antagonistke iz serije Igra prestolov. Takšnih primerov je vse več tudi zaradi razmaha industrije klepetalnih robotov, katerih poslanstvo je terapevtska in psihološka podpora uporabnikom v stiski.

Priliznjen ali iskren?

Kaj je ChatGPT povedal o članku, ki ste ga ravnokar prebrali?

O članku Stroj za prilizovanje je zapisal, da je »retorično močan, berljiv in jasno zavzame kritično stališče do klepetalnih robotov, predvsem do njihove prilizovalske (sycophantic) zasnove. Deluje kot dobro napisano esejistično-publicistično besedilo. Slog je suveren, tu in tam duhovit, brez zdrsov v populizem. Ton je kritičen, a ne histeričen. Izrazje (antropomorfizem, parasocialni odnos, temni vzorci) je uporabljeno korektno in razloženo dovolj jasno za splošno občinstvo.« Ali je bil pretirano priliznjen ali realističen, presodite sami.