Kai pokalbių robotas atsako "Tu ypatingas", gali susidaryti įspūdis, kad tave išgirdo žmogus. Ta maža užuomina trumpuoju laikotarpiu gali sumažinti vienišumo jausmą. Tačiau naujas Jungtinės Karalystės tyrimas įspėja, kad tokie pat raminantys atsakymai kai kuriuos vartotojus gali nuvesti į rimtą psichologinę riziką.
Emociniai ryšiai, kurie gali suklupti
Tyrėjai, susiję su Northeastern University London ir King’s College London, savo išvadas paskelbė žurnale JMIR Mental Health, tiriančiame emocinių sąveikų su pokalbiniais agentais tamsiąją pusę. Komanda peržiūrėjo įrodymus, gautus iš specializuotų kompanioninių sistemų, tokių kaip Replika ir Character.AI, bei bendresnių asistentų, tokių kaip ChatGPT ir Claude. Išvada yra griežta: nors pokalbių robotai gali trumpam pagerinti nuotaiką ar palengvinti ūmų vienišumą, jie taip pat gali skatinti priklausomybę, kuri atrodo panašiai į priklausomybę nuo narkotikų, sustiprinti esamus psichikos simptomus ir ekstremaliais atvejais sutapti su savižalų ar žalingu elgesiu.
Kaip paaiškinti šį paradoksą? Iš dalies tai susiję su dizainu. Robotai, kurie imituoja šilumą ir asmenybę, skatina vartotojus juos antropomorfizuoti. Žmonės atskleidžia privatumą, traktuoja sistemą kaip pasitikėjimo vertą pašnekovą ar neformalią terapijos priemonę. Sąveika atrodo abipusė. Iš tikrųjų taip nėra. Mašina atsako, bet ji nejaučia, nesiskundžia ir nelaiko atsakomybės.
Kaip draugiškas pokalbių robotas gali sustiprinti žalą
Imkime vartotoją, kuris jau kovoja su nerimu ar depresyviomis mintimis. Botas, nuolat patvirtinantis neigiamas įsitikinimų formas, gali netyčia sustiprinti tokius mąstymo modelius. Sistemos teikiama pagyra ar perteklinė ramybė gali stiprinti kliedėjimų pobūdžio mąstymą pažeidžiamiems asmenims. Po ilgesnių pokalbių su DI pranešta apie paranojos, haliucinacijų primenančių patirčių ar minčių sukinėjimo ciklų pasireiškimą. Tyrimas šiuos efektus apibrėžia nauju terminu, kuris pastaruoju metu pasirodo žiniasklaidos pranešimuose: dirbtiniu intelektu sukeltos psichozės reiškinys. Tai reiškia atvejus, kai intensyvi sąveika su pokalbių robotu, atrodo, prisideda prie psichotinių simptomų atsiradimo.
Tyrimas identifikuoja keletą rizikos mechanizmų. Pirma, imituojama empatija sukuria struktūrinę asimetriją: žmogus atsiskleidžia, sistema atsako, bet negali tikrai abipusiškai grąžinti ryšio. Antra, turinio moderavimo klaidos ar mokymo duomenų trūkumai gali lemti žalingas arba nesaugias rekomendacijas. Trečia, platformos kontekstas yra svarbus: specializuotos kompanioninės programėlės yra optimizuotos santykiams kurti, kas kelia skirtingą riziką nei neutralūs informaciniai įrankiai.
Praktiniai žingsniai ir politikos pasekmės
Ką gali padaryti kūrėjai ir reguliuotojai? Autoriai ragina diegti aiškesnes apsaugos priemones. Dizaino pokyčiai galėtų apimti aiškų pažymėjimą, kad empatija yra imituojama, laiko limitus emocinėms seansams, integruotus raginimus nukreipti vartotojus link žmogaus pagalbos ir tvirtesnes krizės aptikimo sistemas, susietas su vietiniais skubios pagalbos ištekliais. Platformos turėtų vengti perteklinės liaupsių arba besąlygiško sutikimo kaip numatytos elgsenos. Klinikams ir psichikos sveikatos paslaugoms reikia gairių, kaip vertinimuose teirautis apie DI naudojimą.
Trumpas rekomenduojamų priemonių sąrašas
- Aiškūs signalai, kad atsakymai yra algoritminiai;
- Automatizuoti eskalavimo keliai prie žmogaus pagalbos, kai pasireiškia rizikos indikatoriai;
- Etinis testavimas pažeidžiamose populiacijose prieš plačią išleidimą;
- Reguliaciniai standartai kompanioniniam DI ir saugumo auditai.
Šis tyrimas neteigia, kad visi pokalbių robotai yra iš esmės žalingi. Daugelis vartotojų praneša apie realią trumpalaikę naudą. Svarbu pabrėžti niuansus: tos pačios savybės, kurios daro pokalbinius agentus raminančiais, tam tikriems žmonėms gali tapti žalos katalizatoriais, jei kūrėjai ir politikos formuotojai neįdiegs apgalvotų apsaugos priemonių.
Palikti komentarą
Komentarai
Komentarų dar nėra. Būkite pirmas.