Savo darbe turėdamas priimti sudėtingą sprendimą jau kurį laiką darau tai, ko dar prieš kelis metus negalėjau įsivaizduoti: pirmiausia tariuosi ne su patikimu kolega, o su dirbtiniu intelektu (DI). Nesunku paaiškinti, kodėl. Kolega pasakytų, ką galvoja pats, o man reikia kažko svaresnio nei pavienė nuomonė – atsakymo, už kurio nestovėtų vienas klystantis žmogus. Mašinos atsakymai atrodo patikimesni, nes už jų (atrodytų) nestovi niekas. Kalbu apie moralinį ir praktinį jos autoritetą, apie sprendimą ten, kur teisingo atsakymo iš anksto numatyti neišeina.
Tai kartojasi visur. Ginčą ar abejonę jau kurį laiką galime sustabdyti vienu sakiniu: „taip rodo duomenys“, „ne aš taip nusprendžiau, o sistema“. Bankai atmeta paskolų prašymus ir mus ramina, jog sprendžia ne šališkas darbuotojas, o neutralus algoritmas. Darbdaviai pirminę darbuotojų atranką paveda programai, nes taip atrodo teisingiau ir efektyviau. Kaskart matome tą patį: jei sprendime nėra žmogaus, vadinasi, juo pasitikėti galime labiau. Noriu parodyti, kur slypi šio mąstymo klaida ir kodėl ji glūdi giliau, nei atrodo iš pirmo žvilgsnio.
Geras mokytojas, patyręs teisėjas, mylimas rajono gydytojas, net ir jūsų močiutė, kuriai skambinate patekę į akligatvį, turi kelis bendrus bruožus. Jie gali klysti, ir mes tai žinome. Jų visada galima klausti „kodėl?“, ir jie turės pasiaiškinti. Autoritetas visada turėjo adresą – konkretų žmogų, kurio patirtis ir suteikė teisę būti išklausytam. Sekti tuo, kas niekada nėra rizikavęs apsirikti, nėra sekimas pavyzdžiu. Autoritetas yra santykis, kuriame visada galima atsikirsti, jei kas pavyksta ne taip: tas, kuris turi galią, privalo atsakyti tam, kurį ta galia liečia. Būtent tai skiria autoritetą nuo prievartos.
Atsakymai, kuriuos gauname iš dirbtinio intelekto, yra visiškai kitokie. Jiems gauti reikia milijardų sprendimų, kuriuos yra priėmę milijonai žmonių. Kiekvieną tokį sprendimą priėmė gyvas žmogus, kuris dingsta, kai DI sistema paruošiama darbui: joje nebelieka nei vardų, nei istorijų, nei jų neštos atsakomybės. Lieka visų tokių sprendimų vidurkis – tipiškiausias, arčiausiai vidurio esantis pasirinkimas. Joks DI nėra sukurtas pateikti išskirtinį ar netikėtą situacijos sprendimą. Priešingai, DI sukurtas teisingiausiu laikyti tikėtiniausią atsakymą. O „tikėtiniausias“ čia nereiškia „arčiausiai tiesos“: modelis spėja, koks atsakymas geriausiai pratęstų tai, ką panašiose situacijose jau yra parašę ar nusprendę milijonai žmonių, kurių tekstais jis buvo apmokytas, o vėliau dar priderinamas prie to, kurie atsakymai vartotojams pasirodė priimtiniausi. Tikėtinumas matuoja ne atsakymo teisingumą, o jo panašumą į tai, kas jau buvo pasakyta.
Ir čia slypi reikalo esmė. DI atsakymas net negali būti klaidingas ta prasme, kuria klysta žmogus, nes klaidai reikia klystančiojo, nuoširdžiai gebančio suvokti, jog jis klysta. Tai nėra tikras sprendimas, kuris ką nors išteisina ar pasmerkia, – tai skaičius, vidurkis, už kurio niekas nestovi. Pirmą kartą istorijoje turime galingą, dažnai net neįtikėtinai teisingą atsakymą, kuris nepriklauso niekam.
Bet ar taip nėra geriau? Juk žmonės netobuli: teisėjai būna šališki, gydytojai pervargę, o darbuotojus galima papirkti. Iš milijonų žmonių išvestas vidurkis visa tai išlygina. Argi ne to mes ir norime? Vidurkis išties daro paskiro asmens klaidą mažiau skausmingą, bet kartu pašalina ir tai, kas ją darė ištaisomą: šališką teisėją galima apskųsti, pavargusiam gydytojui – rasti pamainą, o papirktą darbuotoją – atleisti. Kiekvienu tokiu atveju turime į ką parodyti pirštu ir išsaugome kelią tokią klaidą atitaisyti.
O ką padarysi vidurkiui? Ginčytis su juo neišeina, nes kitos pusės nėra; apskųsti neišeina, nes nėra kam. Net pasakyti „tu klysti“ negalima, nes DI nė nepretendavo būti teisus, tik statistiškai teisingas. Mainai aiškūs: vietoj klystančio, bet pataisomo autoriteto gauname neklystantį, bet niekada neištaisomą; vietoj apskundžiamos galios – neapeliuojamąją, ir laikome tai pažanga. Tikroji problema ne ta, kad vidurkio atsakymai prastesni – dažnai jie net tikslesni. Problema ta, jog nelieka atskaitingo atsakymo autoriaus. Ir kuo toks atsakymas geresnis, tuo mažiau tos atskaitomybės norime.
Įsivaizduokite sistemą, kuri sprendžia, ar pirkėjo skundas patenkinamas iškart, ar perduodamas vertinti specialistui. Riba tarp vieno ir kito nėra nuleidžiama iš kažkokios aukštesnės instancijos – ją brėžia keli pavargę žmonės, besiremiantys savo nuojautomis ir skaičiavimais, spaudžiami sistemą kurti greitai ir pigiai. Kitaip sakant, tokia riba yra mūsų pasirinkimas, už kurį galime atsakyti. Bet jau po kelių savaičių imame kalbėti kitaip: nebe „mes taip nusprendėme“, o „taip rodo sistema“. Mūsų sprendimas pavirsta faktu. Tas „mes“, kuris galėjo atsakyti, tyliai išnyksta, o jo vietoje lieka „ji“ – sistema.
Niekas čia nemeluoja piktavališkai – taip mąstyti tiesiog patogiau. Ginčytiną žmogišką sprendimą daug ramiau ginti kaip neginčytiną sistemos duomenį. Šis poslinkis paslepia milijonus žmonių, kurių sprendimai buvo suvesti į vidurkį, ir kartu tokius technologus kaip aš, kurie sprendžia, kur tą vidurkį apskritai nubrėžti.
Jei kas primins, jog sistemos sprendimą peržiūri tam pavestas žmogus, – atsakomybė iš to savaime dar neatsiranda. Vidurkyje nėra „nes“, kurio galėtume pareikalauti, todėl peržiūra vyksta greitai ir virsta paprastu štampu. Patikimumo žymę uždėjęs žmogus beveidžiam sprendimui tik paskolina savo veidą: kai įvyks kas nors nemalonaus, pirštu bus rodoma būtent į jį, nors tikrasis pasirinkimas vyko lygmeniu aukščiau ir liko nematomas.
Štai kodėl technologijų pasaulis šiuo nebuvimu prekiauja: „sprendime nedalyvauja joks (brangiai kainuojantis) žmogus“ pateikiama kaip didžiausias privalumas ir absoliuti laisvė nuo žmogiškojo šališkumo. Bet jei sprendimai yra niekieno, tai ne objektyvumas, o bešeimininkis nuosprendis. Beveidiškumą supainiojome su tiesa.
Suprantu, kad visa tai skaitote kaip komentarą apie technologiją, bet iš tikrųjų čia kalbame apie galią. Demokratija ir teisė remiasi prielaida, kurią čia ginu: galia mums skolinga savo veiksmų priežastis, o jos sprendimus galima apskųsti, nes visada yra kas nors, kas už juos atsako. Teismo nuosprendį galima skųsti aukštesnei instancijai, biurokrato sprendimą – jo vadovybei, o valdančiuosius rinkimuose – pakeisti. Pamatinė mūsų politinės sąrangos tezė: galiai visada galima pažiūrėti į akis.
„Niekieno galia“ tai ardo, nes pratina prie neapskundžiamos galios, įsivyniojusios į neutralumo drabužį. Žmogus, kuriam sistema atmetė paskolos prašymą, CV ar gydymo planą, gali paklausti „kodėl?“, bet negaus atsakymo, kurį galėtų skųsti įprasta tvarka, nes nelieka to, kuris būtų kažką sprendęs. Nuosprendis yra, atsakovo – nėra.
Pripažinkime, tokius sprendimus mėgstame ne tik todėl, jog jie patogūs ar greiti. Beveidžiai atsakymai apsaugo ne tik savo kūrėją, bet ir kiekvieną, kuris jais pasiremia: bankininkas, atsisakęs teikti paskolą ir pirštu parodęs į algoritmą, lieka nekaltas, o vadovas, atmetęs kandidatą pagal modelio rekomendaciją, turi kuo prisidengti. Todėl ši galia ir plinta taip greitai – ji nuima atsakomybę nuo visų, kurie prie jos prisiliečia. Kiekvienas grandinėje esantis žmogus gali visiškai sąžiningai rodyti pirštu į kitą, nes grandinės gale nebestovi niekas. Niekam neatskaitinga galia visada nori atrodyti kaip būtinybė, ir vidurkis jai suteikia tobulą kaukę.
Nesupraskite neteisingai: nepriekaištauju, jog dirbtinis intelektas kuria vidutinišką, pilką turinį, ir nejaučiu sielvarto dėl prarastų vienišų genijų. Dažniausiai DI temoje klausiame, ar sistema teisinga vienoms ar kitoms žmonių grupėms, ir tikimės, kad ištaisę šališkumo klaidas padarysime ją teisingesnę. Tai svarbu. Bet net ir visiškai nešališkas vidurkis vis tiek neturi šeimininko – teisingas beveidis nuosprendis lieka beveidis. Autoritetui reikia žmogaus, kurį galima patraukti atsakomybėn, o vidurkis kaip tik ir yra mašina, kuri tą žmogų pašalina arba paslepia. Tai galioja net tada, kai DI atsakymai puikūs ir teisingi. Puiki gali būti ir niekieno išmintis – kaip tik dėl to ji ir pavojinga.
Netvirtinu, jog DI sistemos yra fundamentalus blogis, – pats padedu jas kurti ir džiaugiuosi, kai jų atsakymai dažnai geresni nei žmogaus. Sakau tik tiek: beveidžiam vidurkiui rodome pagarbą, derančią tik atskaitingam žmogui, ir darome tai todėl, kad jo beveidiškumas mums atrodo kaip objektyvumas.