Zamyšlení nad nastávající vládou algoritmů

Milí čtenáři, je zase čas na chvíli odbočit k nějakému jinému tématu, než je migrace a blbnutí různých politických hlav (připustíme-li vůbec, že jde o hlavy a ne o jiné části těl). Občas mi někdo napíše, že by rád četl nějakou úvahu o technice a budoucnosti, tož tady jedna je.

Update 21.7.2019 ve 21:30. Ach jaj, přátelé, já vím, že původní a ustálená forma je deus ex machina. Šlo mi o slovní hříčku, že z toho stroje neleze jen tak nějaký bůh, ale král všech bohů – někdo řádově mocnější. Asi to nebyla dobrá slovní hříčka; ta se vysvětlovat nemusí.

*****************************

Zeus, nejvyšší bůh starých Řeků, byl chlípník a vůbec zvláštní charakter; noví Diové ale žádný charakter mít nebudou. Samoučicí algoritmy, kterým přenecháváme čím dál větší část rozhodování, nemají ani tvář.

Než půjdeme dál, přečtěte si prosím článek „Bankovní umělá inteligence hodnotí lidi i podle toho, jaký mají mobil“, který se před týdnem objevil na serveru iDnes. I v takto malém měřítku jsou na něm vidět některé problémy, které nám tyhle systémy přinesou.

Problém první: počítače dělají přesně to, co jim řeknete, a ne to, co byste chtěli. Nemají žádné zábrany ani širší vnímání kontextu, jejich „zdravý rozum“ je roven nule. Chcete-li maximalizovat zisk na své prodejně, mohou vám po zralé úvaze navrhnout prodej heroinu místo housek. Vložíte-li do nich Mein Kampf, vytisknou vám optimalizovaný jízdní řád vlaků do Osvětimi.

Kvalita strojového rozhodování je vstupními daty hodně ovlivněna. Pokud jsou data nekvalitní, „odpad“, výstupem je zase jen odpad. (Tenhle princip je mezi informatiky známý pod zkratkou GIGO, čili garbage in – garbage out.) Známý je případ robotizovaného „kecálka“ od Microsoftu, kterého vypustili na Twitter a během pár hodin „učení“ od ostatních začal produkovat hodně zvláštní směsici výroků.

Co z toho plyne? Je dost riskantní předat softwaru rozhodování v situacích, které nejsou příliš dobře popsatelné a v nichž můžou vznikat nebezpečné vedlejší efekty. Zároveň je to ovšem lákavé, protože tím dochází k předání zodpovědnosti: to rozhodl počítač, nikoliv já, vážený soude. Naopak je nebezpečné rozhodnout „proti počítači“, zvláště v korporátech a podobných strukturách. Nevyjde-li takové rozhodnutí a firma utrpí ztrátu, mají proti vám nepřátelé na nejbližší valné hromadě solidní munici: nedodržel jste standardy. Dovolit si to může v podstatě jen majitel firmy, kterého nikdo nevyhodí.

Problém druhý: nesrozumitelnost rozhodovacího procesu. Čím složitější samoučicí systém, tím méně jeho výstupům rozumějí i jeho vlastní autoři.

O lidské justici si můžeme myslet leccos, ale jednu věc dělá dobře: důležitou součástí rozsudku je odůvodnění – podrobný přehled toho, na základě jakých skutečností a argumentů soudce rozhodl tak, jak rozhodl. Kvalitní odůvodnění považuje náš Ústavní soud za součást práva na spravedlivý proces, nekvalitní naopak leckdy vede ke zrušení rozsudku v odvolacím řízení. Zejména v anglosaském světě je kvalita právního odůvodnění rozsudku dost zásadním prvkem pro reputaci soudce a nejlepší věty z rozsudků se staly součástí širšího folklóru.

„The way to stop discrimination on the basis of race is to stop discriminating on the basis of race.“
„Způsobem, jak zastavit rasovou diskriminaci, je přestat diskriminovat na základě rasy.“
JOHN ROBERTS, NEJVYŠŠÍ SOUD USA, PŘÍPAD PARENTS INVOLVED IN COMMUNITY SCHOOLS V. SEATTLE SCHOOL DISTRICT NO. 1

To ale není případ počítačového rozhodování na základě samoučení, které velmi rychle zabíhá do nepochopitelného tance stovek statistických proměnných: tomu pracovně říkám pofiderní korelace.

Povšimněte si, jak v tom článku zmiňují, že při posuzování bonity klienta berou v úvahu volební výsledky v okrsku, kde bydlí, nebo hodnocení restaurací v okolí. To znamená, že jeden činžák sto metrů od vás, kde dostávali přednostně byty příslušníci StB, může ovlivnit vaši (vaši!) bonitu. Nebo skutečnost, že v místní pizzerii měli posledního půl roku špatného kuchaře.

Já vím, v téhle situaci mi konzervativnější čtenář řekne „tak si prostě nepůjčuj“ a v zásadě má pravdu; taky jsem odpůrce velkého zadlužování. Ale je otázka, zda takový systém zůstane jen doménou bank a zda se časem nezačne šířit i do jiných oborů lidské činnosti. Co když podobným způsobem začnou rozhodovat například vysoké školy při hodnocení uchazečů o studium? Systém hodnocení zákazníků soukromého obchodního portálu Alibaba se stal základem a vzorem pro čínský systém sociálního skóre. Jakmile je jednou na světě nějaké takové „kladivo“, začíná čím dál více věcí vypadat jako hřebík.

Ty pofiderní korelace mimochodem působí legračně jen do chvíle, než se začnou týkat vás osobně. Myslím si, že ani šéfovi risku v Twistu, panu Kročilovi, kterého článek cituje, by se moc nelíbilo, kdyby další trvání jeho pracovní smlouvy záviselo mj. na počtu zubních kazů v obci, kde bydlí, nebo na tom, že nadprůměrné množství jeho sousedů má červené auto.

Tím se dostáváme k třetímu bodu, a tím je asymetrie takových systémů. Velké instituce mají v jejich užití značný náskok, proto si banka může hodnotit bonitu potenciálního klienta.

Ale co naopak, co kdybyste si vy jako potenciální klient chtěl vyhodnotit bonitu banky, abyste nesvěřil svoje prostředky a budoucnost nějaké instituci, která má v budoucnosti nakročeno k podobnému úpadku jako Deutsche Bank? Není ve vašich silách si takový mechanismus zkonstruovat, nemáte na to kapitál ani know-how. Tím se už tak dost nevyrovnané postavení mezi vámi a velkou firmou ještě více naklání v její prospěch. Tady už je možná prostor pro zákonodárce, aby něco dělal.

Související čtvrtý bod: kdo vlastně výsledky takové nehmotné algoritmické práce vlastní? V případě bank to možná není tak důležité, ale v případě např. medicínských systémů, které se na základě strojového učení a analýzy obrázků snaží rozeznat na rentgenovém snímku, zda nějaký útvar je zhoubným nádorem či ne, už je to otázka docela podstatná.

Takové systémy mají dnes už úspěšnost srovnatelnou se špičkovými kapacitami v oboru. Časem je překonají. Teď jde o to, aby skutečnost, že se tyto systémy „učily“ na nějaké sadě dat předešlých pacientů, nezakládala instituci vlastnící tuto původní sadu dat práva k tomu, rozhodovat o použití výsledků takového učení a pobírat poplatky za každé využití systému v praxi.

Toto považuji za reálné riziko, protože v zájmu každé firmy je prodat výsledky své práce co nejvícekrát. A v oblasti duševního vlastnictví je vždycky nejpřitažlivější licenční model, kdy produkt neprodáte „sakumprásk“, ale pouze na nějakém předplatním modelu, ideálně na osobu a použití. Proto také poslední dobou tolik aplikací (nejen) pro smartphony přechází na měsíční předplatné.

V případě umělé inteligence by se pak snadno mohlo stát, že nenápadně vznikne nový Facebook či Google, jenom třeba v medicínské oblasti, který pak na základě nějakých jednostranně stanovených Zásad bude moci určit, že těm či oněm pacientům svoje služby poskytovat (licencovat) nebude. To bych opravdu nerad viděl. Úplně nám stačí ty současné oligopoly v oblastech, kde o život a smrt nejde.

Pátý a poslední bod: předáváním práce počítačům se ztrácí lidské know-how. S rozšířením GPS jsme poněkud ztratili schopnost orientace v mapách; kvůli kalkulačkám už málokdo z hlavy spočítá 13×17. Dá se s tím žít, ale částečně proto, že jsou to banality.

Podstatně vážnější je třeba skutečnost, že intenzivní používání autopilota vedlo k úpadku schopností mezi piloty samotnými. Jaké efekty na medicínu bude mít, až vyroste celá generace lékařů, kteří v životě nevyhodnotili rentgenový snímek?

V Zapomenutých příbězích je kapitola Variola vera!, která popisuje podobnou událost v době předpočítačové: jugoslávští lékaři na začátku 70. let 20. století vůbec nevěděli, jak vypadají pravé neštovice, a k chybně diagnostikovaným (a vysoce nakažlivým) pacientům vodili studenty, aby se na zajímavé případy podívali zblízka. Teprve Kosta Todorović, 85letý veterán srbské medicíny, který už byl dávno sám pacientem, poznal, o co se jedná.

S tímhle se bohužel asi nedá nic dělat, je to součást technologického vývoje; sám vím, jakou práci mi dalo psát věnování do knížek rukou, když jsem posledních dvacet let strávil u klávesnice. Nakonec se ta schopnost vrátila, ale kdybych ji nikdy neměl, bylo by to horší.

*****************************

Hudební epilog
V Tolkienově světě by určitě počítače vynalezli trpaslíci a běžel by na nich DurinOS.

****************************************
ZAPOMENUTÉ PŘÍBĚHY 2
Když je něco zapomenutého, je dobře se ptát, jak se to stalo. Zapomnělo se proto, že se něco dostalo za horizont času a zájmu, anebo proto, že se nějak někomu zapomenout chtělo? Autor v této knížce nahlíží do událostí zas tak ne moc vzdálených.
Objednat si ji můžete na této adrese.

Převzato z Kechlibar.net se souhlasem autora