SOFTWARE: Odpovědnost nad ziskem
V mém předchozím článku jsem se věnoval otázce odpovědnosti výrobců softwaru a porovnal ji s automobilovým a leteckým průmyslem. Reakce čtenářů ukázaly, jak důležité je tuto problematiku nadále rozvíjet tudíž se o toto pokusím.
Softwarové společnosti společně s farmaceutickými společnostmi jsou pravděpodobně jediné způsoby podnikání, kde máte právo vyrábět produkty škodící a zabíjející lidi bez toho, aniž byste byli právně jakkoliv zodpovědni. Nejlépe toto vystihuje tento komentář jednoho ze čtenářů:
„Když já pořád před sebou vidím toho Satana, co se mu na stůl dostala smlouva na Windows a on ji přeposlal do oddělení úpisů krvi s prostou poznámkou „Učte, se, hoši“.
(c) Terry Pratchett“
Odpovědnost nad ziskem: Mnozí z vás zdůrazňovali, že výrobci musí upřednostňovat bezpečnost nad ziskem. To je obzvlášť důležité, když čím dál více kritických systémů spoléhá na software. Stejně jako jsou automobilky odpovědné za své chyby, měli by být odpovědní i výrobci softwaru. Tragédie Boeing 737 Max je jasnou ukázkou toho, co je v sázce. Firmy by neměly být řízeny pouze účetními; případy selhání Westinghouse, Siemens a Boeing jsou tohoto důkazem.
Dvojsečná zbraň regulací a podpůrných dotací EU: Někteří z vás kritizovali regulace EU, já jsem jako zářný příklad uvedl zejména regulace kolem cookies, jejichž implementaci nejlépe popisuje naší generaci známý výrok „Chtěli jsme to udělat lépe a dopadlo to jako vždycky“
Jiní správně poukázali na to, že tyto předpisy často způsobují více problémů než řešení. Je jasné, že obviňování regulací může být pro firmy pohodlnou výmluvou. EU též používá dotace, které získává z daní jednotlivých zemí, jako prostředek vydírání. Tento přístup může vést ke korupci a neefektivnosti, což se již projevuje například u každoroční dotace 60 miliard EUR na zemědělství, pěkně popsané minulý týden v článku: „Od farem k firewallům: Proč 60 miliard eur v dotacích EU nezajistí naši kybernetickou budoucnost“
Dilema aktualizací: Aktualizace systémů jsou nezbytné, ale rizikové. Aktualizace mohou způsobit nové problémy, pokud nejsou správně naplánovány a testovány. Na druhou stranu, neaktualizované systémy zůstávají zranitelné vůči známým exploitům. Provozní technologie (OT – Operational Technology) nemohou slepě přijímat techniky používané v IT. Systémy OT fungují v reálném čase a často spoléhají na zastaralou technologii z 90. let. Aplikace IT metod bez zohlednění specifických požadavků OT může vést ke katastrofálním selháním, se kterými jsme se za dvacet let v průmyslu mnohokrát setkali.
Morální a právní odpovědnost: Budoucí diskuse a legislativa budou muset řešit odpovědnost automatizovaných systémů, jako jsou autonomní vozidla či vraždící drony. Kdo bude odpovědný v případě nehody? Debata o odpovědnosti výrobců softwaru zdaleka není u konce; teprve začínáme.
Reálné dopady: Výpadek CrowdStrike a zapípání v automobilu Tesla těsně před nehodou ukazují reálné důsledky selhání softwaru. Tyto incidenty zdůrazňují naléhavou potřebu robustního a spolehlivého softwaru, zejména v systémech, které ovlivňují lidské životy.
Co s tím uděláme, co dělat můžeme?
Reakce čtenářů ukazují potřebu vyváženého přístupu, který upřednostňuje bezpečnost a spolehlivost bez potlačování inovací. Regulace a úřední zásahy by měly být pokud možno minimální a věřím, že několik dodatků ústavy reflektujících výše uvedené by tento základní zákon aktualizovalo pro život ve 21. století. Tyto úpravy ústavy by též „svázaly“ ruce nezodpovědným a populistickým tlakům.
Tudíž jakožto český občan navrhuji tyto dodaky k české ústavě
(1) Zajistit soukromý digitální prostor ve veřejně přístupném cloudu pro každého občana, pokud si to přeje či potřebuje. Tento prostor bude plně chráněn a zašifrován, bez zadních vrátek.
Důvod: Zamezit monopolním hráčům na trhu zneužívání svého postavení. Zamezit extrémní koncentraci moci v rukou pouze několika soukromých společností. Zde je úvaha na toto téma: Odkaz
(2) Udržet právo provádět transakce pomocí fyzické měny (fiatové peníze) nebo jejich nedigitálního ekvivalentu.
Důvod: Zamezit monopolním hráčům na trhu zneužívání svého postavení. Zamezit extrémní koncentraci moci v rukou pouze několika soukromých společností či „zakleknutí“ státu na podnikatele, kteří překáží všemocným úředníkům či mají jiný názor než oficiální. Debanking je důkazem toho jak banky mohou a již zneužívají svého monopolního postavení.
(3) Právo odmítnout služby umělé inteligence AI a mít přístup ke službám poskytovaných lidmi.
Důvod: Již jste někdy zakusili virtuálního agenta v jakékoliv službě? Budeme moci v automobilu vypnout AI asistenta či vypnout špehujího AI agenta v telefonu či ve windows, který dělá každých pět sekund screenshot obrazovky aby nás chránil před dětskou pornografií?
Či bude mít vraždící AI dron „License to kill“ ?
(4) Zajistit právo odmítnout aktualizace softwaru, což umožní jednotlivcům ponechat si své aktuální funkční verze a zabránit tak potenciálnímu zneužití prostřednictvím modelů „software jako služba“.
Důvod: Zamezit monopolním hráčům na trhu zneužívání svého postavení. Co vlastníme, a jak můžeme být jednoduše vydíráni? Též nemusíme souhlasit s novými podmínkami či věřit, že aktualizace je funční – viz. CrowdStrike.
