Něco nového, něco starého a něco augmentovaného

Abstrakt

Budoucnost konfliktů se může vyznačovat zcela bezprecedentní změnou. Je možné, že lidé v dnešní podobě nebudou jedinými myslícími bytostmi, které se sporu účastní. Taková situace by netriviálním způsobem změnila to, co o konfliktech víme. Pokouším se zde nastínit několik možností vývoje a zamyslet se nad základními otázkami, které by tyto změny přinesly.

Frankensteinovský komplex

Většina z psychologických komplexů se odkazuje k archetypům nebo antickým postavám. Pozoruhodnou výjimkou je komplex Frankensteinův. Jeho jméno se odvolává na postavu z románu Mary Shelleyové Moderní Prometheus. To se již v polovině minulého století stalo symbolem a je běžně asociováno se strachem z tvorů a bytostí stvořených člověkem.

Pro psychologa nebo sociologa by nejspíše bylo zajímavým tématem k úvahám, proč se pro většinovou veřejnost přeneslo jméno tvůrce na jeho dílo, ale pro tento text je důležité, že se od devatenáctého století dá snadno vypozorovat silná linie příběhů o konfliktu mezi tvůrcem a jím stvořenou technologií. Samozřejmě Shelleyová není první, kdo se tou otázkou zaobíral, ale starší příběhy o Golemovi nebo homunkulech se nestaly v předindustriální éře srovnatelně silné. Každá doba si nese své příběhy a stejně jako epos o Gilgamešovi tematizoval konflikt města a přírody nebo příběhy svatých otázky spásy duše, devatenácté století upřelo svou pozornost na svár mezi lidmi a tím, co tvoří.

Fakt, že toto téma lidé stále vnímají jako aktuální, lze nahlédnout při procházce do knihkupectví nebo prolistováním televizního programu. Frankensteinovo monstrum mění jméno a podobu, ale pod pseudonymem Skynet nebo s tváří blonďatého humanoidního modelu Six se stále skrývá totéž zlo.

Singularita je blízko

Nejen historie má svou historii, má ji i budoucnost.

K poměrně rozšířené představě technologického pokroku nebo alespoň rozvoje přidal v padesátých letech minulého století John von Neumann v rozhovoru se Stanisławem Ulamem představu technologické singularity:

„One conversation centered on the ever accelerating progress of technology and changes in the mode of human life, which gives the appearance of approaching some essential singularity in the history of the race beyond which human affairs, as we know them, could not continue.“

Poměrně vágní představa budoucího okamžiku, ve kterém dojde k tak podstatným změnám, že za něj nelze predikovat, byla dále rozvinuta dalšími mysliteli.

Transistor Count and Moore's Law - 2011

Současné vnímání termínu je nejsilněji ovlivněno názory Raye Kurzweila. Ten na základě předchozího vývoje předpokládá exponenciální růst některých veličin. Vývoj se podle něj má zrychlovat smyčkou pozitivní zpětné vazby: novější technologie zrychlují vývoj dalších technologií. Pokud má pravdu, bude docházet stále častěji ke změnám paradigmatu v různých oborech. Podobný proces by mohl vést k tomu, že se člověk dříve či později stane neschopným změny chápat a reagovat na ně.

Obvykle jsou uváděny tři cesty k Singularitě: stavba myslících strojů, rozšíření lidské inteligence drogami, výcvikem nebo genetickou manipulací a spojení schopností člověka a stroje. O první z nich budu nadále mluvit jako o umělých bytostech, o druhé a třetí dohromady jako o augmentaci lidských schopností.

Bill Joy a neoludité

V roce 2000 publikoval Bill Joy ve Wiredu eseji Why the future doesn’t need us. Shrnul v něm množství výhrad vůči technologickému pokroku. Jedním z překvapivých momentů tohoto textu jsou antitechnologické citace z Unabomberových prohlášení.

Hlavní motivy jsou obdobou ekologistického principu předběžné opatrnosti:

„The experiences of the atomic scientists clearly show the need to take personal responsibility, the danger that things will move too fast, and the way in which a process can take on a life of its own. We can, as they did, create insurmountable problems in almost no time flat. We must do more thinking up front if we are not to be similarly surprised and shocked by the consequences of our inventions.“

Bill Joy nestraší představou vzpoury strojů proti lidem. Jeho obavou je obecnější „vymknutí se kontrole“. Stejně jako je vágní jeho představa hrozby, jsou neurčité i jeho návrhy na to, jak jí předcházet.

Mnoho předvídavosti však nevyžaduje úsudek, že časem povede podobný myšlenkový směr k požadavku zákazu nějaké technologie. Podobná myšlenka je ostatně již léta běžná i v beletrii. V Neuromancerovi agenti Turingu brání sebeuvědomění umělých inteligencí, v postcyberpunkové Řece bohů zacházejí policisté ještě dál a takové programy bez milosti likvidují. Precizně pojmenoval podobný přístup Ondřej Neff svým seriálem Zakázané technologie.

Kevin Warwick

Hrozba robotů je naopak překvapivě přítomna i v práci technologického optimisty Kewina Warwicka. Tato obava však pro něj není důvodem ke zpomalení vývoje. Naopak doporučuje jeho zrychlení – směrem ke zlepšení lidí tak, aby byli schopni se s nebezpečím vyrovnat.

Ve Warwickově případě nejde jen o teoretizování, sám se stal jedním z prvních lidí, kteří nosili implantovaný čip a používali ho k interakci s okolím. V druhé fázi pokusu byl čip napojený na jeho nervovou soustavu.

Hra a její součet

Představa války s roboty (ať už se jedná o Rosumovy Universální roboty nebo Terminátory) je jenom nejpřímočařejším zpodobněním možného konfliktu.

Stejně tak, jako se mezi lidmi většina napětí obejde bez fyzického násilí, můžeme si představit i množství budoucích sporů, které neskončí prolitím krve a lámáním chromu. Jak se ale bude lišit spor na téma „stroje mi berou práci“, pokud nebude protivníkem tkalcovský stav s inteligencí Jacquardovy tabulky, ale zařízení chytřejší než nahrazený dělník? Změní se něco, pokud bude druhá strana sváru postrádat snadno pochopitelnou (a napadnutelnou) fyzickou podobu – a nemusíme si hned představit vševidoucí oko Googlu, stačí uvažovat i o sadě maker nahrazující při práci v Excelu dělníka informačního věku?

V mnoha případech se ukázalo, že spor mezi člověkem a strojem nebyl hrou s nulovým součtem. Stroj nahradil člověka v jeho zaměstnání, ale zároveň umožnil vznik nových pracovních míst. Tento proces vycházel ze skutečnosti, že lidský potenciál je větší než možnosti stroje – lidé byli tlačeni odspodu. Co se však stane, pokud stroj překoná člověka i ve většině oblastí, kde lidé dosud dominovali?

Jedním z předpokladů konfliktu je existence omezeného zdroje, který přináší užitek oběma stranám. Přímočarý příklad je energie. Pokud nedojde k výraznému pokroku při její výrobě a skladování, zdá se být nejpřirozenějším kandidátem na jablko sváru.

Konflikt může mít ale daleko subtilnější příčinu: Jeho podstata může být čistě názorová (nebo, chceme-li, politická). Spor o to, zda umělým inteligencím přiznat nějakou podobu autonomie a práv, může vytvořit velmi neostré hranice mezi stranami. V takovém případě by se jistě našli i lidé hájící práva AI.

My, my a oni

Otázky s potenciálem na velmi ostrý spor v blízké budoucnosti budou spojené s augmentací.

Společnost dnes již obvykle přijímá zásahy do lidského těla za účelem opravení existujících vad, ale téměř jistě bude rozpolcená ohledně obdobných zásahů, které zlepší jedince „nepřirozeným způsobem“. Pozoruhodným příkladem na rozdílné vnímání (z českého pohledu bezproblémového) umělého oplodnění in vitro je vyhraněná diskuse v nedalekém Polsku. Argumentace „lidskou důstojností“ má zcela jiný ohlas v převážně židovsko-křesťanských Spojených státech a v biologických tygrech jihovýchodní Asie.

Spor vzniká mnohdy ještě dříve, než se do něj zapojí ti, kterých se týká. Jak se k němu postaví, bude v mnohém záležet například na tom, zda augmentace proběhne před jejich narozením, nebo až za jejich života. První varianta dává společnosti zhruba dvacetileté období na adaptaci, než bude hlas prvních augmentů dostatečně slyšitelný. Zároveň tu však bude vyrůstat skupina, jejíž definicí bude odlišnost. Obávám se, že se na ní výrazně projeví golem efekt působící v citlivých fázích vývoje psychiky.

Další změna frontových linií může nastat v okamžiku, když se „staří“ augmenti začnou cítit ohroženi novými technologiemi aplikovanými na další adepty. Opačnou změnu lze čekat, když technologie dostatečně zlevní – pak se z levicových kritiků jejího „elitářství“ mohou stát její proponenti, kteří v ní ucítí možnost „demokratizace“.

Pokud bude vývoj dostatečně rychlý, tak se stane spor mezi novým a starým asi stejně zajímavý, jako soupeření Severní a Jižní Koreje v exportu elektroniky. Za předpokladu superlineárního růstu schopností jedné strany jí k vítězství stačí jediné – trpělivost.

Psychologie nemyslitelného

Virtuální prostředí se od fyzického liší v jednom podstatném bodě: Prakticky tu neexistuje přesun. Přirozeným důsledkem přemístění na nové místo je vznik kopie.

Jsem přesvědčený o tom, že pro etiku umělých bytostí nevázaných na fyzické prostředí to bude mít podstatný vliv. Zatímco člověk může mít automobil a nemůže ho nikomu dát, aniž by o něj sám přišel (či ho někomu vzít, aniž by někomu vznikla škoda), virtuální bytost nebude u mnoha svých zdrojů podobné omezení pociťovat. Každý z nás již „od školky“ ví, že nemá brát Pepíčkovi jeho autíčko a že když mu dá bombón, sám už ho neochutná. Jak se bude lišit bytost, která podobná omezení nezná?

Samozřejmě to neznamená, že ve virtuálním prostředí neexistují třecí plochy. Některé zdroje (hlavně výpočetní výkon a úložný prostor a tím nepřímo i energie) tvoří spojnici se světem hmoty a jsou tudíž omezené. Některé informace jsou hodnotnější, pokud je zná jen omezený počet entit. Ale zatímco ve světě zvířat nebo robotů je výjimkou neomezený zdroj, ve virtuálním světě je tomu naopak. (Za krátkou úvahu stojí přímočará podoba s hloupostí protipirátských reklam v duchu „auto byste neukradli“. Analogie mezi hmotným a počítačovým prostředím bývá téměř vždy zavádějící.)

Svět virtuálních bytostí má oproti našemu ještě jeden velký rozdíl. Nejméně po dobu platnosti Moorova zákona poroste. Vesmír, kde se „final frontier“ posouvá stále dál a dál, kontrastuje s prostředím, ve kterém se mohou vyvíjet augmenti.

Nejenže si ponesou dědictví lidí, ke kterému patří i agresivita, lorenzovské takzvané zlo, ale jejich svět bude i nadále omezený. To téměř nutně povede k tomu, že přímí potomci lidí budou pro lidi podstatně nebezpečnější než umělé inteligence. Budou soupeřit o stejnou niku a jejich původ je předurčuje k větší dávce agresivity. Program tímto dědičným hříchem zatížen být nemusí. (Výjimkou mohou samozřejmě být programy běžící na platformě Mac OS X.)

Konec dětství

Mimo technicistního popisu toho, jak mohou konflikty vznikat, probíhat i končit existuje ještě další rovina.

Ne náhodou je často zobrazována v umění. Jedním z nejděsivějších momentů seriálu Battlestar Galactica je věta „Humanity’s children are returning home“ pronesená v okamžiku, kdy roboti zahájí genocidu lidstva. Neméně působivý je i rozhovor mezi otcem-stvořitelem a jeho dítětem-výrobkem v Blade Runnerovi.

Zatím si jen promítáme do možného budoucího konfliktu lidský spor mladší a starší generace, rodičů a dětí. Pokud by byla taková analogie správná, tak existuje jediná správná cesta, jak jej vyřešit. Děti musejí uznat zásluhy rodičů, poděkovat jim a zajistit jim pohodlně stáří. A rodiče musejí jít dětem z cesty.

Kolik znáte rodin, kde se to povedlo?

21. 01. 2012

7 responses to Něco nového, něco starého a něco augmentovaného

  1. bver said:

    Píšeš: “To téměř nutně povede k tomu, že přímí potomci lidí budou pro lidi podstatně nebezpečnější než umělé inteligence. Budou soupeřit o stejnou niku a jejich původ je předurčuje k větší dávce agresivity. Program tímto dědičným hříchem zatížen být nemusí.”

    Neviděl bych tuto implikaci jako nezbytně nutnou. Chápu, že vnímáš omezenost zdrojů reálného světě jako tenzi určující vyšší agresivitu ve srovnání s virtuálnem, jenže:
    1. Vzpomeň si na Neffovo Milénium — soupeřící jednotky obsadí bojové pozice, nastane “štronzo” a zbytek bitvy odsimuluje počítač OSN a vyhlásí vítěze. 🙂 Narážím na to, že vývoj může vést v reálném světě k nějakým pravidlům střetu, které mohou strany konfliktu respektovat, protože to pro ně bude oboustranně výhodné. Extrapolace principu “válka je přípustná, ale zločiny proti lidskosti už nikoliv,” analogie pravidel rytířského souboje ve středověku nebo čestných romantických soubojů. Naopak takový konflikt se může s velkou parádou odehrávat ve virtuálnu, protože tam jsou náklady na něj (obecně) nižší.
    2. Konfliktní vývoj coby důsledek soupeření o omezené zdroje (pokud se máme vrátit k původní linii argumentace): I ve virtuálním světě můžeme najít omezené zdroje, což víš jistě jako progiš dost dobře — jakmile máme víc paměti, můžeme nechat běžet komplexnější algoritmy — přesně do bodu, kdy použijeme takový algoritmus (či “Big Data”), je(n)ž paměť opět naplní. Jakmile se objeví GPU, pozorujeme boom masivně paralelního počítání, protože to najednou “je možné” a tak se na NVIDIA GPU konferencích začne objevovat jako velké téma “gflops/kWh” — energetická účinnost výpočtu, což je další limit, který máme v dohledu (a neměli bychom, nebýt GPU boomu). Shrnu-li to, nějaké limity (přestože se budou stále posouvat) budou vždy existovat i ve virtuálnu, což tedy může setřít onen “rozdíl agresivity” obou světů, i za předpokladu, že je výsledná agresivita funkcí omezenosti zdrojů tak, jak popisuješ.

  2. martin said:

    Zajimave filozoficke cviceni, pokud se svet bude stavat komplexnejsim, pak se nutne stava i zranitelnejsim napr. globalni konflikt, nedostatek zdroju – proto si nemyslim ze clovek a jeho civilizace dosahne takovych urovni aby doslo na nektere teorie a popisy situaci z vaseho clanku.

  3. estonto said:

    Parádní článek!

  4. Petr Dudek said:

    Dobrý den.
    Výborný článek. Připravuji hru, která vychází z transhumanismu, takže mi i dost pomohl:-). Myslíte, že bych Vás mohl poprosit o případné konzultace?
    Díky moc

    Petr Dudek

  5. administrator said:

    @Petr Pripadne se ozvete na ondra zakroucenaryba nekola puntik cz

  6. Martin said:

    Myslim ze vyse zminovana energeticka narocnost vypoctu nas nemusi az tolik zajimat. Klasicky uvazujeme a programujeme tak ze iterativne zlepsujeme nebo ‘ucime’ nejakou strukturu a ta nam pak reaguje “inteligentne” v ramci parametru nebo se nektere projekty snazi o simulaci mozku (v malem meritku) jako celku a doufaji ze se jim tam objevi dostatecna ‘inteligence’. Ja si ale myslim ze toto jsou jen prvni kroky – podivejte se kam v oblasti umele inteligence smeruje Google. Podivejte se na toto video, je to nedavny tech talk : https://www.numenta.com/blog/jeffs-google-tech-talk.html Stavi se k vyvoji inteligentniho systemu tak jako nikdy predtim. Jak ten vedec zminuje zbyva mnoho problemu k reseni ale az se podle tohoto systemu (Sparse distributed representation) zacne stavet hardware, razem skoci moznosti kupredu. Opravdu neni nutne delat brute force a iterovat dokud nevyladime sit tak ze je ‘inteligentni’. Vim ze za tenhle post bych asi ruku do ohne nedal ale myslim ze to je zcela novy pristup ke zpracovani dat a k umele inteligenci vubec.

  7. prokop said:

    Celkově se mi článek líbí, mám podobný náhled na většinu věcí.

    Ale podobně jako bver bych nesouhlasil s
    “To téměř nutně povede k tomu, že přímí potomci lidí budou pro lidi podstatně nebezpečnější než umělé inteligence. Budou soupeřit o stejnou niku a jejich původ je předurčuje k větší dávce agresivity. Program tímto dědičným hříchem zatížen být nemusí.”

    Protože ve výsleku bude ekonomika/metabolizmus nějakého systému/organizmu limitována tím nedostatkovým zdrojem, kterým jsou v tomto případě zdroje fyzické ( energie,suroviny,prostor …). Je podle mě úplně jedno že bude 99% virtuálního zboží bude neomezeně kopirovatelné, právě proto že tak jeho cena bude nulová.

    Zásadní pro odpověď na otázku “kdo je nebezpečnější” je podle mě to kdo má jaké schopnosti. A myslím že je vcelku jasné že je pouze otázkou času kdy AI běžící na elektronickém (nebo jiném umělém harware) budou řádově schopnější než lidský mozek s jakoukoli augumentací alespoň vzdáleně připomínající současnou podobu člověka.

    Augumentace drogami ani genetickými modifikacemi (prostě cokoli bio- based, používající neurotransmirey a iontové elektrolyty jako neurony v mozku) podle mě nemá šanci dlouhodobě držet krok s umělým fyzikálně-elektronickým a optickým harware.

    Mě připadá ta otázka “kdo je pro lidstvo nebezpečněj, AI nebo augumenti?” celkově hloupě položená – protože obojí samo o sobě v podstatě jistotou vytlačí dnešní podobu člověka.

    A stejně jako Kevin Warvik jsem přesvědčen že pokusy tomu bránit nějakými restrikcemi technologického vývoje jsou patetické a naivní.

    Myslím že smysl má snažit se pouze o to aby ona “nová generace” v určité podobě spojitě navázala na dnešní lidstvo ( aby byly skutečně našimi dětmi, našim vývojem).

    ǔplně nejraši bych aby osobnost mne samotného se s pomocí augumentací postupně transformovala do této nové podoby (ale to bude dost možná problém …).

    Nejvíc mě děsí právě to že zajištění takové kontinuity transformace současného lidstva do nové podoby (augumentací dospělých) bude mnohem složitější než vytvoření “nové generace” AI “from scratch”.

    Co se týče koncové podoby si ale myslím že to je jedno – že vývoj bude konvergentní. Že ať už nové bytosti vnziknou augumentací lidí nebo “from scratch” jako AI, tak budou v podstatě stejné. Protože budou využívat ty nejefektivnější vzorce myšlení (na straně software) běžící na té nejefektivnější známé fyzikální platformě.

    I co se týče něhjaké psychologie / morálky / citů / žebříčku hodnot, budou ty bitosti (augumenti i AI) nakonec myslím dost podobné. Protože i naše psychologie a morálka vyplývá nějak z logiky ( třeba té teorie her ), a logika a matematika je pouze jedna.

Leave a Reply

Your email address will not be published. Required fields are marked *