8 – Jaan Tallinn (eksistentsiaalne risk)8 – Jaan Tallinn (existential risk)

Jaan Tallinn on Eesti tehnoloogiasektori elav legend. Ta on Skype’i ja Kazaa üks tehnilisi autoreid, arendanud välja arvutimänge juba üheksakümnendate algusest ning investeerinud maailma tipp tehisintellekti arenevatesse ettevõtetesse Deepmind ja Anthropic. Taustaks, et Deepmind on tänaseks kogu Google’i tehisintellekti arenduskeskus nign Anthropic pakub kõige võimekamat ChatGPT alternatiivi nimega Claude.

Ka kõigest sellest oleks Jaaniga väga huvitav vestelda, kuid eelnevale lisaks on Jaan ka juba üle kümne aasta tegelenud tehisintellektist tuleneva eksistentsiaalse riskiga. Ta on Massachusettsi Tehnoloogiainstituudi juures asuva ⁠Future of Life instituudi kaasasutaja ning nende poolt paar kuud tagasi ilmunud avaliku pöördumise ⁠Pause Giant AI Experiments⁠ kaasautor. See kiri hoiatab nende samade eksistentsiaalsete riskide eest ja palub tehisintellekti arendavatel ettevõttetel uued arenduste pausile panna. Seda selleks, et inimkond suudaks suurte muutustega kohaneda ning töötada välja lähenemised, mis võimaldaks GPT-4st võimsamaid mudeleid ohjata ja enda kontrolli all hoida.

See kiri on tekitanud tehisintellekti arendajate seas erinevaid reaktsioone. Ühed ei näe hetkel loodud suurtel keelemudelitel põhinevates assistentides ohtu, kuna need on piiratud võimekusega, ennast mitte edasi arendavad ning eesmärke mitte omavad tööriistad. Teised kardavad, et oht on lähemal, kui me arvata oskame, ning isearenev ja end eksponentsiaalselt võimekamaks muutev tehisintellekt võib võimalikuks saada juba järgmise versiooniga.

Uurin Jaanilt, mis riske tema näeb ning mis mõju see avalik kiri avaldanud on.

Kes soovib vestluses välja toodud teemadesse edasi süveneda, soovitan tutvuda Eliezer Yudkowsky ⁠esseedel ja kirjutistega, mis aitavad näha, kuidas üks tehisintellekt võib tõesti inimkonna kas tahtlikult või kogemata hävitada. Kuigi tema vaated on võibolla dramaatilisemad ja radikaalsemad, kui tehnoloogia kogukonna keskmine, on see siiski hariv lugemine ning aitab vähemalt näha, kuidas see teoreetiliselt juhtuda võib.

Kui keegi soovib tutvuda selle mõtteviisi skeptikutega, tasub lugeda Yann LeCun (Meta), Andrew Ng ja François Chollet (Google) intervjuusid ja arvamuslugusid.

Lõppsõnas ette loetud lõik ajakirjanik Anton Hanseni esseest "Masinad ja Sõda", mis ilmus 1919. aasta "Tallinna Teatajas"

Ainult üks väike kartus võiks maad võtta. Te teate, teadus püüab elu ja ka hinge mehaaniliselt seletada, ning kes võiks selle vastu midagi öelda. Ehk on elu tõepoolest ainult mehaanika, tehnika? Aga siis võime ehk lõpuks nii täieliku masina leida, millele elu hing sisse tuleb. See oleks Beeltsebub, kelle meie ise välja kutsunud ja kelle taltsutamiseks meil puudub jõud. Meie eneste valmistatud masinad oleksid meist vägevamad – seda tõendavad juba praegusedki masinad niihästi tööstuses kui ka sõjas – ja meie asemel hakkaksid nemad ilma üle valitsema.

Masinad kirjutaksid seadusi, jutlustaksid uut usku, kõlblust ja looksid uut kunsti. Masinad palvetaksid, masinad kahetseksid pattu, masinad saaksid õndsaks. Masinad hakkavad altkäemaksu võtma, ja kui elanikud küllalt ei maksa, maksta ei jõua, siis panevad masinad tarbeainete vedamise seisma ning inimesed, kes masinad teinud ja need üleval peavad, nälgivad. Aga ükski ei pane seda imeks neilsinatsil päevil ja nii mõnigi näitab uhkusega masinate peale, öeldes: vaadake, seda oleme kõik meie teinud, see on meie kätetöö. Päikese ja kuu asemel kummardatakse tahmaseid masinaid. Siis on tõsine uus ajajärk, sest siis ei otsitaks enam ei elus, ei kunstis ega usus inimest, vaid ainult masinat.

Jaan Tallinn is a living legend in Estonia's technology sector. He is one of the technical creators of Skype and Kazaa, has been developing computer games since the early 1990s, and has invested in leading AI companies DeepMind and Anthropic. For context, DeepMind has become Google's AI development centre, while Anthropic offers the highly capable ChatGPT alternative Claude.

Any of that would make for a fascinating conversation. But Jaan has also spent more than a decade working on existential risks from AI. He is a co-founder of the Future of Life Institute, associated with the Massachusetts Institute of Technology, and a co-author of its open letter Pause Giant AI Experiments, published a couple of months ago. The letter warns about these existential risks and asks AI companies to pause new developments so that humanity can adapt to major changes and develop approaches for keeping models more powerful than GPT-4 under control.

The letter has prompted different reactions among AI developers. Some see no danger in today's assistants based on large language models, viewing them as tools with limited capabilities that neither improve themselves nor have goals of their own. Others fear that the danger is closer than we think, and that self-improving AI whose capabilities grow exponentially could become possible with the very next version.

I ask Jaan what risks he sees and what impact the open letter has had.

For anyone who wants to explore the topics raised in our conversation further, I recommend Eliezer Yudkowsky's essays and other writings. They help explain how an AI could, deliberately or accidentally, destroy humanity. Although his views may be more dramatic and radical than those of the technology community on average, they are educational reading and help show how this could happen in theory.

For sceptical perspectives on this line of thinking, look for interviews and opinion pieces by Yann LeCun (Meta), Andrew Ng, and François Chollet (Google).

The passage read at the end comes from journalist Anton Hansen's essay “Machines and War”, published in Tallinna Teataja in 1919. Translated from Estonian:

Just one small fear might take hold. As you know, science seeks to explain life and even the soul mechanically, and who could object? Perhaps life really is nothing but mechanics and technology? But then we may eventually discover a machine so complete that the breath of life enters it. It would be a Beelzebub we ourselves had summoned, and which we lacked the power to tame. The machines we made would be mightier than us—as today's machines already demonstrate in industry and war—and would begin to rule the world in our place.

Machines would write laws, preach a new religion and morality, and create new art. Machines would pray, machines would repent, machines would attain salvation. Machines would begin taking bribes, and if people did not pay enough, or could not afford to pay, the machines would stop transporting essential goods, and the people who made and maintained them would starve. But no one would marvel at this in those days, and many would point proudly at the machines and say: look, we made all of this; it is the work of our hands. Instead of the sun and moon, people would worship soot-covered machines. Then a truly new era would have arrived, for people would no longer seek the human in life, art, or religion, but only the machine.