https://bodybydarwin.com
Slider Image

L’AI pot escapar del nostre control i destruir-nos?

2022

"Va començar fa tres mil milions i mig d'anys en una bassa de merda, quan una molècula es va fer una còpia d'ella mateixa i es va convertir així en l'avantpassat final de tota la vida terrestre. Va començar fa quatre milions d'anys, quan els volums cerebrals van començar a escalar ràpidament a la línia d’homínids Fa cinquanta mil anys amb l’auge de l’ Homo sapiens Fa deu mil anys amb la invenció de la civilització Fa cinc-cents anys amb la invenció de la impremta Fa cinquanta anys amb la invenció de l’ordinador En menys de trenta anys, s’acabaran ”.

Jaan Tallinn va topar amb aquestes paraules el 2007, en un assaig en línia anomenat "Mirant cap a la singularitat". El "és" és civilització humana. La humanitat deixaria d’existir, va predir l’autor de l’assaig, amb l’aparició de la superintel·ligència o IA que supera l’intel·lecte humà en un ampli ventall d’àrees.

Tallinn, un programador informàtic nascut a Estònia, té una formació en física i una tendència a abordar la vida com un gran problema de programació. El 2003, havia co-fundat Skype, desenvolupant el backend per a l'aplicació. Va cobrar les seves accions després que eBay ho comprés dos anys més tard, i ara estava buscant alguna cosa per fer. "Fixar-se en la Singularitat" va escriure el codi informàtic, la física quàntica i les citacions de Calvin i Hobbes . Va quedar enganxat.

Tallinn aviat va descobrir que l’autor de l’assaig, el teòric autodidacta Eliezer Yudkowsky, havia escrit més de 1.000 articles i publicacions de blocs, molts d’ells dedicats a la superintel·ligència. Tallinn va escriure un programa per raspar els escrits de Yudkowsky a Internet, ordenar-los cronològicament i formatar-los per al seu iPhone. Després va passar la millor part d’un any llegint-los.

El terme "intel·ligència artificial o simulació d'intel·ligència en ordinadors o màquines" es va encunyar el 1956, només una dècada després de la creació dels primers ordinadors digitals electrònics. L'esperança del camp era inicialment alta, però cap als anys setanta, quan es van fer prediccions primerenques. No va sortir, va començar un "hivern AI". Quan Tallinn va trobar els assajos de Yudkowsky, l'AI estava renaixentant. Els científics estaven desenvolupant IA que excel·lien en àrees específiques, com guanyar als escacs, netejar el terra de la cuina i reconèixer la parla humana. (El 2007, la triomfadora victòria a Jeopardia! De Watson d´IBM estava encara a quatre anys de distància, mentre que el triomf a Go de l´AlphaGo de DeepMind va quedar vuit anys de baixa.) AIs, tan "estrets", com es deien, tenen capacitats sobrehumanes, però només en les seves àrees de domini específiques. Una IA de joc d’escacs no pot netejar el sòl ni portar-te del punt A al punt B. Però l’IU superintel·ligent, Tallinn va arribar a creure, combinarà una àmplia gamma de competències en una sola entitat .. Més d arkly, també pot utilitzar dades generades per humans que tinguin telèfons intel·ligents per excel·lir en la manipulació social.

Llegint els articles de Yudkowsky, Tallinn es va convèncer que la super intel·ligència podria conduir a una explosió o sobertura de IA que podria amenaçar l'existència humana Que les AIs ultra-intel·ligents ocupin el nostre lloc a l'escala evolutiva. i ens domina de la manera que dominem ara els simis. O, pitjor encara, exterminar-nos.

Després d’acabar l’últim dels assajos, Tallinn va disparar un correu electrònic a Yudkowsky tota la minúscula, com és el seu estil. i m jaan, un dels enginyers fundadors de skype, va escriure. Al final, va arribar al punt: "Estic d'acord que" la preparació per a l'esdeveniment de l'IA general que supera la intel·ligència humana és una de les tasques més importants per a la humanitat. Va voler ajudar. Quan va volar a la Badia per a altres reunions poc després, es va trobar amb Yudkowsky en un Panera Pan de Millbrae, Califòrnia, a prop d’on viu. La seva reunió es va allargar fins a quatre hores. En realitat, ha entès de veritat els conceptes i els detalls subjacents, recorda Yudkowsky. Això és molt rar Després, Tallinn va escriure un xec per 5.000 dòlars al Singularity Institute for Artificial Intelligence, el no lucratiu on Yudkowsky era un investigador. (L’organització va canviar el seu nom a Machine Intelligence Research Institute, o MIRI, el 2013). Des de llavors, Tallinn li ha donat més de 600.000 dòlars.

La trobada amb Yudkowsky va suposar un propòsit de Tallinn, enviant-lo en una missió per salvar-nos de les nostres pròpies creacions. Mentre va connectar el tema amb altres teòrics i informàtics, va iniciar una vida de viatges, donant converses a tot el món sobre l'amenaça que suposa la superintel·ligència. Tot i així, sobretot, va començar a finançar investigacions sobre mètodes que podrien donar a la humanitat una sortida: l'anomenada IA ​​amable. Això no vol dir que una màquina o un agent sigui especialment habilitat a parlar sobre el clima o que recordi els noms dels vostres fills. Tot i que la IA superintel·ligent pugui fer les dues coses. No vol dir que estigui motivat per altruisme o amor. Una fal·làcia freqüent és suposar que l’IA té uns desitjos i valors humans. Fently significa una cosa molt més fonamental: que les màquines de tom demà no ens esborrin en la seva cerca per assolir els seus objectius.

Nou anys després de la seva reunió amb Yudkowsky, Tallinn m'incorpora a un dinar al menjador del Jesus College de la Universitat de Cambridge. L’espai de l’església està enreixat amb vitralls, motllura d’or i pintures a l’oli d’homes en perruques. Tallinn s’asseu a una forta taula de caoba, porta la roba casual de Silicon Valley: texans negres, samarreta, sabatilles de lona. Un sostre de fusta abovedada s'estén molt per sobre del xoc dels cabells rosats de color gris.

Als 46 anys, Tallinn és d’alguna manera el vostre empresari tecnològic de llibres de text. Creu que gràcies als avenços en la ciència (i sempre que l'AI no ens destrueixi), viurà per many, molts anys. La seva preocupació per la superintel·ligència és habitual entre la seva cohort. La fundació de Peter Thiel, cofundadora de PayPal, ha donat 1, 6 milions de dòlars a MIRI, i el 2015, el fundador de Tesla, Elon Musk, va donar 10 milions de dòlars al Future of Life Institute, una organització de seguretat tecnològica a Cambridge, Massachusetts. L’entrada de Tallinn a aquest món poc freqüent es va produir darrere de la Cortina de Ferro als anys 80, quan el pare d’un company de classe amb feina governamental va donar a uns quants nens brillants accés als ordinadors del mainframe. Després que Estònia s’independitzés, va fundar una empresa de videojocs. Avui encara, Tallinn viu a la seva capital –que per una rau d’etimologia també es diu Tallinn– amb la seva dona i el menor dels seus sis fills. Quan vol reunir-se amb investigadors, sovint només els vola cap a la regió bàltica.

La seva estratègia de donar és metòdica, com gairebé tot el que fa. Reparteix els seus diners entre 11 organitzacions, treballant cadascuna en enfocaments diferents de la seguretat de l'AI, amb l'esperança que es pugui respectar. El 2012, va co-fundar el Cambridge Center for the Study of Existential Risk (CSER) amb un benefici inicial de prop de 200.000 dòlars.

Els riscos existencials o els riscos X, com els diu Tallinn, són una amenaça per a la supervivència de la humanitat. A més de la IA, els vint-i-cinc investigadors del CSER estudien el canvi climàtic, la guerra nuclear i les bioweapons. Però a Tallinn, la resta de disciplines ajuden principalment a legitimar l’amenaça de la intel·ligència artificial desbocada. "El que em diu és realment un medicament d'entrada. La preocupació per les amenaces més àmpliament acceptades, com ara el canvi climàtic, podria atraure a la gent. L'horror de les màquines superintel·ligents que assoleixen el món, espera, les convenç perquè es quedin." Ara és aquí per fer una conferència perquè vol que la comunitat acadèmica es prengui seriosament la seguretat de l’IA.

Els nostres companys de cuina són un assortiment aleatori de congressistes, inclosa una dona de Hong Kong que estudia robòtica i un home britànic que es va graduar a Cambridge als anys seixanta. L’home gran pregunta a tothom a la taula on assistia a la universitat. (La resposta de Tallinn, la Universitat d'Estònia de Tartu, no li impressiona.) Després tracta de dirigir la conversa cap a les notícies. Tallinn el mira en blanc. "No m'interessa cap risc a curt termini", afirma.

Tallinn canvia el tema per l'amenaça de la superintel·ligència. Quan no parlem amb altres programadors, ell fa de les metàfores per defecte, i ara passa per la seva suite: les IA avançades poden disposar-nos tan ràpidament com els humans tallar arbres. La superintel·ligència és per a nosaltres el que som de goril·les. El llatí, inscrit en el llatí damunt del cap, és una línia del Salm 133: "Què tan bo i agradable és que els germans visquin junts en unitat". Però la unitat està lluny del que Tallinn té en compte en un futur que conté una superintel·ligència malaurada.

Una IA necessitaria un cos per fer-se càrrec, diu l’home gran. Sense cap tipus de carcassa física, com podria obtenir un control físic? Tallinn té a punt una altra metàfora: "Posa'm en un soterrani amb connexió a Internet, i podria fer mal", afirma. Després agafa una picada de risotto.

Tant si és un Roomba com un dels seus descendents dominants mundials, una IA es basa en els resultats. Els programadors assignen aquests objectius, juntament amb una sèrie de normes sobre com perseguir-los. La IA avançada no necessàriament hauria de rebre l’objectiu de dominació mundial per assolir-la, només podria ser accidental. I la història de la programació informàtica està plena de petits errors que van provocar catàstrofes. El 2010, per exemple, un comerciant que treballava a la societat de fons mutualistes Waddell & Reed va vendre milers de contractes futurs. El programari de l'empresa va deixar fora una variable clau de l'algorisme que va ajudar a executar el comerç. El resultat va ser el "flash flag" dels bilions de dòlars dels Estats Units.

Els fons dels investigadors de Tallinn creuen que si l'estructura de recompenses d'una IA sobrehumana no està programada adequadament, fins i tot objectius benignes poden tenir finalitats insidioses. Un exemple conegut, que va exposar el filòsof de la Universitat d'Oxford, Nick Bostrom, en el seu llibre Superintel·ligència, és un agent de ficció dirigit a fer el major nombre de clips de paper possibles. L’AI podria decidir que els àtoms dels cossos humans s’utilitzessin millor com a matèria primera per a ells.

Els punts de vista de Tallinn tenen la seva part de detractors, fins i tot entre la comunitat de persones preocupades per la seguretat de l'AI. Alguns objecten que sigui massa aviat per preocupar-se de restringir la IA súper intel·ligent quan encara no ho entenem. D’altres diuen que centrar-se en els actors tecnològics nocius desvia l’atenció dels problemes més urgents que s’enfronten al camp, com el fet que la majoria d’algorismes estan dissenyats per homes blancs o basats en dades esbiaixades cap a ells. "Estem en perill de construir un món en el qual no volem viure si no abordem aquests desafiaments en un termini pròxim", afirma Terah Lyons, directora executiva de la Associació d'AI, una organització multidisciplinària centrada en Seguretat de l'AI i altres problemes. (Alguns dels instituts de Tallinn són membres.) Però, afegeix, alguns dels reptes a prop del termini que tenen davant els investigadors, com ara eliminar el biaix algorítmic, són precursors dels que la humanitat pot veure amb una IA superintel·ligent.

Tallinn no està tan convençut. Contraresta que la IA súper intel·ligent comporta amenaces úniques. En definitiva, espera que la comunitat de l'AI siga el lideratge del moviment antinuclear durant els anys quaranta. Arran dels bombardejos a Hiroshima i Nagasaki, els científics es van agrupar per intentar limitar les proves nuclears posteriors. "Els científics del Projecte Manhattan podrien haver dit:" Mira, estem fent innovació aquí, i la innovació sempre és bona, així que anem a avançar ", em diu. "Però eren més responsables que això."

Tallinn adverteix que qualsevol acostament a la seguretat de l'AI serà difícil d'aconseguir. Si explica una IA prou intel·ligent, podria comprendre millor les restriccions que els seus creadors. Imagineu-vos que diu despertar-se a una presó construïda per un grup de nens de 5 anys cecs "." Com podria ser una IA súper intel·ligent confinada pels humans.

Yudkowsky, el teòric, va trobar evidències que això podria ser cert quan, a partir del 2002, va realitzar sessions de xat en les quals feia el paper d’una IA tancada en una caixa, mentre que una rotació d’altres persones jugava al porter que tenia l’encàrrec de mantenir l’IA en Tres vegades sobre cinc, Yudkowsky és un simple mortal, diu que va convèncer el porter per alliberar-lo. Els seus experiments no han desanimat els investigadors a intentar dissenyar una caixa millor.

Els investigadors que els fons de Tallinn segueixen una àmplia varietat d’estratègies, des de la pràctica fins a laparentment extrema. Hi ha qui teoritza sobre la IA de la boxa, ja sigui físicament, mitjançant la construcció d’una estructura real per a contenir-la o programant en límits del que pot fer. D’altres intenten ensenyar IA a adherir-se a valors humans. Alguns treballen en un interruptor d’ultima rasa. Un dels investigadors que s’està endinsant en els tres és el matemàtic i filòsof Stuart Armstrong de la Universitat d’Oxford. El futur de l’Institut d’Humanitat, que Tallinn anomena el lloc més interessant de l´univers. (Tallinn té FHI té més de 310.000 dòlars.) Armstrong és un dels pocs investigadors al món que es dedica a la seguretat de l'AI a temps complet.

El trobo per prendre un cafè una tarda a una cafeteria d’Oxford. Porta una samarreta de rugbi desemmotllada al coll i té l’aspecte d’algú que es passa la vida darrere d’una pantalla, amb una cara pàl·lida emmarcada per un embolic de pèl de sorra. Afegeix les seves explicacions amb una desorientant barreja de populars- referències de cultiu i matemàtiques. Quan li pregunto què pot semblar tenir èxit en la seguretat de l'AI, em diu: "Has vist la pel·lícula Lego ? Tot és impressionant".

Una de les investigacions d’Armstrong va suposar un aproximació específica a la boxa anomenada oracle AI. En un document de 2012 amb Nick Bostrom, que va cofundar FHI, va proposar no només evitar la superintel·ligència en un dipòsit de sostingudes, però també restringir-la a respondre a les preguntes, com ara un quadre Ouija realment intel·ligent. Fins i tot amb aquests límits, una IA tindria un poder immens per reformular el destí de la humanitat manipulant subtilment els seus interrogadors. Per reduir la possibilitat que això passi, Armstrong ha proposat límits de temps a les converses o prohibir preguntes que puguin augmentar l'ordre mundial actual. També ha suggerit donar a l’oracle proxy mesures de supervivència humana, com la Dow Jones Industrial Average o el nombre de persones que creuen el carrer a Tòquio, i dir-li que es mantingui constant.

En definitiva, Armstrong creu que podria ser necessari crear, com l'anomena en un paper, un "botó de desactivació vermella": un interruptor físic o un mecanisme programat en una IA per apagar-se automàticament en cas de ruptura Però no és fàcil dissenyar aquest interruptor. No és només que una IA avançada interessada en l'autoconservació pugui evitar que es premi el botó. També pot resultar curiós per què els humans van idear el botó, activar-lo per veure què passa i fer-se inútil. El 2013, un programador anomenat Tom Murphy VII va dissenyar una IA que pogués ensenyar-se a jugar a jocs de Nintendo Entertainment System. Decidit a no perdre a Tetris, l'AI simplement va fer una pausa i va mantenir el joc gelat. "Realment, l'única jugada guanyadora no és jugar Murphy observat amb prudència, en un document sobre la seva creació.

Perquè l'estratègia tingui èxit, s'ha de desinteressar una IA en el botó, o, tal com diu Tallinn, "ha d'assignar un valor igual al món on no existeix i al món on existeix". Però encara que els investigadors puguin aconseguir-ho, hi ha altres reptes. Què passa si l'AI s'ha copiat diverses milers de vegades a Internet?

L’enfocament que més il·lusiona als investigadors és trobar una manera d’adherir l’IA als valors humans, no programant-los, sinó ensenyant-los els AI per aprendre’ls. En un món dominat per la política partidista, la gent sovint es basa en les formes en què es diferencien els nostres principis. Però, segons Tallinn, els humans tenen molt en comú: "Gairebé tothom valora la seva cama dreta. Simplement no hi pensem. ”L’esperança és que es pugui ensenyar a una IA a discernir aquestes regles immutables.

En el procés, una IA hauria d’aprendre i apreciar el costat menys que lògic dels humans: que sovint diem una cosa i volem dir una altra, que algunes de les nostres preferències entren en conflicte amb les altres, i que les persones són menys fiables quan estan borratxes. . Però les rutes de dades que deixem a les aplicacions i als mitjans socials poden proporcionar una guia. Malgrat els reptes, segons Tallinn creu, hem de provar perquè les apostes són tan altes. "Hem de pensar uns quants passos endavant", afirma. "Crear una IA que no comparteixi els nostres interessos seria un error horrible".

L’última nit de Tallinn a Cambridge, m’uneixo a ell i a dos investigadors per sopar en un restaurant de cuina britànica. Un cambrer assegura al nostre grup en un celler rentat de color blanc i amb un ambient similar a una cova. Ens lliura un menú d’una pàgina que ofereix tres tipus diferents. Una parella s’asseu a la taula del nostre costat, i uns minuts més tard demana que es traslladi a un altre lloc. "La dona es queixa massa claustrofòbia. Penso en el comentari de Tallinn sobre el dany que podria ocasionar-se si es tancava a un soterrani sense tenir cap connexió a Internet. Aquí estem, a la caixa. Com si fossin indicis, els homes contemplen formes de fer-se. a fora

Entre els convidats de Tallinn hi ha l'ex investigador de genòmica Seán Ó hÉigeartaigh, que és director executiu del CSER, i Matthijs Maas, investigador de polítiques de l'AI de la Universitat de Copenhaguen. Es bromegen sobre una idea per a una pel·lícula d'acció despullada titulada Superintel·ligència vs Blockchain! i parlem d'un joc en línia anomenat Universal Paperclips que es presenta en l'escenari del llibre de Bostrom. L’exercici consisteix a fer clic repetit sobre el ratolí per fer clips de paper. No és exactament cridaner, però té un sentit per què una màquina pot buscar maneres més ràpides de produir material d'oficina.

Al final, la conversa canvia cap a preguntes més grans, com sol passar quan Tallinn està present. L’objectiu final de la investigació en seguretat AI és crear màquines que, com ho va dir una vegada el filòsof de Cambridge i el cofundador de CSER, Huw Price, “èticament i cognitivament sobrehumà”. Altres han plantejat la pregunta: si no volem AI per dominar-nos, el volem dominar? En altres paraules, AI té drets? Tallinn diu que això és antropomorfitzar sense necessitat. Suposa que la intel·ligència és igual a la consciència, una concepció errònia que molesta a molts investigadors de l'AI. Anteriorment, l’investigador del CSER, Jose Hernandez-Orallo, va fer broma que quan parlava amb investigadors d’AI, la consciència és “la paraula C” (“I el" lliure albir "és la paraula F", va afegir.)

RELACIONAT: El que és, realment, treballar com a conductor de seguretat en un cotxe auto-conduït

A la bodega, Tallinn diu que la consciència és al mateix punt: “Prenem l’exemple d’un termòstat. Ningú diria que és conscient. Però és molt inconvenient posar-se en contacte amb aquest agent si esteu a una habitació que està fixada en 30 graus negatius. "

“Hi hauria de preocupar-se per la consciència”, diu, “però no tindrem el luxe de preocupar-nos per la consciència si no hem solucionat els reptes tècnics de seguretat.”

Tallinn diu que la gent es preocupa excessivament pel que és una IA superintel·ligent. Quina forma prendrà? Ens hem de preocupar d’una sola IA presa de possessió o d’un exèrcit d’ells? "L'important és fer allò que l'AI", subratlla. I això, creu, potser encara correspon als humans, de moment.

Aquest article es va publicar originalment al número de ciències populars d’Hivern de 2018 perills .

Quina és la millor palla?

Quina és la millor palla?

Un ictus va treure el sentit d’aquest passat i futur d’aquest neurocientífic

Un ictus va treure el sentit d’aquest passat i futur d’aquest neurocientífic

La teràpia electrosocial encara està en ús i podria ajudar a tractar la malaltia posttrausilògica

La teràpia electrosocial encara està en ús i podria ajudar a tractar la malaltia posttrausilògica