No tenemos ni idea de lo que viene

Nick Bostrom ya no está preocupado por el apocalipsis. Ahora le preocupa la utopía.

Por Spencer A. Klavan

Nick Bostrom ya no está preocupado por el apocalipsis. Ahora le preocupa la utopía.CréditoCrédito…El New York Times.

Nick Bostrom saltó a la fama por predecir el desastre de la inteligencia artificial hace más de una década — obteniendo el apoyo de figuras como Elon Musk, Sam Altman y Bill Gates. Pero ahora se está retirando de esas advertencias y centra su atención en una pregunta más compleja: ¿Qué pasa si la IA tiene éxito más allá de la imaginación más salvaje de la humanidad? ¿Nos aburriremos muchísimo? ¿Somos demasiado infantiles para entender lo que viene?

El presentador invitado Spencer Klavan, editor asociado de Claremont Review of Books, presiona a Bostrom sobre los posibles usos y abusos de la superinteligencia, la ética racionalista y lo que nos hace humanos.

El profeta favorito de Silicon Valley tiene una nueva advertencia

Nick Bostrom ya no está preocupado por el apocalipsis. Ahora le preocupa la utopía.

A continuación, se muestra una transcripción editada de un episodio de “Interesting Times.” Recomendamos escucharlo en su forma original para obtener el efecto completo. Puedes hacerlo usando el reproductor de arriba o en el Aplicación del New York Times, Manzana, Spotify, Música de Amazon, YouTube, Radio iHeart o donde sea que obtengas tus podcasts.

Spencer Klavan: Nick Bostrom, bienvenido a “Interesting Times.”

Nick Bostrom: Hola, Spencer. Me alegro de estar contigo.

Klavan: Quería comenzar obteniendo tu evaluación de dónde crees que están las cosas. Creo que el término técnico del arte que quiero invocar aquí es P (perdición), la probabilidad de que todo salga terriblemente mal.

Un investigador de Anthropic situó recientemente este porcentaje en torno al 10 por ciento o quizás incluso por encima. ¿Se trata de dónde estás? ¿Tienes una valoración diferente? En este punto, ¿cuál cree usted que es la probabilidad de una catástrofe?

Bostrom: No creo que mi perspectiva haya cambiado fundamentalmente. Veo más que el mundo ha cambiado.

Cuando comencé a trabajar en el primer libro “Superinteligencia” en 2008, en ese momento el mundo estaba en un lugar muy diferente. La gente descartaba todo esto como ciencia ficción. Y nadie, salvo quizás un puñado de personas, estaba pensando en los desafíos que surgirían si algún día desarrolláramos formas realmente poderosas de inteligencia artificial.

En ese momento, me pareció muy útil tratar de llamar la atención sobre los posibles obstáculos en el camino a seguir para que pudiéramos utilizar los años intermedios para prepararnos — para hacer nuestra tarea, básicamente, como investigar sobre alineación, etc.

Ahora, por supuesto, el discurso ha cambiado mucho y ahora es muy común pensar que la superinteligencia no es sólo una cosa de ciencia ficción–, sino una posibilidad real.

Por eso me pareció menos útil seguir haciendo ping a la misma cadena. Había otra cara de la moneda, que ya estaba siempre presente en mi mente —como el lado positivo y el negativo— y simplemente echar un vistazo a lo que sucedería si las cosas iban bien. Por ejemplo, si tomamos el mejor escenario posible, éste también tiene aspectos filosóficamente problemáticos.

Klavan: Me gustaría entrar en algunos detalles de cuáles podrían ser esos escenarios en breve, pero estos números se vuelven muy específicos. He invocado a un investigador antrópico, pero he visto a mucha gente decir que P (perdición) es 70 por ciento o 10 por ciento.

¿Puedes explicarnos el proceso de asignar un número a una probabilidad como esa? ¿Hay alguna matemática detrás de esto? ¿cómo funciona eso?

Bostrom: No, no lo hay. El número en sí sale de una caja negra y diferentes personas — Se supone que son expresiones de un grado subjetivo de incertidumbre y confianza.

No es posible calcular el número basándose en algún tipo de conjunto de suposiciones acordadas, lo que se refleja en el hecho de que diferentes personas obtienen números muy diferentes.

Mi opinión es que habrá riesgos reales asociados con esta transición a la era de la superinteligencia mecánica, incluidos riesgos existenciales. Deberíamos tomarlos en serio.

Si quieres una evaluación más cualitativa, diría que soy un optimista inquieto.

Klavan: Es decir, crees que existe una posibilidad real de que las cosas salgan bastante mal, pero tienes esperanza, crees que no está concluido para siempre.

Bostrom: Sí, estoy muy entusiasmado con las ventajas. Tengo la esperanza de que podamos llegar allí, pero me preocupa que no.

Klavan: Permanezcamos en nuestras ansiedades por un segundo y revolquémonos en ellas juntos. ¿Puedes darle un poco más de carne a estos posibles escenarios apocalípticos? ¿Cuáles son algunas de las cosas que podrían salir mal? ¿Cómo sería eso?

Bostrom: Creo que hay varios desafíos que tendríamos que afrontar para obtener un buen resultado aquí. Uno es el problema de alineación. Ésta es la dificultad técnica de desarrollar métodos escalables de control de IA. Básicamente, formas de garantizar que podamos seguir dirigiendo estos sistemas y lograr que hagan las cosas que pretendíamos que hicieran, en lugar de algo diferente, incluso cuando estos sistemas se vuelvan en última instancia arbitrariamente capaces. Ése es un desafío.

Creo que un tipo diferente de desafío es lo que podríamos llamar el problema de gobernanza. Suponiendo que logremos controlar esta tecnología, entonces surge la pregunta de qué fines le pondremos los humanos. A veces usamos nuestros poderes con malos fines — para hacer la guerra, para oprimirnos unos a otros, tal vez para concentrar el poder — para hacer todo tipo de cosas nefastas.

Entonces, el segundo desafío es: ¿podemos al menos hacer un trabajo razonablemente decente al desplazar los casos de uso predominantemente hacia lo positivo?

Klavan: Algunos de ellos se refieren a los escenarios que usted estaba contemplando en 2014 y por ahí — la cuestión de evitar o impedir que la gente invente tecnología para desastres. Pienso especialmente en su artículo sobre la hipótesis “del mundo vulnerable”, la idea de que existe alguna tecnología en algún lugar que, si se inventa, causará o podría causar un desastre instantáneo.

En ese artículo planteas un montón de cosas que podrían ser necesarias para evitar que esto suceda. Hablas de la posibilidad de una vigilancia masiva, de un gobierno mundial — todo tipo de cosas que serían, creo, bastante difíciles, desalentadoras y aterradoras de contemplar ahora, pero dices que tal vez esto empiece a parecer necesario.

¿Estáis todavía pensando en medidas de ese tipo? ¿Es eso todavía una posibilidad?

Bostrom: Bueno, debo aclarar que el artículo no defiende ninguna de esas cosas.

Klavan: No.

Bostrom: Considera esta posibilidad, si tenemos mala suerte. Y luego considero que, si ese fuera el caso, ¿qué tendría que ser cierto en el caso de una civilización que inventa esa tecnología para no ser devastada?

Dependiendo de la naturaleza de esa tecnología, si es una que de alguna manera incentiva los primeros ataques entre las grandes potencias, entonces podría requerir algún tipo de coordinación global. Si el problema con la tecnología es que hace que sea demasiado fácil para individuos al azar derribar civilizaciones, algún tipo de súper armas de destrucción masiva que podrías inventar en tu propia cocina usando materiales comunes, entonces parece que necesitarías hacer esta malla de vigilancia muy detallada para evitar que la gente haga eso.

Pero no hay garantía de que el mundo esté tan unido que lo tengamos fácil. De todos modos, ese es el papel. Simplemente intenta crear un marco para pensar cuáles podrían ser las diferentes situaciones posibles en las que podríamos encontrarnos.

Klavan: Bien. Cambiemos nuestro enfoque ahora y comencemos a pensar en lo que sucede si las cosas van bien — un tema más alegre, tal vez. Lo has estado escribiendo desde al menos 2024.

Su libro “Deep Utopia” trata sobre los escenarios que podemos esperar, la configuración óptima. ¿Puedes explicárnoslo? ¿Cómo se ve si esto va bien?

Bostrom: Si desarrollamos esta fuerte forma de superinteligencia, entonces creo que lo que eso significa es que, en todos los ámbitos, en todos los demás campos tecnológicos y económicos también, tendríamos un avance extremadamente rápido porque estas mentes superinteligentes estarían entonces haciendo la ciencia, la investigación y la actividad económica, pero a velocidades digitales.

Creo que tendríamos una especie de galope rápido hacia la realidad virtual perfecta o una cura para el envejecimiento o colonias espaciales o todo tipo de tecnologías casi de ciencia ficción–que no violen ninguna ley de la naturaleza. Son realmente difíciles.

La pregunta entonces es: en tales condiciones de madurez tecnológica, ¿cómo sería una buena vida humana? ¿Cómo sería para nosotros un camino futuro en estas circunstancias, en cierto sentido ideales?

Tengo este concepto de un mundo resuelto, que es la idea de madurez tecnológica más algún tipo de trabajo decente en cuestiones de gobernanza.

Imaginemos que todo el mundo recibe una porción y todo el mundo es libre. Lo que sucede entonces es que muchas de las limitaciones que actualmente dan forma a nuestras vidas humanas desaparecerían.

Podrías tener las IA y los robots realizando básicamente todas las tareas económicamente productivas. Entonces tenemos una sociedad de ocio en la que ya no es necesario que los humanos trabajen para recibir un sueldo.

Si eso fuera todo, entonces creo que obviamente requeriría cierta transformación y adaptación cultural. Pero en última instancia creo que podríamos imaginarnos fácilmente vivir en un mundo así.

Ya existen varios grupos de personas que no trabajan para ganarse la vida y que podrías consultar en busca de inspiración. Los niños pequeños no trabajan para ganarse la vida. Parecen tener una buena vida. Pasan tiempo con amigos, jugando, inventando cosas.

Klavan: Depende de si aspiras a vivir como niños.

Bostrom: Luego tenemos a los jubilados. Tenemos un factor de confusión: muchas personas jubiladas tienen mala salud y esas cosas, pero si imaginas a alguien que tiene suficiente dinero y una salud perfecta, a menudo tiene una vida estupenda. Van por ahí viajando y pasan tiempo con sus nietos. Tienen pasatiempos. Ellos ven películas. Ellos juegan al golf. Sea lo que sea, no es necesariamente una existencia distópica.

Klavan: Suena genial.

Bostrom: Luego están otras personas que tal vez tengan mucha riqueza independiente. No necesitan trabajar para ganarse la vida. Creo que habría cambios.

Por ejemplo, el sistema educativo actual está configurado para acoger a niños y luego producir trabajadores productivos con calificaciones de calidad adjuntas

Klavan: Éste es uno de tus discursos en tu libro, “Utopía profunda.”

Bostrom: Sí, es mi perorata. Siento simpatía porque en este momento el mundo necesita muchos trabajadores productivos, por lo que en cierto sentido no tenemos otra opción. Pero si ya no necesitáramos trabajadores productivos, entonces sería perverso seguir pensando en la educación simplemente como una preparación para ingresar a la fuerza laboral y conseguir un trabajo de oficina.

Tal vez entonces tener una educación más orientada a preparar a las personas para vivir una gran vida, cultivar el arte de la conversación, los pasatiempos, la espiritualidad, el bienestar físico, las artes.

Klavan: Ahora estás hablando mi idioma. Soy profesor universitario. Enseño literatura griega.

Bostrom: Oh, es bueno.

Klavan: No tienes que venderme una educación por una vida de ocio.

Pero ¿podemos entrar en lo que sucede entonces, cuando pelamos esa capa de cebolla?

Bostrom: Entonces piensas un poco más en esto y te das cuenta de que no son sólo nuestros esfuerzos económicos los que se volverían ociosos en un mundo resuelto, sino también muchos otros esfuerzos motivados instrumentalmente.

Alguien que quiera estar en buena forma física tiene que ir al gimnasio él mismo. No pueden contratar a un asistente para que levante las pesas en su nombre.

Klavan: Por mucho que me gustaría. Eso sería genial.

Bostrom: Sí. Quizás a otra persona le guste decorar su casa. Quieren elegir las cortinas, las almohadas, revisar los catálogos y luego, al final, pueden conseguirlo de la manera que sea adecuada para ellos, que realmente sientan que refleja sus propias preferencias.

Pero en la madurez tecnológica, tendrías sistemas de recomendación que conocerían tan bien tus preferencias que podrían simplemente seleccionar las cortinas, los cojines y el resto, y hacer un mejor trabajo que si te tomaras la molestia de hacerlo tú mismo. Aún podrías hacerlo tú mismo, pero podría parecer inútil.

Puedes repasar las diferentes cosas con las que las personas llenan su tiempo cuando no tienen que trabajar y parece que habría esta pregunta: ¿Todavía tiene sentido hacer esto si hubiera un atajo, un botón que pudieras presionar y que daría el mismo resultado?

Klavan: ¿No es el punto final de todo esto que presionas un botón y sientes un placer infinito, o de repente eres infinitamente sabio? ¿Qué reconfiguras tu entorno, tu mente? Te he leído hablando de esto.

Bostrom: Sí, tienes esta plasticidad. El mundo se vuelve plástico en el sentido de maleable a nuestros deseos, incluidos nosotros mismos. Hay muchas cosas que la gente hace ahora con el fin de alcanzar un determinado estado mental.

Klavan: Sí.

Bostrom: Quizás el corredor quiera el refuerzo de endorfinas al final, o realicemos alguna actividad porque nos da alegría. Pero en la madurez tecnológica, se podría inducir directamente la endorfina o la alegría.

Esto plantea una cuestión filosófica más profunda: qué es lo que en última instancia tiene significado. ¿Qué vale la pena hacer por sí mismo, no porque sea prácticamente útil para lograr otra cosa?

Klavan: ¿Cómo es exactamente llegar allí? Caminemos paso a paso desde aquí, en nuestros débiles y frágiles cuerpos humanos que viven y mueren, hacia la utopía profunda.

Abres un montón de posibilidades sobre cómo podría llegar de aquí para allá, incluida la modificación genética y la eugenesia. No estoy diciendo que estas sean cosas que has dicho que deberíamos hacer.

Bostrom: No. Creo que es importante aclararlo. Hay un capítulo en “Superinteligencia”, el libro anterior, donde considero diferentes caminos posibles que podrían dar lugar a la superinteligencia.

Una es la emulación de todo el cerebro, donde en lugar de construir estas mentes sintéticas completamente artificiales, intentarías hacer algo que se base muy estrechamente en cómo funciona el cerebro humano, como tal vez escáneres cerebrales detallados y luego implementar redes neuronales.

Una especie de copia pegada de esto, esa sería una segunda ruta hacia la inteligencia artificial. Entonces podríamos imaginar formas de mejoras en nuestras instituciones y herramientas de epistemología colectiva que permitan a los humanos resolver juntos problemas mucho más difíciles. Eso sería como una especie de superinteligencia colectiva.

Entonces podríamos imaginar quizás algunos medicamentos inteligentes, nootrópicos, que mejorarían nuestra memoria o concentración. O podrías imaginar alguna forma de mejoras genéticas.

Pero creo que la historia comenzó hace mucho tiempo, cuando alguien desarrolló una mejor manera de astillar un trozo de pedernal para crear un hacha mejor, y luego mejores formas de plantar semillas, y luego todo tipo de inventos —contabilidad de partida doble— hasta la era actual.

Tal vez nos estemos acercando al punto en el que podamos automatizar gran parte de este proceso de invención que luego podría acelerar las cosas radicalmente. Ése sería el camino más plausible si llegamos a la madurez tecnológica.

En nuestra vida, sin duda, probablemente seguiría el camino de la superinteligencia artificial.

https://www.nytimes.com/2026/10/01/opinion/interesting-times-podcast-spencer-klavan-nick-bostrom.html