Cada año, los empleados de OpenAI votan cuando creen que la inteligencia general artificial, o AGI, finalmente llegará. Se ve principalmente como una forma divertida de establecer vínculos, y sus estimaciones difieren ampliamente. Pero en un campo que aún debate si los sistemas autónomos similares a los humanos son posibles, la mitad del laboratorio apuesta que es probable que suceda dentro de 15 años.
En los cuatro años cortos de su existencia, OpenAI se ha convertido en uno de los principales laboratorios de investigación de IA en el mundo. Se ha hecho un nombre por sí mismo produciendo constantemente investigaciones que acaparan los titulares, junto con otros pesos pesados de IA como DeepMind de Alphabet. También es un favorito en Silicon Valley, contando a Elon Musk y al legendario inversor Sam Altman entre sus fundadores.
Por encima de todo, está adorado por su misión. Su objetivo es ser el primero en crear AGI, una máquina con los poderes de aprendizaje y razonamiento de una mente humana. El propósito no es dominar el mundo; más bien, el laboratorio quiere asegurarse de que la tecnología se desarrolle de manera segura y sus beneficios se distribuyan de manera uniforme al mundo.
La implicación es que AGI fácilmente podría enloquecer si se deja que el desarrollo de la tecnología siga el camino de menor resistencia. La inteligencia estrecha, el tipo de IA torpe que nos rodea hoy, ya ha servido como ejemplo. Ahora sabemos que los algoritmos son parcial y frágil; pueden cometer grandes abusos y grandes engaños; y el gasto de desarrollarlos y ejecutarlos tiende a concentrar su poder en manos de unos pocos. Por extrapolación, AGI podría ser catastrófico sin la cuidadosa guía de un pastor benevolente.
OpenAI quiere ser ese pastor, y ha diseñado cuidadosamente su imagen para ajustarse a la factura. En un campo dominado por corporaciones ricas, se fundó como una organización sin fines de lucro. Sus primer anuncio dijo que esta distinción le permitiría "crear valor para todos en lugar de los accionistas". Sus carta—Un documento tan sagrado que el salario de los empleados está vinculado a lo bien que se adhieren a él— declara además que el "deber fiduciario principal de OpenAI es con la humanidad". Lograr AGI de manera segura es tan importante, continúa, que si otra organización estuviera cerca de llegar primero, OpenAI dejaría de competir con él y colaboraría en su lugar. Esta atractiva narrativa juega bien con los inversores y los medios de comunicación, y en julio Microsoft inyectó al laboratorio una nueva cantidad de $ 1 mil millones.
Pero tres días en la oficina de OpenAI, y casi tres docenas de entrevistas con empleados, colaboradores, amigos y otros expertos en el campo pasados y actuales, sugieren una imagen diferente. Hay una desalineación entre lo que la empresa defiende públicamente y cómo funciona a puerta cerrada. Con el tiempo, ha permitido una feroz competitividad y una creciente presión para que cada vez más fondos erosionen sus ideales fundacionales de transparencia, apertura y colaboración. Muchos de los que trabajaban o trabajaban para la empresa insistieron en el anonimato porque no estaban autorizados a hablar o temían represalias. Sus cuentas sugieren que OpenAI, a pesar de todas sus nobles aspiraciones, está obsesionada con mantener el secreto, proteger su imagen y retener la lealtad de sus empleados.
Desde su concepción más temprana, la IA como campo se ha esforzado por comprender la inteligencia humana y luego volver a crearla. En 1950, Alan Turing, el renombrado matemático e informático inglés, comenzó un papel con la provocación ahora famosa "¿Pueden pensar las máquinas?" Seis años después, cautivados por la idea persistente, un grupo de científicos se reunió en el Dartmouth College para formalizar la disciplina.
"Es una de las preguntas más fundamentales de toda la historia intelectual, ¿verdad?" dice Oren Etzioni, CEO del Instituto Allen de Inteligencia Artificial (AI2), un laboratorio de investigación de IA sin fines de lucro con sede en Seattle. "Es como, ¿entendemos el origen del universo? ¿Entendemos la materia?
El problema es que AGI siempre ha sido vago. Nadie puede realmente describir cómo se vería o lo mínimo que debería hacer. No es obvio, por ejemplo, que solo hay un tipo de inteligencia general; La inteligencia humana podría ser solo un subconjunto. También hay opiniones diferentes sobre el propósito que AGI podría servir. En la visión más romántica, una inteligencia artificial sin la necesidad de dormir o la ineficiencia de la comunicación humana podría ayudar a resolver desafíos complejos como el cambio climático, la pobreza y el hambre.
Pero el consenso rotundo dentro del campo es que tales capacidades avanzadas tomarían décadas, incluso siglos, si es que es posible desarrollarlas. Muchos también temen que perseguir este objetivo con exceso de entusiasmo podría ser contraproducente. En la década de 1970 y nuevamente a fines de los 80 y principios de los 90, el campo se vio superado y no se entregó. Durante la noche, los fondos se agotaron, dejando profundas cicatrices en toda una generación de investigadores. "El campo se sentía como un remanso", dice Peter Eckersley, hasta hace poco director de investigación en el grupo de la industria Partnership on AI, del cual OpenAI es miembro.
En este contexto, OpenAI entró en el mundo con un toque el 11 de diciembre de 2015. No fue el primero en declarar abiertamente que estaba persiguiendo AGI; DeepMind lo había hecho cinco años antes y había sido adquirido por Google en 2014. Pero OpenAI parecía diferente. Por un lado, el precio de la etiqueta era impactante: la empresa comenzaría con $ 1 mil millones de inversores privados, incluidos Musk, Altman y el cofundador de PayPal Peter Thiel.
La lista de inversores repleta de estrellas provocó un frenesí mediático, al igual que la impresionante lista de empleados iniciales: Greg Brockman, que había dirigido tecnología para la compañía de pagos Stripe, sería el director de tecnología; Ilya Sutskever, que había estudiado con el pionero de IA Geoffrey Hinton, sería el director de investigación; y siete investigadores, recién graduados de las mejores universidades o extraídos de otras compañías, compondrían el equipo técnico central. (Febrero pasado, almizcle Anunciado que se estaba separando de la compañía por desacuerdos sobre su dirección. Un mes después, Altman Bajó como presidente del acelerador de inicio Y Combinator para convertirse en el CEO de OpenAI.)
Pero más que nada, el estado sin fines de lucro de OpenAI hizo una declaración. "Será importante tener una institución de investigación líder que pueda priorizar un buen resultado para todos por su propio interés", anuncio dijo. "Se alentará a los investigadores a publicar su trabajo, ya sea como documentos, publicaciones de blog o código, y nuestras patentes (si las hubiera) se compartirán con el mundo". Aunque nunca hizo explícitas las críticas, la implicación era clara: otros laboratorios, como DeepMind, no podían servir a la humanidad porque estaban limitados por intereses comerciales. Mientras estaban cerrados, OpenAI sería abierto.
En un panorama de investigación que se había privatizado cada vez más y centrado en ganancias financieras a corto plazo, OpenAI estaba ofreciendo una nueva forma de financiar el progreso en los problemas más grandes. "Fue un faro de esperanza", dice Chip Huyen, un experto en aprendizaje automático que ha seguido de cerca el viaje del laboratorio.
En la intersección de las calles 18th y Folsom en San Francisco, la oficina de OpenAI parece un misterioso almacén. El edificio histórico tiene paneles grises y ventanas tintadas, con la mayoría de las cortinas desplegadas. Las letras "PIONEER BUILDING", los restos de su antiguo dueño, la Pioneer Truck Factory, se envuelven en la esquina con pintura roja desteñida.
En el interior, el espacio es amplio y luminoso. El primer piso tiene algunos espacios comunes y dos salas de conferencias. Uno, un tamaño saludable para reuniones más grandes, se llama A Space Odyssey; la otra, más una cabina telefónica glorificada, se llama Infinite Jest. Este es el espacio al que estoy restringido durante mi visita. Tengo prohibido visitar los pisos segundo y tercero, que albergan los escritorios de todos, varios robots y casi todo lo interesante. Cuando es hora de sus entrevistas, la gente viene a mí. Un empleado me observa atentamente entre reuniones.
En el hermoso día de cielo azul que llego para encontrarme con Brockman, él se ve nervioso y cauteloso. "Nunca le hemos dado a alguien tanto acceso antes", dice con una sonrisa tentativa. Lleva ropa casual y, como muchos en OpenAI, luce un corte de pelo sin forma que parece reflejar una mentalidad eficiente y sin lujos.
Brockman, de 31 años, creció en una granja de pasatiempos en Dakota del Norte y tuvo lo que él describe como una "infancia tranquila y concentrada". Ordeñaba vacas, recolectaba huevos y se enamoraba de las matemáticas mientras estudiaba por su cuenta. En 2008, ingresó a Harvard con la intención de obtener una doble especialización en matemáticas e informática, pero rápidamente se inquietó para ingresar al mundo real. Se retiró un año después, ingresó al MIT y luego volvió a retirarse en cuestión de meses. La segunda vez, su decisión fue final. Una vez que se mudó a San Francisco, nunca miró hacia atrás.
Brockman me lleva a almorzar para sacarme de la oficina durante una reunión de toda la empresa. En el café al otro lado de la calle, habla sobre OpenAI con intensidad, sinceridad y asombro, a menudo trazando paralelos entre su misión y los logros históricos de la historia de la ciencia. Es fácil apreciar su carisma como líder. Al contar pasajes memorables de los libros que ha leído, se concentra en la narrativa favorita del Valle, la carrera de Estados Unidos hacia la luna. ("Una historia que realmente amo es la historia del conserje", dice, haciendo referencia a un famoso pero probablemente apócrifo cuento. "Kennedy se acerca a él y le pregunta: '¿Qué estás haciendo?' Y él dice: 'Oh, ¡Estoy ayudando a poner a un hombre en la luna! '") También está el ferrocarril transcontinental (" En realidad fue el último megaproyecto hecho completamente a mano … un proyecto de escala inmensa que era totalmente arriesgado ") y la bombilla incandescente de Thomas Edison (" Un comité de distinguidos expertos dijo 'Nunca funcionará', y un año después envió ”.
Brockman es consciente de la apuesta que OpenAI ha asumido, y sabe que evoca cinismo y escrutinio. Pero con cada referencia, su mensaje es claro: las personas pueden ser escépticas todo lo que quieran. Es el precio de atreverse mucho.
Aquellos que se unieron a OpenAI en los primeros días recuerdan la energía, la emoción y el sentido del propósito. El equipo era pequeño, formado a través de una estrecha red de conexiones, y la administración se mantuvo flexible e informal. Todos creían en una estructura plana donde las ideas y el debate serían bienvenidos por cualquiera.
Musk no jugó un papel importante en la construcción de una mitología colectiva. “La forma en que me lo presentó fue‘ Mira, lo entiendo. AGI podría estar muy lejos, pero ¿y si no es así? ", Recuerda Pieter Abbeel, profesor de la Universidad de California en Berkeley que trabajó allí, junto con varios de sus estudiantes, en los primeros dos años. "‘ ¿Qué pasa si es solo un 1% o 0.1% de probabilidad de que ocurra en los próximos cinco a 10 años? ¿No deberíamos pensarlo con mucho cuidado? "Eso resonó conmigo", dice.
Pero la informalidad también condujo a cierta vaguedad de dirección. En mayo de 2016, Altman y Brockman recibieron la visita de Dario Amodei, entonces investigador de Google, quien les dijo que nadie entendía lo que estaban haciendo. En una cuenta publicada en el neoyorquino, tampoco estaba claro que el equipo mismo lo supiera. "Nuestro objetivo en este momento … es hacer lo mejor que hay que hacer", dijo Brockman. "Es un poco vago".
No obstante, Amodei se unió al equipo unos meses después. Su hermana, Daniela Amodei, había trabajado anteriormente con Brockman, y él ya conocía a muchos de los miembros de OpenAI. Después de dos años, a pedido de Brockman, Daniela también se unió. "Imagínese, empezamos sin nada", dice Brockman. "Acabamos de tener este ideal que queríamos que AGI fuera bien".
Para marzo de 2017, 15 meses después, el liderazgo se dio cuenta de que era hora de concentrarse más. Así que Brockman y algunos otros miembros principales comenzaron a redactar un documento interno para trazar un camino hacia AGI. Pero el proceso rápidamente reveló un defecto fatal. A medida que el equipo estudió las tendencias dentro del campo, se dieron cuenta de que permanecer sin fines de lucro era financieramente insostenible. Los recursos computacionales que otros en el campo estaban usando para lograr resultados revolucionarios se duplicaron cada 3,4 meses. Quedó claro que "para seguir siendo relevantes", dice Brockman, necesitarían suficiente capital para igualar o superar este aumento exponencial. Eso requería un nuevo modelo organizativo que pudiera acumular dinero rápidamente, mientras que de alguna manera también se mantuviera fiel a la misión.
Desconocido para el público, y la mayoría de los empleados, fue con esto en mente que OpenAI lanzó su carta en abril de 2018. El documento re-articuló los valores centrales del laboratorio, pero cambió sutilmente el lenguaje para reflejar la nueva realidad. Junto con su compromiso de "evitar los usos habilitantes de IA o AGI que dañen a la humanidad o concentren indebidamente el poder", también enfatizó la necesidad de recursos. "Anticipamos la necesidad de reunir recursos sustanciales para cumplir nuestra misión", dijo, "pero siempre actuaremos diligentemente para minimizar los conflictos de intereses entre nuestros empleados y partes interesadas que podrían comprometer un amplio beneficio".
"Pasamos mucho tiempo interactuando internamente con los empleados para lograr que toda la empresa fuera comprada en un conjunto de principios", dice Brockman. "Cosas que tenían que permanecer invariables incluso si cambiamos nuestra estructura".
Ese cambio de estructura ocurrió en marzo de 2019. OpenAI eliminó su estado puramente sin fines de lucro mediante la creación de un brazo de "beneficio limitado", una organización con fines de lucro con un límite de 100 veces en los rendimientos de los inversores, aunque supervisada por un consejo que forma parte de una entidad sin fines de lucro . Poco después, anunció la inversión de mil millones de dólares de Microsoft (aunque no reveló que esto se dividió entre efectivo y créditos para Azure, la plataforma de computación en la nube de Microsoft).
Como era de esperar, el movimiento desencadenó una ola de acusaciones de que OpenAI estaba volviendo a su misión. En una publicación sobre Noticias Hacker poco después del anuncio, un usuario preguntó cómo un límite de 100 veces sería limitante: "Los primeros inversores en Google han recibido un retorno de aproximadamente 20x sobre su capital", escribieron. "¿Su apuesta es que tendrá una estructura corporativa que devuelva órdenes de magnitud más que Google … pero no desea" concentrar indebidamente el poder "? ¿Cómo funcionará esto? ¿Qué es exactamente el poder, sino la concentración de recursos?
La medida también sacudió a muchos empleados, que expresaron preocupaciones similares. Para calmar los disturbios internos, el liderazgo redactó un FAQ como parte de una serie de documentos de transición altamente protegidos. "¿Puedo confiar en OpenAI?" una pregunta hecha "Sí", comenzó la respuesta, seguida de un párrafo de explicación.
La carta es la columna vertebral de OpenAI. Sirve como trampolín para todas las estrategias y acciones del laboratorio. A lo largo de nuestro almuerzo, Brockman lo recita como una escritura, una explicación para cada aspecto de la existencia de la compañía. ("Por cierto", aclara a la mitad de una recitación, "Supongo que conozco todas estas líneas porque pasé mucho tiempo estudiando detenidamente para obtenerlas correctamente. No es como si estuviera leyendo esto antes de la reunión. ")
¿Cómo se asegurará de que los humanos continúen viviendo vidas significativas a medida que desarrolla capacidades más avanzadas? "Como escribimos, creemos que su impacto debería ser darles a todos libertad económica, para que puedan encontrar nuevas oportunidades que hoy en día no se pueden imaginar". ¿Cómo se estructurará para distribuir AGI de manera uniforme? “Creo que una utilidad es la mejor analogía para la visión que tenemos. Pero, de nuevo, todo está sujeto a la carta ". ¿Cómo compites para alcanzar AGI primero sin comprometer la seguridad? "Creo que existe absolutamente este importante acto de equilibrio, y nuestra mejor opción es lo que está en la carta".
5 minutos de lectura
Para Brockman, la adherencia rígida al documento es lo que hace que la estructura de OpenAI funcione. La alineación interna se trata como algo primordial: todos los empleados a tiempo completo deben trabajar en la misma oficina, con pocas excepciones. Para el equipo de políticas, especialmente Jack Clark, el director, esto significa una vida dividida entre San Francisco y Washington, DC. A Clark no le importa, de hecho, está de acuerdo con la mentalidad. Son los momentos intermedios, como la hora del almuerzo con colegas, dice, lo que ayuda a mantener a todos en la misma página.
En muchos sentidos, este enfoque funciona claramente: la empresa tiene una cultura impresionantemente uniforme. Los empleados trabajan largas horas y hablan incesantemente de sus trabajos durante las comidas y las horas sociales; muchos van a las mismas fiestas y se suscriben a la filosofía racional de "altruismo efectivo. " Hacen bromas usando terminología de aprendizaje automático para describir sus vidas: "¿De qué es una función tu vida?" "¿Para qué estás optimizando?" "Todo es básicamente una función minmax". Para ser justos, a otros investigadores de IA también les encanta hacer esto, pero las personas familiarizadas con OpenAI están de acuerdo: más que otros en el campo, sus empleados tratan la investigación de IA no como un trabajo sino como una identidad. (En noviembre, Brockman casado su novia de un año, Anna, en la oficina con un telón de fondo de flores dispuestas en un logotipo de OpenAI. Sutskever actuó como el oficiante; una mano de robot era el portador del anillo).
Pero en algún momento a mediados del año pasado, el estatuto se convirtió en algo más que comida de conversación a la hora del almuerzo. Poco después de cambiar a una ganancia limitada, el liderazgo instituyó una nueva estructura de pago basada en parte en la absorción de la misión por parte de cada empleado. Junto a columnas como "experiencia en ingeniería" y "dirección de investigación" en una pestaña de hoja de cálculo titulada "Escala técnica unificada", la última columna describe las expectativas relacionadas con la cultura para cada nivel. Nivel 3: "Entiendes e internalizas el estatuto de OpenAI". Nivel 5: "Usted se asegura de que todos los proyectos en los que usted y sus compañeros de trabajo trabajen sean consistentes con la carta". Nivel 7: "Usted es responsable de mantener y mejorar el estatuto, y responsabilizar a otros en la organización por hacer lo mismo".
La primera vez que la mayoría de la gente escuchó sobre OpenAI fue el 14 de febrero de 2019. Ese día, el laboratorio Anunciado nueva investigación impresionante: un modelo que podría generar ensayos y artículos convincentes con solo presionar un botón. Aliméntalo con una oración de El Señor de los Anillos o el comienzo de una noticia (falsa) sobre el robo en tiendas de Miley Cyrus, y escupiría párrafo tras párrafo de texto en la misma línea.
Pero también hubo una trampa: el modelo, llamado GPT-2, era demasiado peligroso para liberar, dijeron los investigadores. Si una tecnología tan poderosa cayera en las manos equivocadas, podría armarse fácilmente para producir desinformación a gran escala.
La reacción violenta entre los científicos fue inmediata. OpenAI estaba haciendo un truco publicitario, dijeron algunos. GPT-2 no estaba lo suficientemente avanzado como para ser una amenaza. Y si fue así, ¿por qué anunciar su existencia y luego impedir el escrutinio público? "Parecía que OpenAI estaba tratando de sacar provecho del pánico en torno a la IA", dice Britt Paris, profesora asistente en la Universidad de Rutgers que estudia la desinformación generada por la IA.
Para mayo, OpenAI había revisado su postura y anunciado planes para un "lanzamiento por etapas". Durante los siguientes meses, se lanzaron sucesivamente versiones más y más potentes de GPT-2. Mientras tanto, también participó con varias organizaciones de investigación para analizar el potencial de abuso del algoritmo y desarrollar contramedidas. Finalmente, lanzó el código completo en noviembre, después de haber encontrado, decía, "No hay pruebas sólidas de mal uso hasta ahora".
En medio de continuas acusaciones de búsqueda de publicidad, OpenAI insistió en que GPT-2 no había sido un truco. Fue, más bien, un experimento cuidadosamente pensado, acordado después de una serie de discusiones y debates internos. El consenso fue que, incluso si esta vez hubiera sido un poco exagerado, la acción sentaría un precedente para manejar investigaciones más peligrosas. Además, la carta había predicho que las "preocupaciones de seguridad" obligarían gradualmente al laboratorio a "reducir nuestra publicación tradicional en el futuro".
Este fue también el argumento que el equipo de políticas expuso cuidadosamente en su publicación de blog de seguimiento de seis meses, que discutieron cuando me senté en una reunión. "Creo que definitivamente es parte del marco de la historia de éxito", dijo Miles Brundage, un científico de investigación de políticas, al destacar algo en un documento de Google. "El líder de esta sección debería ser: Hicimos algo ambicioso, ahora algunas personas lo están replicando y aquí hay algunas razones por las que fue beneficioso".
Pero la campaña de medios de OpenAI con GPT-2 también siguió un patrón bien establecido que ha hecho que la comunidad de inteligencia artificial en general desconfíe. A lo largo de los años, los grandes y llamativos anuncios de investigación del laboratorio han sido acusados repetidamente de alimentar el ciclo de exageración de la IA. Más de una vez, los críticos también han acusado al laboratorio de hablar de sus resultados hasta el punto de caracterización errónea. Por estas razones, muchos en el campo han tendido a mantener OpenAI a distancia.
Esto no ha impedido que el laboratorio continúe vertiendo recursos en su imagen pública. Además de trabajos de investigación, publica sus resultados en publicaciones de blog de la compañía altamente producidas para las que hace todo de forma interna, desde la escritura hasta la producción multimedia hasta el diseño de las imágenes de portada para cada lanzamiento. En un momento, también comenzó a desarrollar un documental sobre uno de sus proyectos para rivalizar. una película de 90 minutos sobre AlphaGo de DeepMind. Finalmente, el esfuerzo se convirtió en una producción independiente, que Brockman y su esposa, Anna, ahora están financiando parcialmente. (También acepté aparecer en el documental para proporcionar una explicación técnica y un contexto para el logro de OpenAI. No fui compensado por esto).
Y a medida que el retroceso ha aumentado, también lo han hecho las discusiones internas para abordarlo. Los empleados se han frustrado por las constantes críticas externas, y el liderazgo teme que pueda socavar la influencia y la capacidad del laboratorio para contratar al mejor talento. Un documento interno destaca este problema y una estrategia de divulgación para abordarlo: "Para tener influencia política a nivel gubernamental, debemos ser vistos como la fuente más confiable en la investigación de ML (aprendizaje automático) y AGI", dice una línea debajo de la sección "Política". "El amplio apoyo y respaldo de la comunidad de investigación no solo es necesario para ganar tal reputación, sino que amplificará nuestro mensaje". Otro, en "Estrategia", dice: "Trate explícitamente a la comunidad de ML como parte interesada en comunicaciones. Cambie nuestro tono y los mensajes externos de modo que solo los antagonicemos cuando lo decidamos intencionalmente".
Había otra razón por la que GPT-2 había desencadenado una reacción tan aguda. La gente sintió que OpenAI estaba nuevamente volviendo a sus promesas anteriores de apertura y transparencia. Con la noticia de la transición con fines de lucro un mes después, la investigación retenida hizo que las personas sospecharan aún más. ¿Podría ser que la tecnología se haya mantenido en secreto en preparación para su licencia en el futuro?
Pero poco sabía la gente que esta no era la única vez que OpenAI había elegido ocultar su investigación. De hecho, había mantenido otro esfuerzo completamente secreto.
Hay dos teorías técnicas predominantes sobre lo que se necesitará para alcanzar AGI. En uno, todas las técnicas necesarias ya existen; solo es cuestión de descubrir cómo escalarlos y ensamblarlos. En el otro, debe existir un paradigma completamente nuevo; El aprendizaje profundo, la técnica dominante actual en IA, no será suficiente.
La mayoría de los investigadores se ubican en algún punto entre estos extremos, pero OpenAI siempre se ha sentado casi exclusivamente en el extremo de escala y ensamblaje del espectro. La mayoría de sus avances han sido el producto de hundir recursos computacionales dramáticamente mayores en innovaciones técnicas desarrolladas en otros laboratorios.
Brockman y Sutskever niegan que esta sea su única estrategia, pero la investigación estrictamente guardada del laboratorio sugiere lo contrario. Un equipo llamado "Previsión" realiza experimentos para probar hasta dónde pueden impulsar las capacidades de IA mediante el entrenamiento de algoritmos existentes con cantidades cada vez mayores de datos y potencia informática. Para el liderazgo, los resultados de estos experimentos han confirmado sus instintos de que la mejor estrategia basada en la computación del laboratorio es el mejor enfoque.
Durante aproximadamente seis meses, estos resultados estuvieron ocultos al público porque OpenAI ve este conocimiento como su principal ventaja competitiva. Los empleados y pasantes recibieron instrucciones explícitas de no revelarlos, y los que se fueron firmaron acuerdos de confidencialidad. Fue solo en enero que el equipo, sin la fanfarria habitual, publicó en silencio un papel en una de las principales bases de datos de código abierto para la investigación de IA. Las personas que experimentaron el intenso secreto en torno al esfuerzo no sabían qué hacer con este cambio. Notablemente, otro papel con resultados similares de diferentes investigadores se habían publicado unos meses antes.
Al principio, este nivel de secreto nunca fue la intención, pero desde entonces se ha convertido en habitual. Con el tiempo, el liderazgo se ha alejado de su creencia original de que la apertura es la mejor manera de generar beneficios AGI. Ahora, la importancia de guardar silencio queda impresionado en aquellos que trabajan con o en el laboratorio. Esto incluye nunca hablar con los reporteros sin el permiso expreso del equipo de comunicaciones. Después de mis visitas iniciales a la oficina, cuando comencé a contactar a diferentes empleados, recibí un correo electrónico del jefe de comunicaciones recordándome que todas las solicitudes de entrevistas tenían que pasar por ella. Cuando rechacé, diciendo que esto socavaría la validez de lo que la gente me decía, ella instruyó a los empleados para que la mantuvieran informada de mi alcance. Un mensaje de holgura de Clark, un ex periodista, más tarde elogió a la gente por mantener una tapa cerrada cuando un periodista estaba "husmeando".
En una declaración en respuesta a este secreto elevado, un portavoz de OpenAI se refirió a una sección de su carta. "Esperamos que las preocupaciones de seguridad y protección reduzcan nuestra publicación tradicional en el futuro", dice la sección, "al tiempo que aumentan la importancia de compartir la seguridad, la política y la investigación de normas". El portavoz también agregó: "Además, cada uno de nuestros lanzamientos se ejecuta a través de un proceso de riesgo de información para evaluar estas compensaciones y queremos publicar nuestros resultados lentamente para comprender los posibles riesgos e impactos antes de soltarse en la naturaleza".
Uno de los mayores secretos es el proyecto en el que OpenAI está trabajando a continuación. Las fuentes me lo describieron como la culminación de sus cuatro años anteriores de investigación: un sistema de IA capacitado en imágenes, texto y otros datos utilizando recursos computacionales masivos. Se asignó un pequeño equipo al esfuerzo inicial, con la expectativa de que otros equipos, junto con su trabajo, eventualmente se reincorporarán. El día que se anunció en una reunión de toda la empresa, no se permitió la asistencia de pasantes. Las personas familiarizadas con el plan ofrecen una explicación: el liderazgo cree que esta es la forma más prometedora de llegar a AGI.
El hombre que dirige la estrategia de OpenAI es Dario Amodei, el ex Googler que ahora se desempeña como director de investigación. Cuando lo conozco, me parece una versión más ansiosa de Brockman. Tiene una sinceridad y sensibilidad similares, pero un aire de energía nerviosa inestable. Parece distante cuando habla, con el ceño fruncido, una mano distraídamente tirando de sus rizos.
Amodei divide la estrategia del laboratorio en dos partes. La primera parte, que dicta cómo planea alcanzar capacidades avanzadas de inteligencia artificial, la compara con la "cartera de apuestas" de un inversor. Diferentes equipos en OpenAI están jugando diferentes apuestas. El equipo de idiomas, por ejemplo, tiene su dinero en una teoría que postula que la IA puede desarrollar una comprensión significativa del mundo a través del mero aprendizaje de idiomas. El equipo de robótica, por el contrario, está avanzando una teoría opuesta de que la inteligencia requiere una encarnación física para desarrollarse.
Como en la cartera de un inversor, no todas las apuestas tienen el mismo peso. Pero para fines de rigor científico, todos deben ser probados antes de ser descartados. Amodei apunta a GPT-2, con sus textos generados de manera notablemente realistas, como una instancia de por qué es importante mantener una mente abierta. "El lenguaje puro es una dirección que el campo e incluso algunos de nosotros éramos algo escépticos", dice. "Pero ahora es como," Wow, esto es realmente prometedor ".
Con el tiempo, a medida que las diferentes apuestas se elevan por encima de otras, atraerán esfuerzos más intensos. Luego polinizarán y combinarán. El objetivo es tener cada vez menos equipos que finalmente colapsen en una sola dirección técnica para AGI. Este es el proceso exacto que supuestamente ya ha comenzado el último proyecto de alto secreto de OpenAI.
La segunda parte de la estrategia, explica Amodei, se enfoca en cómo hacer que estos sistemas de IA en constante avance sean seguros. Esto incluye asegurarse de que reflejen los valores humanos, puedan explicar la lógica detrás de sus decisiones y puedan aprender sin dañar a las personas en el proceso. Los equipos dedicados a cada uno de estos objetivos de seguridad buscan desarrollar métodos que puedan aplicarse en todos los proyectos a medida que maduran. Las técnicas desarrolladas por el equipo de explicabilidad, por ejemplo, pueden usarse para exponer la lógica detrás de las construcciones de oraciones de GPT-2 o los movimientos de un robot.
Amodei admite que esta parte de la estrategia es algo azarosa, construida menos en base a teorías establecidas en el campo y más en la intuición. "En algún momento vamos a construir AGI, y para ese momento quiero sentirme bien acerca de estos sistemas que operan en el mundo", dice. "Cualquier cosa en la que no me siento bien actualmente, creo y recluto un equipo para centrarse en eso".
A pesar de toda la publicidad y el secreto, Amodei se ve sincero cuando dice esto. La posibilidad de fracaso parece perturbarlo.
"Estamos en una posición incómoda de: no sabemos cómo se ve el AGI", dice. "No sabemos cuándo va a suceder". Luego, con cuidadosa autoconciencia, agrega: “La mente de cualquier persona es limitada. Lo mejor que he encontrado es la contratación de otros investigadores de seguridad que a menudo tienen visiones que son diferentes de lo natural en lo que podría haber pensado. Quiero ese tipo de variación y diversidad porque esa es la única forma de atrapar todo ".
La cuestión es que OpenAI en realidad tiene poca "variación y diversidad", un hecho golpeado a casa en mi tercer día en la oficina. Durante el almuerzo que me concedieron para mezclarme con los empleados, me senté en la mesa más visiblemente diversa por un amplio margen. Less than a minute later, I realized that the people eating there were not, in fact, OpenAI employees. Neuralink, Musk’s startup working on computer-brain interfaces, shares the same building and dining room.
According to a lab spokesperson, out of the over 120 employees, 25% are female or nonbinary. There are also two women on the executive team and the leadership team is 30% women, she said, though she didn’t specify who was counted among these teams. (All four C-suite executives, including Brockman and Altman, are white men. Out of over 112 employees I identified on LinkedIn and other sources, the overwhelming number were white or Asian.)
In fairness, this lack of diversity is typical in AI. Last year a reporte from the New York–based research institute AI Now found that women accounted for only 18% of authors at leading AI conferences, 20% of AI professorships, and 15% and 10% of research staff at Facebook and Google, respectively. “There is definitely still a lot of work to be done across academia and industry,” OpenAI’s spokesperson said. “Diversity and inclusion is something we take seriously and are continually working to improve by working with initiatives like WiML, Girl Geek, and our Scholars program.”
Indeed, OpenAI has tried to broaden its talent pool. It began its remote Scholars program for underrepresented minorities in 2018. But only two of the first eight scholars became full-time employees, even though they reported positive experiences. The most common reason for declining to stay: the requirement to live in San Francisco. For Nadja Rhodes, a former scholar who is now the lead machine-learning engineer at a New York–based company, the city just had too little diversity.
But if diversity is a problem for the AI industry in general, it’s something more existential for a company whose mission is to spread the technology evenly to everyone. The fact is that it lacks representation from the groups most at risk of being left out.
Nor is it at all clear just how OpenAI plans to “distribute the benefits” of AGI to “all of humanity,” as Brockman frequently says in citing its mission. The leadership speaks of this in vague terms and has done little to flesh out the specifics. (In January, the Future of Humanity Institute at Oxford University released a report in collaboration with the lab proposing to distribute benefits by distributing a percentage of profits. But the authors cited “significant unresolved issues regarding … the way in which it would be implemented.”) “This is my biggest problem with OpenAI,” says a former employee, who spoke on condition of anonymity.
“They are using sophisticated technical practices to try to answer social problems with AI,” echoes Britt Paris of Rutgers. “It seems like they don’t really have the capabilities to actually understand the social. They just understand that that’s a sort of a lucrative place to be positioning themselves right now.”
Brockman agrees that both technical and social expertise will ultimately be necessary for OpenAI to achieve its mission. But he disagrees that the social issues need to be solved from the very beginning. “How exactly do you bake ethics in, or these other perspectives in? And when do you bring them in, and how? One strategy you could pursue is to, from the very beginning, try to bake in everything you might possibly need,” he says. “I don’t pensar that that strategy is likely to succeed.”
The first thing to figure out, he says, is what AGI will even look like. Only then will it be time to “make sure that we are understanding the ramifications.”
Last summer, in the weeks after the switch to a capped-profit model and the $1 billion injection from Microsoft, the leadership assured employees that these updates wouldn’t functionally change OpenAI’s approach to research. Microsoft was well aligned with the lab’s values, and any commercialization efforts would be far away; the pursuit of fundamental questions would still remain at the core of the work.
For a while, these assurances seemed to hold true, and projects continued as they were. Many employees didn’t even know what promises, if any, had been made to Microsoft.
But in recent months, the pressure of commercialization has intensified, and the need to produce money-making research no longer feels like something in the distant future. In sharing his 2020 vision for the lab privately with employees, Altman’s message is clear: OpenAI needs to make money in order to do research—not the other way around.
This is a hard but necessary trade-off, the leadership has said—one it had to make for lack of wealthy philanthropic donors. By contrast, Seattle-based AI2, a nonprofit that ambitiously advances fundamental AI research, receives its funds from a self-sustaining (at least for the foreseeable future) pool of money left behind by the late Paul Allen, a billionaire best known for cofounding Microsoft.
But the truth is that OpenAI faces this trade-off not only because it’s not rich, but also because it made the strategic choice to try to reach AGI before anyone else. That pressure forces it to make decisions that seem to land farther and farther away from its original intention. It leans into hype in its rush to attract funding and talent, guards its research in the hopes of keeping the upper hand, and chases a computationally heavy strategy—not because it’s seen as the only way to AGI, but because it seems like the fastest.
Yet OpenAI is still a bastion of talent and cutting-edge research, filled with people who are sincerely striving to work for the benefit of humanity. In other words, it still has the most important elements, and there’s still time for it to change.
Near the end of my interview with Rhodes, the former remote scholar, I ask her the one thing about OpenAI that I shouldn’t omit from this profile. “I guess in my opinion, there’s problems,” she begins hesitantly. “Some of them come from maybe the environment it faces; some of them come from the type of people that it tends to attract and other people that it leaves out.”
“But to me, it feels like they are doing something a little bit right,” she says. “I got a sense that the folks there are earnestly trying.”
Update: We made some changes to this story after OpenAI asked us to clarify that when Greg Brockman said he didn’t think it was possible to “bake ethics in… from the very beginning” when developing AI, he intended it to mean that ethical questions couldn’t be solved from the beginning, not that they couldn’t be addressed from the beginning. Also, that after dropping out of Harvard he transferred straight to MIT rather than waiting a year. Also, that he was raised not “on a farm,” but "on a hobby farm." Brockman considers this distinction important.
In addition, we have clarified that while OpenAI did indeed "shed its nonprofit status," a board that is part of a nonprofit entity still oversees it, and that OpenAI publishes its research in the form of company blog posts as well as, not in lieu of, research papers. We’ve also corrected the date of publication of a paper by outside researchers and the affiliation of Peter Eckersley (former, not current, research director of Partnership on AI, which he recently left).
