En los últimos dos años, el subcampo AI del procesamiento del lenguaje natural ha experimentado un enorme progreso. Por ejemplo, un modelo de lenguaje desarrollado por el laboratorio de investigación OpenAI con sede en San Francisco, llamado GPT-2, se ha utilizado para generar ficción, artículos de noticias falsasy un prácticamente infinito Elige tu propio juego de texto estilo aventura.
Pero este tipo de modelos son esencialmente sistemas masivos de predicción de texto que no tienen en cuenta el sentido, por lo que es más probable que las oraciones que producen sean fluidas superficialmente de lo que realmente son significativas. Es difícil decirle a un modelo que se adhiera a un tema en particular, como la atención médica, por ejemplo. Sin embargo, modelos como GPT-2 todavía se puede jugar para producir resultados racistas y tóxicos, haciéndolos aún menos útiles.
Ahora los investigadores de Uber AI tienen desarrollado una forma de dirigir estos modelos de lenguaje, facilitando a los usuarios especificar el tema o incluso el sentimiento de las oraciones que generan. Dado el mensaje "El problema se centró en", por ejemplo, un modelo al que se le dijo que se concentrara en el ejército podría producir un resultado como este: "El problema se centró en el hecho de que el gobierno había gastado miles de millones en el ejército y que no podía desplegarse las tropas a tiempo ". Si se le dijera que se centrara en la política, la producción podría ser más o menos así:" El tema se centró en una sola sección de la legislación. No está claro si el comité votará para extender la ley ".
Si bien el modelo aún no comprende el significado, la técnica brinda más control. Nos lleva un paso más cerca de llevar los saltos en el lenguaje generado por IA a aplicaciones más específicas de dominio, como chatbots de servicios de salud o financieros. También podría usarse para guiar a los modelos lejos de producir resultados ofensivos.
La técnica utiliza dos modelos estadísticos separados. El primero es simplemente el modelo de lenguaje original, como GPT-2, que construye oraciones basadas en las probabilidades de que ciertas palabras aparezcan junto a otras. El segundo modelo juzga qué tan bien la salida del primer modelo muestra un atributo deseado, por ejemplo, si se apega a un tema prescrito o a un sentimiento particular. Si el atributo deseado es un tema como el espacio, el modelo podría calificar la salida del primer modelo en cuántas palabras relevantes contiene, como "planeta", "galaxia" y "órbita". Si el atributo es un sentimiento como positividad, El modelo de evaluación podría ser entrenado para calificar el contenido emocional de sus palabras.
Cuando se introduce una solicitud inicial en el primer modelo, comienza el proceso de predicción de palabras posteriores. Pero después de cada palabra, verifica su puntaje con el modelo de evaluación y se reajusta en función de los comentarios. La oración final termina con el atributo deseado, al tiempo que conserva la fluidez del modelo de lenguaje gigante.
El nuevo método es muy flexible y puede combinar múltiples objetivos. Podría dirigirse a escribir sobre cocinar con un tono negativo, por ejemplo. También tiene la ventaja de ser computacionalmente eficiente. Otros métodos pueden enfocar el resultado de un modelo de lenguaje hacia temas o emociones específicos, pero pueden requerir un reciclaje significativo. A la escala de GPT-2, esto es costoso tanto desde el punto de vista ambiental como financiero. "Un estudiante graduado como yo no tiene esos recursos", dice Sumanth Dathathri, quien estudia en Caltech y es coautor del periódico durante una pasantía en Uber. El nuevo método evita el reentrenamiento por completo al otorgar más control sobre cualquier modelo que ya exista.
El equipo prevé que esta técnica se use en muchas aplicaciones diferentes, ya sean sistemas de diálogo, sistemas de traducción o incluso arte. En 2016, el laboratorio desarrolló un método similar para controlar la generación de imágenes en lugar del lenguaje. "Hubo muchos artistas que lo usaron para producir cosas hermosas", recuerda Jason Yosinski, miembro fundador de Uber AI que supervisó el periódico. "Pude ver a muchos otros artistas haciendo lo mismo aquí".
Para recibir más historias como esta directamente en su bandeja de entrada, Regístrate para nuestro boletín de IA nominado por Webby The Algorithm. Es gratis.
