La decisión racional es la mas factible de resolver por las máquinas, ya que su principal instrumento es la lógica. La principal valla de esto, son los inputs, que los seres humanos contamos naturalmente (pero igual limitadamente) con el medio natural/social.
La que creo no sería resulta por una IA dada su no conexión con lo natural, es la emocional. Sin embargo la decisión emocional ha sido cercada mediante bigdata (entendimiento del comportamiento "azaroso" del humano).
En resumen la IA será racional?, si. Será emocional?, no. Pero si entenderá lo que el humano quiere y desea
Como funciona ChatGPT:
1)Un language model es entrenado mediante unsupervised learning sobre un corpus de texto gigantesco (todo el texto de internet, libros, etc), lo cual es relativamente fácil y barato. Solo es capaz de predecir el siguiente token (palabra) en una secuencia, por ejemplo:
input: Hola como
output: estas
output: ?
Input: Boric es
output: un
output: gran
output: presidente
output: .
Un language model con un trillón de parametron es extraordinariamente bueno prediciendo tokens con inputs (prompts) largos y outputs largos que hacen sentido para los humanos.
2)Luego contratas muchos humanos bastante capaces, lo cual es muy caro, y creas una base de datos de pares prompt-texto, de altísima calidad. En el caso de ChatGpt, principalmente preguntas-respuestas. Afinas el modelo general con este set. Esto se llama supervised fine-tuning.
3) Tomas una base de datos de prompts altamente variada, que sea una buena muestra de las preguntas que las personas le haran a ChatGPT. Contratas muchos humanos (no necesariamente tan capaces) y les asignas la tarea de calificar la calidad de las respuestas, por ejemplo, de 1 a 7.
En base a este par de respuesta-calificación, entrenas otro modelo más pequeño (1 o 2 órdenes de magnitud menos de parametros) usando supervise learning. Esto se llama reward model.
4)Luego usas el Reward model(3), para mejorar el modelo tuneado(2). Tomas tu base de datos de prompts, hacer que el modelo tuneado(2) genere una respuesta. El Reward model(3) le asigna una calificacion. La calificación es usada para mejorar el modelo tuneado mediante reinforcement learning.
Nota: No solo calificas la respuesta con el reward model, sino también la comparas con la respuesta generada con el modelo original(1) para que la optimización del reward model no rompa las reglas gramaticales y mantenga el conocimiento del modelo general(1) para genera texto de alta calidad.
Como podría esto aprender matemáticas y otras habilidades?
1) Mi primera aproximación fue pensar que las matemáticas u otros dominios son muy diferentes a languaje, debería ser un modelo separado que identifique posibles preguntas de matemáticas u otros dominios y las envié a otros subsistemas. Las preguntas que no sean de matemáticas u otros dominos las envíe a ChatGPT. Debes seguir un proceso similar al descrito para entrenar un tercer model. Debes contratar mucha gente, bastante inteligente, que cree una base de datos de preguntas y redirecciones a otros sistemas formulando el problema y extrayendo parametros desde el texto.
2) Ahora pienso que quizás no sea necesario. Todavía usando mucha gente inteligente, las usas para crear respuestas que incluyan texto y una expresión del problema matemático u otros dominios usando quizás un DSL (domain specific language) que serán tratados por el sistema como cualquier otro token. Luego incorporas esta base de datos, en el paso (1), (2). En el criterio de calificación del paso (3) premias respuestas que tengan expresión en el DSL.
Cunado ChatGPT genere una respuesta con una expresión DSL, el subsistema adecuado genera la representación adicional: Fórmula matemática, mapa, diagrama, etc.
No soy experto en AI, seguro los boys de Altman podrán llegar a soluciones mejores de como incorporar esto, pero la solución siempre estará basada en ejemplos generados por humanos. El sistema sera tan bueno, según cuanto se gaste en crear estas bases de datos, que son intensivas en mano de obra altamente calificada. GPT es narrow AI, cada problema debe resolverse con un esfuerzo de ingeniería y recursos.
