OpenAI anunció el 31 de mayo sus esfuerzos para mejorar las capacidades de resolución de problemas matemáticos de ChatGPT, con el objetivo de reducir los casos de alucinaciones de inteligencia artificial (IA). OpenAI enfatizó la mitigación de las alucinaciones como un paso crucial hacia el desarrollo de AGI alineado.
En marzo, la introducción de la última versión de ChatGPT, GPT-4, impulsó aún más la inteligencia artificial en la corriente principal. Sin embargo, los chatbots generativos de IA han luchado durante mucho tiempo con la precisión de los hechos, generando ocasionalmente información falsa, comúnmente conocida como "alucinaciones". Los esfuerzos para reducir estas alucinaciones de IA se anunciaron a través de una publicación en su sitio web.
Las alucinaciones de IA se refieren a instancias en las que los sistemas de inteligencia artificial generan resultados que son objetivamente incorrectos, engañosos o no están respaldados por datos del mundo real. Estas alucinaciones pueden manifestarse de varias formas, como generar información falsa, inventar eventos o personas inexistentes o proporcionar detalles inexactos sobre ciertos temas.
OpenAI realizó una investigación para examinar la efectividad de dos tipos de retroalimentación: "supervisión de resultados" y "supervisión de procesos". La supervisión de resultados implica retroalimentación basada en el resultado final, mientras que la supervisión de procesos proporciona información para cada paso en una cadena de pensamiento. OpenAI evaluó estos modelos usando problemas matemáticos, generando múltiples soluciones y seleccionando la solución mejor calificada de acuerdo con cada modelo de retroalimentación.
Después de un análisis minucioso, el equipo de investigación descubrió que la supervisión de procesos producía un rendimiento superior, ya que animaba al modelo a adherirse a un proceso aprobado por humanos. Por el contrario, la supervisión de resultados resultó ser más difícil de examinar de forma coherente.
OpenAI reconoció que las implicaciones de la supervisión de procesos se extienden más allá de las matemáticas, y se necesita más investigación para comprender sus efectos en diferentes dominios. Expresó la posibilidad de que si los resultados observados son ciertos en contextos más amplios, la supervisión de procesos podría ofrecer una combinación favorable de desempeño y alineación en comparación con la supervisión de resultados. Para facilitar la investigación, la empresa hizo público el conjunto completo de datos de supervisión de procesos, invitando a la exploración y el estudio en esta área.
Relacionado: La demanda de IA catapulta brevemente a Nvidia al club de 1 billón de dólares
Aunque OpenAI no proporcionó instancias explícitas que impulsaron su investigación sobre las alucinaciones, dos hechos recientes ejemplificaron el problema en escenarios de la vida real.
En un incidente reciente, el abogado Steven A. Schwartz en el caso Mata v. Avianca Airlines reconoció confiar en el chatbot como recurso de investigación. Sin embargo, la información proporcionada por ChatGPT resultó ser completamente inventada, lo que destaca el problema en cuestión.
ChatGPT de OpenAI no es el único ejemplo de sistemas de inteligencia artificial que se encuentran con alucinaciones. La IA de Microsoft, durante una demostración de su tecnología de chatbot en marzo, examinó los informes de ganancias y generó cifras inexactas para empresas como Gap y Lululemon.
Magazine: 25 comerciantes apuestan en las selecciones de acciones de ChatGPT, la IA apesta en los lanzamientos de dados y más
Fuente: https://cointelegraph.com/news/here-s-how-openai-plans-to-cleanse-chatgpt-from-false-information