Los modelos de inteligencia artificial son más alucinaciones (y no claramente razón)
Infierno para ella Siempre fue un problema En cuanto a los modelos del Truceto: la misma estructura que les permite ser creativos y producir un texto y las imágenes también lo hacen vulnerable a la creación de cosas. El problema de las alucinaciones no mejora con el progreso de los modelos de inteligencia artificial, de hecho, empeora.
En nuevo Informe técnico De OpenAi (a través de New York TimesLos detalles de la compañía sobre cómo Hallmus O3 y O4-Mini para los últimos 51 por ciento y 79 por ciento, respectivamente, sobre el estándar de inteligencia artificial conocida como SimpleQA. Para el modelo O1 anterior, la tasa de alucinaciones simples es del 44 por ciento.
Estos son personajes altos increíbles, y se dirigen en la dirección equivocada. Estos modelos Conocido como modelos de pensamiento Porque piensan en sus respuestas y las dan más lentamente. Obviamente, según la prueba privada de OpenAI, este pensamiento en las respuestas deja más error y falta de precisión.
Los hechos incorrectos no se limitan a OpenAI y ChatGPT. Por ejemplo, no tardó mucho en probar la función de descripción general de Google AI Consigue que cometa un errorLa incapacidad de la inteligencia artificial para retirar adecuadamente la información de la web Ha sido bien documentado. Recientemente, Bot ha anunciado soporte para la aplicación AI App App Cursor Ya no se ha hecho.
Pero no encontrará muchas señales de estas alucinaciones en anuncios emitidos por compañías de inteligencia artificial sobre sus últimos y más grandes productos. Junto con el uso de energía y Violación de los derechos de autorHalosa es algo que prefiere los grandes nombres en la inteligencia artificial.
En breve, no noté mucho de la inexactitud al usar la búsqueda de inteligencia artificial y robots; la tasa de error definitivamente no está cerca del 79 por ciento, aunque se cometen errores. Sin embargo, esto parece ser un problema que puede nunca desaparecer, especialmente porque los equipos que trabajan en modelos de inteligencia artificial no entienden completamente la causa de las alucinaciones.
En las pruebas administradas por la plataforma AI Vectera, los resultados Demasiado mejorY si no es perfecto: aquí, muchos modelos muestran alucinaciones del uno al tres por ciento. El O3 OpenAI 6.8 por ciento, con el último (más pequeño) O4-Mini en un 4,6 por ciento. Esto está más en línea con mi experiencia al interactuar con estas herramientas, pero incluso un número muy bajo de alucinaciones puede significar un gran problema, especialmente porque transferimos más y más tareas y responsabilidades a estos sistemas de inteligencia artificial.
Encontrar las causas de las alucinaciones
Chatgpt sabe que el pegamento no se coloca en la pizza, al menos.
Crédito: Lifehaacker
Nadie sabe realmente cómo arreglar las alucinaciones, o definir sus razones por completo: estos modelos no están diseñados para seguir las reglas especificadas por sus programadores, sino que elijan su forma de trabajar y responder. Dile al CEO de Vectara Amr Awadallah New York Times Los modelos de inteligencia artificial «siempre» alucinaciones «, y que estos problemas» nunca desaparecerán. «
«Todavía no sabemos cómo funcionan exactamente estos modelos», dijo la Universidad de Washington, Hanna Hogshirzi, que trabaja en formas de reflejar las respuestas de los ingenieros de la inteligencia artificial. El New York Times. Al igual que explorar y solucionar errores un problema con su automóvil o su computadora, debe saber el error que sucedió al hacer algo al respecto.
Según el investigador Neil Chaudhry, del laboratorio de IA, la forma en que se construyen los modelos problemáticos pueden aumentar. Y él le dijo TechCrunch.
¿Qué piensas hasta ahora?
En el informe de desempeño de OpenAI, se mencionó el problema del «conocimiento menos global», mientras que el modelo O3 tiende a hacer más afirmaciones que su predecesor, lo que conduce a más alucinaciones. Al final, aunque «se necesita más investigación para comprender la causa de estos resultados», según OpenAi.
Hay muchas personas que hacen esta investigación. Por ejemplo, académicos de la Universidad de Oxford Publicar una forma Revelar la posibilidad de alucinaciones midiendo el contraste entre las salidas de la IA múltiple. Sin embargo, esto cuesta más en términos de tiempo y tratamiento del tratamiento, y realmente no resuelve el problema de las alucinaciones; solo le dice cuándo es más probable.
Si bien permitir que la inteligencia artificial sea expulsada para verificar sus hechos en la web puede ayudar en ciertas situaciones, no es particularmente bueno en esto también. Carecen (y no tendrán) el sentido humano simple que dice El pegamento no debe colocarse en la pizza O que $ 410 para Starbucks Coffee Está claro que está mal.
Lo que está claro es que los robots de inteligencia artificial no se pueden confiar todo el tiempo, a pesar de un tono seguro, si te dan Resúmenes de noticiasy Asesoramiento legalO Copiar entrevista. Es importante recordar que estos modelos de inteligencia artificial parecen cada vez más en nuestra vida personal y práctica, y es bueno reducir la inteligencia artificial en el uso de casos en los que se preocupan menos las alucinaciones.
Divulgación: la madre de Lifehacker, Zif Davis, presentó una demanda contra Operai en abril, su afirmación de que había violado los derechos de autor de Ziff Davis en la capacitación y la operación de sus sistemas de IA.
