La importante editorial académica Springer Nature está investigando un nuevo libro de texto sobre aprendizaje automático después de que un grupo de vigilancia lo descubriera plagado de citas inventadas, una señal reveladora de contenido generado por IA. El libro “Mastering Machine Learning” se publicó en abril de 2025.
Los defectos fueron expuestos porVigilancia de retracción a finales de junio. El caso pone de relieve la creciente amenaza que representa la IA para la integridad académica. Es el último de una serie de incidentes de alto perfil en los que modelos de IA han “alucinado” información convincente pero falsa.
La controversia plantea preguntas urgentes sobre los procesos de verificación de los editores y la necesidad crítica de supervisión humana a medida que la IA generativa se generaliza.
Editor investiga citas generadas por IA en un nuevo libro
El informe de Retraction Watch encontró que en una muestra del libro, dos tercios de 46 citas eran inexistentes o contenían errores sustanciales. Investigadores como Yehuda Dar y Aaron Courville, citados en el texto, confirmaron que las obras que se les atribuían eran falsas o tergiversadas.
Más información:
El autor del libro, Govindakumar Madhavan, es el fundador de SeaportAi y ha escrito muchos otros libros y cursos en vídeo. Irónicamente, su empresapromesaspara ayudar a "las organizaciones a construir sistemas de detección de fraude impulsados por IA que sean precisos, responsables y adaptables a las amenazas del mundo real. No respondió directamente a las preguntas sobre su uso de grandes modelos de lenguaje (LLM). En cambio, señaló que "determinar de manera confiable si el contenido (o un problema) es generado por IA sigue siendo un desafío, ya que incluso el texto escrito por humanos puede parecer 'similar a la IA'".
Esta respuesta elude la cuestión central del uso no declarado de la IA. Las políticas de Springer Nature establecen explícitamente que "cualquier envío debe realizarse con total supervisión humana, y cualquier uso de IA más allá de la edición básica debe declararse". Ellibrono contiene tal declaración.
En respuesta a los hallazgos, el editor confirmó: "Conocemos el texto y actualmente lo estamos investigando". El mismo día publicó unpublicación de blog sobre integridad de la investigación, que describe un proceso en el que los expertos en la materia deben garantizar la validez de un manuscrito.
Un patrón de IA "confiadamente equivocada"
Este incidente no es aislado, sino que refleja un desafío persistente en toda la industria conocido como alucinación por IA. Este fenómeno, en el que los modelos generan información segura pero falsa, ha causado repetidamente problemas en entornos profesionales de alto riesgo.
En mayo de 2025, los abogados de la firma de inteligencia artificial Anthropic tuvieron que disculparse formalmente ante el tribunal. Habían utilizado una cita legal inventada generada por su propio modelo Claude AI en una demanda por derechos de autor. La jueza federal Susan van Keulen destacó la “gran diferencia entre una citación perdida y una alucinación generada por IA”.
Tan solo un mes antes, los usuarios del editor de código Cursor AI recibieron información falsa de su robot de soporte, que inventó una política empresarial ficticia. El incidente provocó una disculpa pública. Al comentar sobre el tema más amplio, la ex jefa científica de decisiones de Google, Cassie Kozyrkov, afirmó: "los usuarios odian ser engañados por una máquina que se hace pasar por un humano".
Incluso los modelos más avanzados no son inmunes. Una investigación de abril de 2025 reveló que los modelos o3 y o4-mini más nuevos de OpenAI mostraban tasas de alucinaciones más altas que sus predecesores. Los investigadores teorizan que ciertos métodos de entrenamiento pueden amplificar estos problemas sin darse cuenta.
De la fabricación accidental al engaño deliberado
La amenaza a la integridad está pasando ahora de una fabricación accidental a una manipulación intencional. Una investigación recienteinformado por Nikkei en julio de 2025 descubrió una nueva forma de juego académico.
Se descubrió que los investigadores incorporaban comandos ocultos, conocidos como ataques de inyección rápida, en sus artículos para engañar a los sistemas de revisión de IA. Estas instrucciones invisibles fueron diseñadas para engañar a los sistemas de revisión impulsados por inteligencia artificial para que brinden comentarios positivos, una táctica que algunos defendieron como una trampa para los "revisores perezosos".
Sin embargo, la comunidad académica ha condenado en gran medida la práctica. El experto en integridad de la investigación, Satoshi Tanaka, de la Universidad Farmacéutica de Kioto, argumentó que “si se acepta un artículo basándose en una revisión de IA manipulada, constituye una ‘manipulación de revisión por pares’”. Esto representa un asalto directo al proceso de revisión por pares.
Una industria lucha por conseguir barreras éticas
Esta escalada de incidentes revela un sistema sometido a una presión inmensa, donde una cultura de “publicar o perecer” puede incentivar atajos y malas conductas. Las políticas fragmentadas de los editores sobre el uso de la IA crean un área gris que está lista para ser explotada.
En respuesta, organismos clave de la industria están comenzando a actuar. El Comité de Ética en Publicaciones (COPE) haemitió una nueva guía sobre la IA en la revisión por pares, enfatizando la necesidad de transparencia y una supervisión humana sólida. Esto se complementa con esfuerzos gubernamentales más amplios como elMarco de gestión de riesgos de IA del NIST.
Estas medidas señalan un reconocimiento formal del problema. Sin embargo, los expertos advierten que seguirán surgiendo nuevos métodos de engaño. El consenso es que las directrices deben evolucionar para prohibir completamente cualquier acto que socave el proceso de revisión, garantizando la rendición de cuentas en la era de la IA.
