La novela 'Donde el agua trabaja' se alzó en julio con el primer Premio Internacional de Novela Breve Almadía Ventosa-Arrufat, dotado con 20.000 euros y por delante de más de 2.200 escritos llegados de 22 países. En sus bases, una condición meridianamente clara: participar implicaba declarar que la obra no se había escrito, ni parcial ni totalmente, con herramientas de IA. Ante cualquier indicio o sospecha, la obra quedaría descalificada independientemente de la fase del proceso. Pues bien, tras su publicación en septiembre y en plena presentación en España, al autor peruano David Silva Rojas, a la editorial y al jurado del concurso (que elogió el uso de sus silencios y su construcción) les ha salpicado el escándalo: El País ha destapado que, tras pasar el libro entero por el detector Pangram, la novela premiada contiene un 99% de texto generado por una IA. Qué es Pangram y qué promete. Antes de nada, las presentaciones: Pangram es un clasificador de texto basado en redes neuronales que intenta distinguir si un texto está hecho por un humano o por un modelo de lenguaje. Bajo el capó, una técnica de entrenamiento diseñada para reducir los falsos positivos y que, según sus autores, no discrimina a los hablantes no nativos de inglés, usa prompts espejo y además discierne por secciones. Pangram Labs, la empresa que está detrás y principal interesada en que su detector sea fiable y además, lo parezca, habla de un 0,0041 % de falsos positivos y un 0,34 % de falsos negativos. Un estudio independiente de la universidad de Chicago comparó Pangram con otros detectores comerciales y llegó a una conclusión: Pangram es menos propenso que el resto a la hora de clasificar texto humano como IA. El método de la detección. El experimento de El País no viene de la nada y no emplea solo 'Donde el agua trabaja': como cuenta Kiko Llaneras (ingeniero de datos y uno de los autores del artículo) en su perfil de X/Twitter, han pasado 175 éxitos por Pangram y los resultados del detector son impactantes: 4 de cada 10 superventas autopublicados en Amazon tienen al menos un 25 % escrito con IA. Su método de control dispone de tres controles: usaron 56 libros de 2019 - 2020, es decir, antes de ChatGPT (el otro a.C.), que dieron un 0 % de IA, textos sintéticos hechos con IA que el detector identificó como tales y otras de autores consagrados como Javier Cercas, Isabel Allende, Antonio Muñoz Molina, etc., que dieron todos un 0%. La calibración promete. En Xataka "No era un exilio, tampoco un refugio": la novela francófona de moda está siendo acusada de ser escrita con IA La sombra de una duda. Parafraseando la película de Hitchcock, dudar de un detector de IA de momento sigue siendo una buena idea. Hay pruebas serias que evidencian los límites del detector: si un ensayo humano pasa por una IA de consumo y lo modifica sustancialmente, Pangram los etiquetaba como humanos en un 41 % de los casos. Y una realidad del sector: OpenAI acabó retirando su detector tras reconocer su baja tasa de acierto y aunque tiene otra que en teoría es buenísima, no lanza al mercado. El propio periódico reconoce que Pangram no es infalible y, además, cualquiera puede ponerse con el detector y buscarle las cosquillas. Ángel L. Fernández Recuero explica paso a paso en Jot Down cómo un simple espacio añadido en un texto cambia el veredicto. El célebre arquitecto y divulgador Pedro Torrijos también lo ponía a prueba el mes pasado, cuando saltó la sospecha con la novela francófona de moda, dejándolo a la altura del barro a partir de un texto sencillo escrito a mano. Es cierto que el texto tiene aproximadamente una página de longitud (con una muestra menor, es más difícil detectar), pero merece mucho la pena leer con atención su experimento variando unas pocas palabras. El hilo de Pedro Torrijos no tiene desperdicio: de 100% humano a 100% IA cambiando solo dos frases El problema de fondo. Un porcentaje, aunque sea un 99%, no es una prueba de autoría. Aunque obviamente dé para levantar la sospecha e iniciar al menos una investigación y pedir los borradores del proyecto. Al fin y al cabo, estos sistemas estiman la probabilidad de que un texto se haya generado con IA, pero no dicen qué papel ha tenido la persona y cuál la máquina: la obra puede haber sido redactada o corregida por la IA, o puede que a la IA se le hayan ocurrido tramas o personajes. La línea es fina y a veces difusa. Hay un caso extremo que no es máquina-humano, sino humano-humano: el de las memorias de Agassi, que escribió el periodista J. R. Moehringer tras 250 horas de entrevistas en tres años y que firma el antiguo tenista. La pregunta no se reduce a si hay IA, sino a cuánta y cómo se usó. Eso sí, hay algo impepinable: las bases del concurso no dejan lugar a dudas. En cualquier caso, es un poco distópico que sea una IA la que determine si una obra está hecha con IA y que su veredicto funcione como una espada de Damocles: un falso positivo puede destruir una reputación, pero un falso negativo no cuesta nada. En Xataka | Un investigador se ha cansado de los textos escritos con IA y ha creado un detector que promete un 98% de acierto En Xataka | Anthropic explica cómo funciona la nueva marca de agua de Claude: no se ve, no se nota, (casi) no se puede borrar y no prueba nada Portada | ChatGPT - La noticia Según Pangram, 'Donde el agua trabaja' de David Silva Rojas es IA al 99%. El problema es el de siempre: que una IA no es infalible fue publicada originalmente en Xataka por Eva R. de Luis .
Según Pangram, 'Donde el agua trabaja' de David Silva Rojas es IA al 99%. El problema es el de siempre: que una IA no es infalible
La novela 'Donde el agua trabaja' se alzó en julio con el primer Premio Internacional de Novela Breve Almadía Ventosa-Arrufat, dotado con 20.000 euros y por delante de más de 2.200 escritos llegados de 22 países. En sus bases, una condición meridianamente clara: participar implicaba declarar que la obra no se había escrito, ni parcial ni totalmente, con herramientas de IA. Ante cualquier indicio o sospecha, la obra quedaría descalificada independientemente de la fase del proceso. Pues bien, tras su publicación en septiembre y en plena presentación en España, al autor peruano David Silva Rojas, a la editorial y al jurado del concurso (que elogió el uso de sus silencios y su construcción) les ha salpicado el escándalo: El País ha destapado que, tras pasar el libro entero por el detector Pangram, la novela premiada contiene un 99% de texto generado por una IA. Qué es Pangram y qué promete. Antes de nada, las presentaciones: Pangram es un clasificador de texto basado en redes neuronales que intenta distinguir si un texto está hecho por un humano o por un modelo de lenguaje. Bajo el capó, una técnica de entrenamiento diseñada para reducir los falsos positivos y que, según sus autores, no discrimina a los hablantes no nativos de inglés, usa prompts espejo y además discierne por secciones. Pangram Labs, la empresa que está detrás y principal interesada en que su detector sea fiable y además, lo parezca, habla de un 0,0041 % de falsos positivos y un 0,34 % de falsos negativos. Un estudio independiente de la universidad de Chicago comparó Pangram con otros detectores comerciales y llegó a una conclusión: Pangram es menos propenso que el resto a la hora de clasificar texto humano como IA. El método de la detección. El experimento de El País no viene de la nada y no emplea solo 'Donde el agua trabaja': como cuenta Kiko Llaneras (ingeniero de datos y uno de los autores del artículo) en su perfil de X/Twitter, han pasado 175 éxitos por Pangram y los resultados del detector son impactantes: 4 de cada 10 superventas autopublicados en Amazon tienen al menos un 25 % escrito con IA. Su método de control dispone de tres controles: usaron 56 libros de 2019 - 2020, es decir, antes de ChatGPT (el otro a.C.), que dieron un 0 % de IA, textos sintéticos hechos con IA que el detector identificó como tales y otras de autores consagrados como Javier Cercas, Isabel Allende, Antonio Muñoz Molina, etc., que dieron todos un 0%. La calibración promete. En Xataka "No era un exilio, tampoco un refugio": la novela francófona de moda está siendo acusada de ser escrita con IA La sombra de una duda. Parafraseando la película de Hitchcock, dudar de un detector de IA de momento sigue siendo una buena idea. Hay pruebas serias que evidencian los límites del detector: si un ensayo humano pasa por una IA de consumo y lo modifica sustancialmente, Pangram los etiquetaba como humanos en un 41 % de los casos. Y una realidad del sector: OpenAI acabó retirando su detector tras reconocer su baja tasa de acierto y aunque tiene otra que en teoría es buenísima, no lanza al mercado. El propio periódico reconoce que Pangram no es infalible y, además, cualquiera puede ponerse con el detector y buscarle las cosquillas. Ángel L. Fernández Recuero explica paso a paso en Jot Down cómo un simple espacio añadido en un texto cambia el veredicto. El célebre arquitecto y divulgador Pedro Torrijos también lo ponía a prueba el mes pasado, cuando saltó la sospecha con la novela francófona de moda, dejándolo a la altura del barro a partir de un texto sencillo escrito a mano. Es cierto que el texto tiene aproximadamente una página de longitud (con una muestra menor, es más difícil detectar), pero merece mucho la pena leer con atención su experimento variando unas pocas palabras. El hilo de Pedro Torrijos no tiene desperdicio: de 100% humano a 100% IA cambiando solo dos frases El problema de fondo. Un porcentaje, aunque sea un 99%, no es una prueba de autoría. Aunque obviamente dé para levantar la sospecha e iniciar al menos una investigación y pedir los borradores del proyecto. Al fin y al cabo, estos sistemas estiman la probabilidad de que un texto se haya generado con IA, pero no dicen qué papel ha tenido la persona y cuál la máquina: la obra puede haber sido redactada o corregida por la IA, o puede que a la IA se le hayan ocurrido tramas o personajes. La línea es fina y a veces difusa. Hay un caso extremo que no es máquina-humano, sino humano-humano: el de las memorias de Agassi, que escribió el periodista J. R. Moehringer tras 250 horas de entrevistas en tres años y que firma el antiguo tenista. La pregunta no se reduce a si hay IA, sino a cuánta y cómo se usó. Eso sí, hay algo impepinable: las bases del concurso no dejan lugar a dudas. En cualquier caso, es un poco distópico que sea una IA la que determine si una obra está hecha con IA y que su veredicto funcione como una espada de Damocles: un falso positivo puede destruir una reputación, pero un falso negativo no cuesta nada. En Xataka | Un investigador se ha cansado de los textos escritos con IA y ha creado un detector que promete un 98% de acierto En Xataka | Anthropic explica cómo funciona la nueva marca de agua de Claude: no se ve, no se nota, (casi) no se puede borrar y no prueba nada Portada | ChatGPT - La noticia Según Pangram, 'Donde el agua trabaja' de David Silva Rojas es IA al 99%. El problema es el de siempre: que una IA no es infalible fue publicada originalmente en Xataka por Eva R. de Luis .