¿Puede un detector de IA identificar correctamente el contenido de ChatGPT?
A medida que aumenta el uso de la IA para crear contenidos, también lo hacen las herramientas que intentan identificarlos. Escuelas, editoriales y empresas recurren a ellas para comprobar la posible autoría de un contenido. Pero ¿realmente pueden distinguir un texto escrito por una persona de uno creado con ChatGPT?
Un detector de IA analiza distintos patrones del lenguaje, como la previsibilidad de las frases, las estructuras repetidas, el vocabulario o el ritmo de escritura. A partir de estos elementos, calcula una puntuación que estima la probabilidad de que un texto haya sido generado artificialmente. Sin embargo, esta no demuestra por sí sola su autoría.
Por qué los resultados pueden ser incorrectos
Una respuesta copiada desde ChatGPT no incluye un certificado fiable de autoría. El software debe emitir un juicio estadístico utilizando únicamente el texto final. La escritura humana también puede presentar patrones parecidos.
Un estudiante cuidadoso puede utilizar una gramática clara y frases regulares. Un redactor comercial puede eliminar detalles personales durante la edición. Ambos textos podrían recibir una puntuación alta aunque fueran escritos por personas.
OpenAI retiró su propio clasificador de texto en julio de 2023 debido a su baja precisión. La empresa también señaló que su rendimiento era especialmente limitado con textos cortos.
Las investigaciones han señalado otro problema relevante para los usuarios. Algunos detectores han clasificado de forma incorrecta textos escritos por personas no nativas en inglés. Las frases directas y un vocabulario más limitado pueden influir en determinados resultados.
Las pruebas controladas no representan cada aula
Algunos sistemas de detección recientes han mostrado buenos resultados en pruebas realizadas bajo condiciones concretas y controladas. Sin embargo, estos resultados no necesariamente reflejan cómo funcionan en situaciones reales.
Los trabajos escolares pueden tratar temas muy diferentes. Los métodos de edición también cambian entre estudiantes y centros educativos. Además, los perfiles lingüísticos pueden diferir de los datos utilizados para entrenar el sistema.
El rendimiento también puede variar cuando el texto procede de un modelo generativo diferente o ha sido modificado después. Por eso, una cifra alta de precisión nunca describe el comportamiento de la herramienta en todas las situaciones reales.
El contenido editado resulta más difícil de detectar
La detección puede complicarse cuando alguien reescribe material generado. Cambiar ejemplos o modificar el orden puede alterar los patrones analizados. Añadir detalles personales también puede modificar la puntuación del sistema.
La paráfrasis puede disminuir la precisión de varias herramientas. Algunos estudios han encontrado peores resultados después de que los textos generados fueran modificados por personas o mediante sistemas automáticos.
También puede ocurrir el problema contrario después de una revisión humana. Un texto original puede recibir una puntuación más alta tras corregir su gramática. La edición puede eliminar errores y variaciones que antes contribuían a que el texto pareciera más espontáneo.
Recuerda que un porcentaje no puede explicar por sí solo cómo se ha creado o editado un texto.
Las muestras cortas ofrecen pruebas más débiles
Un párrafo breve proporciona menos material para el análisis. Por ende, una introducción o un comentario corto puede generar resultados menos estables.
Los textos largos aportan más patrones, pero la extensión no elimina todos los errores. El tema y el nivel de escritura siguen influyendo. El idioma y el historial de edición también pueden cambiar el resultado.
Probar el mismo texto en varias herramientas suele generar mayor confusión. Cada detector puede utilizar métodos, datos de entrenamiento y criterios diferentes.
¿Cómo debes utilizar el resultado?
Considera la puntuación como una señal dentro de una revisión más amplia. No debería utilizarse un único porcentaje como prueba definitiva de una infracción académica o profesional. Los profesores y editores pueden revisar otras pruebas:
- Comparar el texto con trabajos anteriores de la misma persona.
- Comprobar si las citas incluyen títulos inventados o datos sin respaldo.
- Revisar el historial del documento cuando existan versiones guardadas.
- Hablar sobre cambios llamativos antes de formular una acusación formal.
- Pedir al autor que explique sus fuentes y las principales decisiones tomadas durante la redacción.
Estas comprobaciones aportan un contexto que la puntuación automática no puede ofrecer. Los autores deberían guardar notas y borradores durante cada proyecto. Los esquemas pueden mostrar cómo se desarrolló una idea con el tiempo. El historial de versiones también puede ayudar cuando un texto original recibe una marca incorrecta.
La respuesta práctica
Un detector de IA puede identificar correctamente algunos textos de ChatGPT sin editar. No obstante, también puede pasar por alto contenido generado por IA o señalar como generado un texto escrito por una persona.
El resultado debería iniciar una revisión cuidadosa, nunca cerrarla. Las escuelas y empresas necesitan criterio humano antes de tomar decisiones importantes. Las herramientas de detección pueden apoyar una revisión responsable. Pero no pueden demostrar de forma fiable quién escribió un texto utilizando únicamente la versión final.
Todas las fuentes citadas fueron revisadas a profundidad por nuestro equipo, para asegurar su calidad, confiabilidad, vigencia y validez. La bibliografía de este artículo fue considerada confiable y de precisión académica o científica.
- Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., & Zou, J. Y. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7), Artículo 100779. https://doi.org/10.1016/j.patter.2023.100779
- Perkins, M., Roe, J., Vu, B., Postma, D., Hickerson, D., & McGaughran, J. (2024). Simple techniques to bypass GenAI text detectors: Implications for inclusive education. International Journal of Educational Technology in Higher Education, 21(1), Artículo 58. https://doi.org/10.1186/s41239-024-00487-w
- Wee, H. B., & Reimer, J. D. (2023). Non-English academics face inequality via AI-generated essays and countermeasure tools. BioScience, 73(6), 400–401. https://doi.org/10.1093/biosci/biad034
Este texto se ofrece únicamente con propósitos informativos y no reemplaza la consulta con un profesional. Ante dudas, consulta a tu especialista.
