igergov.com
← Artículos
PublicaciónModelos de lenguajeSeguridad · 3 min · BG EN ES DE

Cómo saber si un modelo ha aprendido de tus datos

Una marca de agua oculta en los datos de ajuste fino de un modelo de lenguaje, y una medida honesta de hasta qué punto puedes fiarte de ella.

El problema

Las empresas hacen ajuste fino de modelos de lenguaje con sus propios textos: contratos, documentación, correspondencia con clientes. Estos datos son valiosos y, una vez entrenado el modelo, es difícil demostrar de dónde ha aprendido lo que sabe. El propietario de los datos necesita una forma de comprobar más tarde si un modelo concreto se ha entrenado con ellos.

Qué hicimos

Propusimos una marca de agua a nivel de corpus que se incrusta en el conjunto de datos antes del entrenamiento. En cada texto, la elección entre sinónimos se inclina ligeramente según una clave secreta, y la marca codifica un mensaje de unos pocos bits con un código de corrección de errores. La detección solo requiere la clave y se hace mediante una prueba estadística (generalized likelihood ratio) cuyos valores p se calibran con permutaciones. Añadimos una prueba de permutaciones con 5.000 repeticiones, intervalos de confianza y un análisis de potencia.

Qué mostró

El artículo informa con honestidad también de los resultados que no favorecen al método:

  • con textos cortos de unas 100 palabras el canal funciona, pero es demasiado débil para detectarse de forma fiable;
  • al generar con Mistral 7B en 12 configuraciones y 12.720 textos, la detección es del 0 % con una calidad de texto muy alta (en torno al 99,8 %);
  • en casos base limitados hay detección positiva: 8,9 % sin conexión (offline), 5,0 % con Mistral 7B y 3,0 % con Llama2-13B.

Las limitaciones y el uso ético se describen en detalle, junto con las líneas hacia canales semánticos más fuertes y detectores basados en modelos.

Por qué entonces

El artículo salió en septiembre de 2025, cuando el ajuste fino de modelos con datos propios se generalizó y la pregunta de con qué datos se ha entrenado un modelo se volvió práctica para muchas organizaciones. Ofrece un método y, igual de importante, una medida clara de hasta qué punto puedes fiarte de él.

La publicación

Ivo Gergov, Georgi Tsochev. Watermarking Fine-Tuning Datasets for Robust Provenance. Applied Sciences 15, 10457 (MDPI, 2025). doi:10.3390/app151910457