Cómo saber si un modelo ha aprendido de tus datos
Una marca de agua oculta en los datos de ajuste fino de un modelo de lenguaje, y una medida honesta de hasta qué punto puedes fiarte de ella.
El problema
Las empresas hacen ajuste fino de modelos de lenguaje con sus propios textos: contratos, documentación, correspondencia con clientes. Estos datos son valiosos y, una vez entrenado el modelo, es difícil demostrar de dónde ha aprendido lo que sabe. El propietario de los datos necesita una forma de comprobar más tarde si un modelo concreto se ha entrenado con ellos.
Qué hicimos
Propusimos una marca de agua a nivel de corpus que se incrusta en el conjunto de datos antes del entrenamiento. En cada texto, la elección entre sinónimos se inclina ligeramente según una clave secreta, y la marca codifica un mensaje de unos pocos bits con un código de corrección de errores. La detección solo requiere la clave y se hace mediante una prueba estadística (generalized likelihood ratio) cuyos valores p se calibran con permutaciones. Añadimos una prueba de permutaciones con 5.000 repeticiones, intervalos de confianza y un análisis de potencia.
Qué mostró
El artículo informa con honestidad también de los resultados que no favorecen al método:
- con textos cortos de unas 100 palabras el canal funciona, pero es demasiado débil para detectarse de forma fiable;
- al generar con Mistral 7B en 12 configuraciones y 12.720 textos, la detección es del 0 % con una calidad de texto muy alta (en torno al 99,8 %);
- en casos base limitados hay detección positiva: 8,9 % sin conexión (offline), 5,0 % con Mistral 7B y 3,0 % con Llama2-13B.
Las limitaciones y el uso ético se describen en detalle, junto con las líneas hacia canales semánticos más fuertes y detectores basados en modelos.
Por qué entonces
El artículo salió en septiembre de 2025, cuando el ajuste fino de modelos con datos propios se generalizó y la pregunta de con qué datos se ha entrenado un modelo se volvió práctica para muchas organizaciones. Ofrece un método y, igual de importante, una medida clara de hasta qué punto puedes fiarte de él.
La publicación
Ivo Gergov, Georgi Tsochev. Watermarking Fine-Tuning Datasets for Robust Provenance. Applied Sciences 15, 10457 (MDPI, 2025). doi:10.3390/app151910457