igergov.com
← Статии
ПубликацияЕзикови моделиСигурност · 3 мин · BG EN ES DE

Как да разбереш дали моделът е учил от твоите данни

Скрит воден знак в данните за дообучаване на езиков модел, и честна мярка доколко може да се разчита на него.

Проблемът

Фирмите дообучават езикови модели върху собствени текстове: договори, документация, кореспонденция с клиенти. Тези данни са ценни, а след като моделът е обучен, е трудно да се докаже откъде е научил това, което знае. Нужен е начин собственикът на данните по-късно да провери дали даден модел е обучен с тях.

Какво направихме

Предложихме воден знак на ниво корпус, който се вгражда в набора от данни преди обучението. При всеки текст изборът между синоними се накланя леко според таен ключ, а в знака се кодира съобщение от няколко бита с код за поправка на грешки. Откриването става само с ключа, чрез статистически тест (generalized likelihood ratio), чиито p-стойности се калибрират с пермутации. Добавихме пермутационен тест с 5000 повторения, доверителни интервали и анализ на мощността.

Какво показа

Статията съобщава честно и резултатите, които не са в полза на метода:

  • при кратки текстове от около 100 думи каналът работи, но е твърде слаб, за да се открие надеждно;
  • при генериране с Mistral 7B в 12 конфигурации и 12 720 текста откриването е 0% при много високо качество на текста (около 99,8%);
  • в ограничени базови случаи има положително откриване: 8,9% офлайн, 5,0% при Mistral 7B и 3,0% при Llama2-13B.

Ограниченията и етичната употреба са описани подробно, заедно с посоките за по-силни семантични канали и детектори, базирани на модели.

Защо тогава

Статията излезе през септември 2025, когато дообучаването на модели върху собствени данни стана масово, а въпросът с чии данни е обучен един модел стана практически въпрос за много организации. Тя дава метод и, също толкова важно, ясна мярка доколко може да се разчита на него.

Публикацията

Ivo Gergov, Georgi Tsochev. Watermarking Fine-Tuning Datasets for Robust Provenance. Applied Sciences 15, 10457 (MDPI, 2025). doi:10.3390/app151910457