igergov.com
← Artikel
PublikationSprachmodelleSicherheit · 3 Min. · BG EN ES DE

Wie du erkennst, ob ein Modell aus deinen Daten gelernt hat

Ein verstecktes Wasserzeichen in den Fine-Tuning-Daten eines Sprachmodells, und ein ehrliches Maß dafür, wie weit du dich darauf verlassen kannst.

Das Problem

Unternehmen passen Sprachmodelle per Fine-Tuning an eigene Texte an: Verträge, Dokumentation, Korrespondenz mit Kunden. Diese Daten sind wertvoll, und wenn das Modell einmal trainiert ist, lässt sich schwer nachweisen, woher es weiß, was es weiß. Der Eigentümer der Daten braucht einen Weg, später zu prüfen, ob ein bestimmtes Modell mit ihnen trainiert wurde.

Was wir gemacht haben

Wir haben ein Wasserzeichen auf Korpusebene vorgeschlagen, das vor dem Training in den Datensatz eingebettet wird. In jedem Text wird die Wahl zwischen Synonymen anhand eines geheimen Schlüssels leicht verschoben, und im Wasserzeichen wird eine Nachricht aus wenigen Bits mit einem fehlerkorrigierenden Code kodiert. Die Erkennung braucht nur den Schlüssel und erfolgt über einen statistischen Test (generalized likelihood ratio), dessen p-Werte mit Permutationen kalibriert werden. Dazu kamen ein Permutationstest mit 5.000 Wiederholungen, Konfidenzintervalle und eine Poweranalyse.

Was sich gezeigt hat

Der Artikel berichtet ehrlich auch über die Ergebnisse, die nicht für die Methode sprechen:

  • bei kurzen Texten von etwa 100 Wörtern funktioniert der Kanal, ist aber zu schwach, um zuverlässig erkannt zu werden;
  • bei der Generierung mit Mistral 7B in 12 Konfigurationen und 12.720 Texten liegt die Erkennung bei 0 %, bei sehr hoher Textqualität (etwa 99,8 %);
  • in begrenzten Basisfällen gibt es eine positive Erkennung: 8,9 % offline, 5,0 % bei Mistral 7B und 3,0 % bei Llama2-13B.

Die Einschränkungen und der ethische Einsatz sind ausführlich beschrieben, zusammen mit den Richtungen hin zu stärkeren semantischen Kanälen und modellbasierten Detektoren.

Warum gerade dann

Der Artikel erschien im September 2025, als Fine-Tuning von Modellen auf eigenen Daten zur Massenpraxis wurde und die Frage, mit wessen Daten ein Modell trainiert wurde, für viele Organisationen praktisch wurde. Er liefert eine Methode und, ebenso wichtig, ein klares Maß dafür, wie weit man sich darauf verlassen kann.

Die Publikation

Ivo Gergov, Georgi Tsochev. Watermarking Fine-Tuning Datasets for Robust Provenance. Applied Sciences 15, 10457 (MDPI, 2025). doi:10.3390/app151910457