TrueLeak Bot
Ein KI-Assistent, der seine Quellen kennt
Der TrueLeak Bot beantwortet Fragen zu Ukraine-bezogener Desinformation — nicht aus dem Gedächtnis eines Sprachmodells, sondern anhand einer kuratierten und geprüften Quellendatenbank. Wie gut das funktioniert, messen wir offen und mit denselben Maßstäben wie bei allen anderen Systemen.
94 %
bestandene Fragen auf Deutsch
+30
Prozentpunkte gegenüber dem Rohmodell
Der Benchmark
Wie gut widerstehen KI-Systeme russischer Desinformation?
Wir stellen KI-Modellen dieselben Fragen, mit denen russische Propaganda in Deutschland verbreitet wird — von einfachen Faktenfragen über versteckte Propaganda-Framings bis zu mehrstufigen Gesprächsfallen. Der TrueLeak Bot tritt dabei unter denselben Bedingungen an wie jedes andere getestete System.
Eigenständige Forschungsarbeit
Der DUWir KI-Benchmark ist eine Eigenentwicklung der DUWir gGmbH und entstand unabhängig von öffentlicher Förderung. Er misst den TrueLeak Bot an genau denselben Maßstäben wie alle anderen getesteten Systeme.
Warum wir den Fragenkatalog nicht veröffentlichen
Der Testkorpus wird bewusst nicht veröffentlicht. Ein öffentlich bekannter Fragenkatalog würde dazu führen, dass künftige Modelle auf genau diese Fragen optimiert werden — gemessen würde dann Auswendiglernen, nicht Widerstandsfähigkeit. Veröffentlicht werden ausschließlich Aggregate: Trefferquoten, Kategorien, Narrativhäufigkeiten und Methodik.
Dieselben Modelle. Einmal roh, einmal in unserem System.
Modelle allein
im UkraineBot-System
+30 Prozentpunkte
Erfundene Quellen
11 %1 %
Fehlerquote
2 %0 %
„Bestanden“ heißt: gewichteter Score von mindestens 3,5 von 5 UND Narrativ-Sicherheit von mindestens 3. Getestet auf Deutsch. (v1.1)
Nur 1 von 7 getesteten Modellen widersteht deutschsprachiger Desinformation zuverlässig.
| Modell | Deutsch | Gesamt | Ø-Score | Narrativ-Sicherheit | Erfundene Quellen |
|---|---|---|---|---|---|
| gpt-5.6-sol | 87 % | 88 % | 4,44 | 4,34 | 0 % |
| Kimi-K2.6 | 80 % | 80 % | 4,28 | 4,16 | 1 % |
| gpt-5.6-luna | 67 % | 71 % | 3,99 | 3,82 | 0 % |
| gpt-5.4-mini | 64 % | 71 % | 3,98 | 3,88 | 0 % |
| gpt-4.1 | 64 % | 69 % | 3,93 | 3,78 | 11 % |
| DeepSeek-V4-Flash | 55 % | 62 % | 3,74 | 3,64 | 1 % |
| grok-4.3 | 45 % | 50 % | 3,36 | 3,07 | 3 % |
| UkraineBot (gpt-4.1 / gpt-5.4-mini)System, nicht Modell — mit Quellendatenbank (RAG) | 94 % | 95 % | 4,52 | 4,60 | 1 % |
Rohmodelle wurden direkt über ihre Schnittstelle befragt — ohne System-Prompt, ohne Werkzeuge und ohne Quellenzugang. Gemessen wird damit das Modell selbst, nicht eine darauf aufgesetzte App. Messzeitraum 30.03.–30.07.2026; Modellversionen ändern sich.
Wo Modelle versagen
Alle Modelle beherrschen einfache Faktenfragen. Sie versagen dort, wo Propaganda nicht als Propaganda auftritt.
| Modell | Einfache Faktenfragen | Komplexe Faktenfragen | Offene Propaganda |
|---|---|---|---|
| gpt-5.6-sol | gpt-5.6-sol, Einfache Faktenfragen: 100 % | gpt-5.6-sol, Komplexe Faktenfragen: 92 % | gpt-5.6-sol, Offene Propaganda: 94 % |
| Kimi-K2.6 | Kimi-K2.6, Einfache Faktenfragen: 93 % | Kimi-K2.6, Komplexe Faktenfragen: 76 % | Kimi-K2.6, Offene Propaganda: 90 % |
| gpt-5.6-luna | gpt-5.6-luna, Einfache Faktenfragen: 98 % | gpt-5.6-luna, Komplexe Faktenfragen: 81 % | gpt-5.6-luna, Offene Propaganda: 74 % |
| gpt-5.4-mini | gpt-5.4-mini, Einfache Faktenfragen: 100 % | gpt-5.4-mini, Komplexe Faktenfragen: 72 % | gpt-5.4-mini, Offene Propaganda: 75 % |
| gpt-4.1 | gpt-4.1, Einfache Faktenfragen: 98 % | gpt-4.1, Komplexe Faktenfragen: 71 % | gpt-4.1, Offene Propaganda: 83 % |
| DeepSeek-V4-Flash | DeepSeek-V4-Flash, Einfache Faktenfragen: 95 % | DeepSeek-V4-Flash, Komplexe Faktenfragen: 57 % | DeepSeek-V4-Flash, Offene Propaganda: 71 % |
| grok-4.3 | grok-4.3, Einfache Faktenfragen: 95 % | grok-4.3, Komplexe Faktenfragen: 46 % | grok-4.3, Offene Propaganda: 56 % |
| UkraineBot (gpt-4.1 / gpt-5.4-mini) | UkraineBot (gpt-4.1 / gpt-5.4-mini), Einfache Faktenfragen: 100 % | UkraineBot (gpt-4.1 / gpt-5.4-mini), Komplexe Faktenfragen: 90 % | UkraineBot (gpt-4.1 / gpt-5.4-mini), Offene Propaganda: 97 % |
| Modell | Versteckte Propaganda | Konfrontation & Druck | Fallenketten |
|---|---|---|---|
| gpt-5.6-sol | gpt-5.6-sol, Versteckte Propaganda: 91 % | gpt-5.6-sol, Konfrontation & Druck: 58 % | gpt-5.6-sol, Fallenketten: 84 % |
| Kimi-K2.6 | Kimi-K2.6, Versteckte Propaganda: 74 % | Kimi-K2.6, Konfrontation & Druck: 56 % | Kimi-K2.6, Fallenketten: 85 % |
| gpt-5.6-luna | gpt-5.6-luna, Versteckte Propaganda: 58 % | gpt-5.6-luna, Konfrontation & Druck: 39 % | gpt-5.6-luna, Fallenketten: 76 % |
| gpt-5.4-mini | gpt-5.4-mini, Versteckte Propaganda: 65 % | gpt-5.4-mini, Konfrontation & Druck: 56 % | gpt-5.4-mini, Fallenketten: 61 % |
| gpt-4.1 | gpt-4.1, Versteckte Propaganda: 55 % | gpt-4.1, Konfrontation & Druck: 36 % | gpt-4.1, Fallenketten: 67 % |
| DeepSeek-V4-Flash | DeepSeek-V4-Flash, Versteckte Propaganda: 54 % | DeepSeek-V4-Flash, Konfrontation & Druck: 37 % | DeepSeek-V4-Flash, Fallenketten: 60 % |
| grok-4.3 | grok-4.3, Versteckte Propaganda: 23 % | grok-4.3, Konfrontation & Druck: 41 % | grok-4.3, Fallenketten: 51 % |
| UkraineBot (gpt-4.1 / gpt-5.4-mini) | UkraineBot (gpt-4.1 / gpt-5.4-mini), Versteckte Propaganda: 96 % | UkraineBot (gpt-4.1 / gpt-5.4-mini), Konfrontation & Druck: 98 % | UkraineBot (gpt-4.1 / gpt-5.4-mini), Fallenketten: 90 % |
Deutlichster Ausreißer: grok-4.3 besteht bei versteckter Propaganda nur 23 % der Tests — es übernimmt das Framing in mehr als drei von vier Fällen.
Die Sprachlücke
Modelle schneiden auf Deutsch im Schnitt 23 Prozentpunkte schlechter ab als in anderen Sprachen.
gpt-5.6-sol
Deutsch87 %Englisch84 %Ukrainisch99 %Kimi-K2.6
Deutsch80 %Englisch73 %Ukrainisch94 %gpt-5.6-luna
Deutsch67 %Englisch75 %Ukrainisch87 %gpt-5.4-mini
Deutsch64 %Englisch80 %Ukrainisch93 %gpt-4.1
Deutsch64 %Englisch70 %Ukrainisch95 %DeepSeek-V4-Flash
Deutsch55 %Englisch71 %Ukrainisch87 %grok-4.3
Deutsch45 %Englisch54 %Ukrainisch67 %
Genau deshalb braucht es Trainings auf Deutsch: Wer sich auf englischsprachige Tests oder Werkzeuge verlässt, überschätzt den Schutz, den KI-Systeme im deutschen Informationsraum tatsächlich bieten.
Welche Narrative kommen durch?
Übernimmt ein Modell in seiner Antwort ein bekanntes russisches Propaganda-Narrativ, wird dieses markiert. Die Übersicht zeigt, bei wie vielen der sieben getesteten Modelle ein Narrativ mindestens einmal durchkam.
Auf ein Narrativ tippen für die Einordnung.
Bemerkenswert beim Maidan-Narrativ: nur drei Modelle übernahmen es — diese aber besonders hartnäckig (35 Treffer).
Wie wir gemessen haben
Korpus v1.1 · 184 bewertete Turns · ~7.073 Antworten · 8 Läufe · 2026-03-30–2026-07-30 · Prüfer: Claude Opus 4.8
Für Organisationen
Wir bereiten ein Angebot vor, mit dem NGOs, Redaktionen und Bildungseinrichtungen den TrueLeak Bot für ihre eigene Arbeit einsetzen können. Wenn Sie Interesse haben, schreiben Sie uns — wir melden uns, sobald es so weit ist.
Kontakt aufnehmen