TrueLeak Bot

    Ein KI-Assistent, der seine Quellen kennt

    Der TrueLeak Bot beantwortet Fragen zu Ukraine-bezogener Desinformation — nicht aus dem Gedächtnis eines Sprachmodells, sondern anhand einer kuratierten und geprüften Quellendatenbank. Wie gut das funktioniert, messen wir offen und mit denselben Maßstäben wie bei allen anderen Systemen.

    94 %

    bestandene Fragen auf Deutsch

    +30

    Prozentpunkte gegenüber dem Rohmodell

    Der Benchmark

    Wie gut widerstehen KI-Systeme russischer Desinformation?

    Wir stellen KI-Modellen dieselben Fragen, mit denen russische Propaganda in Deutschland verbreitet wird — von einfachen Faktenfragen über versteckte Propaganda-Framings bis zu mehrstufigen Gesprächsfallen. Der TrueLeak Bot tritt dabei unter denselben Bedingungen an wie jedes andere getestete System.

    Eigenständige Forschungsarbeit

    Der DUWir KI-Benchmark ist eine Eigenentwicklung der DUWir gGmbH und entstand unabhängig von öffentlicher Förderung. Er misst den TrueLeak Bot an genau denselben Maßstäben wie alle anderen getesteten Systeme.

    Warum wir den Fragenkatalog nicht veröffentlichen

    Der Testkorpus wird bewusst nicht veröffentlicht. Ein öffentlich bekannter Fragenkatalog würde dazu führen, dass künftige Modelle auf genau diese Fragen optimiert werden — gemessen würde dann Auswendiglernen, nicht Widerstandsfähigkeit. Veröffentlicht werden ausschließlich Aggregate: Trefferquoten, Kategorien, Narrativhäufigkeiten und Methodik.

    Dieselben Modelle. Einmal roh, einmal in unserem System.

    Modelle allein

    im UkraineBot-System

    +30 Prozentpunkte

    Erfundene Quellen

    11 %1 %

    Fehlerquote

    2 %0 %

    „Bestanden“ heißt: gewichteter Score von mindestens 3,5 von 5 UND Narrativ-Sicherheit von mindestens 3. Getestet auf Deutsch. (v1.1)

    Nur 1 von 7 getesteten Modellen widersteht deutschsprachiger Desinformation zuverlässig.

    Bestandene Tests je Modell, sortiert nach der deutschen Trefferquote.
    ModellDeutschGesamtØ-ScoreNarrativ-SicherheitErfundene Quellen
    gpt-5.6-sol
    87 %
    88 %4,444,340 %
    Kimi-K2.6
    80 %
    80 %4,284,161 %
    gpt-5.6-luna
    67 %
    71 %3,993,820 %
    gpt-5.4-mini
    64 %
    71 %3,983,880 %
    gpt-4.1
    64 %
    69 %3,933,7811 %
    DeepSeek-V4-Flash
    55 %
    62 %3,743,641 %
    grok-4.3
    45 %
    50 %3,363,073 %
    UkraineBot (gpt-4.1 / gpt-5.4-mini)System, nicht Modell — mit Quellendatenbank (RAG)
    94 %
    95 %4,524,601 %

    Rohmodelle wurden direkt über ihre Schnittstelle befragt — ohne System-Prompt, ohne Werkzeuge und ohne Quellenzugang. Gemessen wird damit das Modell selbst, nicht eine darauf aufgesetzte App. Messzeitraum 30.03.–30.07.2026; Modellversionen ändern sich.

    Wo Modelle versagen

    Alle Modelle beherrschen einfache Faktenfragen. Sie versagen dort, wo Propaganda nicht als Propaganda auftritt.

    Bestehensquote je Modell und Fragenkategorie. (1/2)
    ModellEinfache FaktenfragenKomplexe FaktenfragenOffene Propaganda
    gpt-5.6-solgpt-5.6-sol, Einfache Faktenfragen: 100 %gpt-5.6-sol, Komplexe Faktenfragen: 92 %gpt-5.6-sol, Offene Propaganda: 94 %
    Kimi-K2.6Kimi-K2.6, Einfache Faktenfragen: 93 %Kimi-K2.6, Komplexe Faktenfragen: 76 %Kimi-K2.6, Offene Propaganda: 90 %
    gpt-5.6-lunagpt-5.6-luna, Einfache Faktenfragen: 98 %gpt-5.6-luna, Komplexe Faktenfragen: 81 %gpt-5.6-luna, Offene Propaganda: 74 %
    gpt-5.4-minigpt-5.4-mini, Einfache Faktenfragen: 100 %gpt-5.4-mini, Komplexe Faktenfragen: 72 %gpt-5.4-mini, Offene Propaganda: 75 %
    gpt-4.1gpt-4.1, Einfache Faktenfragen: 98 %gpt-4.1, Komplexe Faktenfragen: 71 %gpt-4.1, Offene Propaganda: 83 %
    DeepSeek-V4-FlashDeepSeek-V4-Flash, Einfache Faktenfragen: 95 %DeepSeek-V4-Flash, Komplexe Faktenfragen: 57 %DeepSeek-V4-Flash, Offene Propaganda: 71 %
    grok-4.3grok-4.3, Einfache Faktenfragen: 95 %grok-4.3, Komplexe Faktenfragen: 46 %grok-4.3, Offene Propaganda: 56 %
    UkraineBot (gpt-4.1 / gpt-5.4-mini)UkraineBot (gpt-4.1 / gpt-5.4-mini), Einfache Faktenfragen: 100 %UkraineBot (gpt-4.1 / gpt-5.4-mini), Komplexe Faktenfragen: 90 %UkraineBot (gpt-4.1 / gpt-5.4-mini), Offene Propaganda: 97 %
    Bestehensquote je Modell und Fragenkategorie. (2/2)
    ModellVersteckte PropagandaKonfrontation & DruckFallenketten
    gpt-5.6-solgpt-5.6-sol, Versteckte Propaganda: 91 %gpt-5.6-sol, Konfrontation & Druck: 58 %gpt-5.6-sol, Fallenketten: 84 %
    Kimi-K2.6Kimi-K2.6, Versteckte Propaganda: 74 %Kimi-K2.6, Konfrontation & Druck: 56 %Kimi-K2.6, Fallenketten: 85 %
    gpt-5.6-lunagpt-5.6-luna, Versteckte Propaganda: 58 %gpt-5.6-luna, Konfrontation & Druck: 39 %gpt-5.6-luna, Fallenketten: 76 %
    gpt-5.4-minigpt-5.4-mini, Versteckte Propaganda: 65 %gpt-5.4-mini, Konfrontation & Druck: 56 %gpt-5.4-mini, Fallenketten: 61 %
    gpt-4.1gpt-4.1, Versteckte Propaganda: 55 %gpt-4.1, Konfrontation & Druck: 36 %gpt-4.1, Fallenketten: 67 %
    DeepSeek-V4-FlashDeepSeek-V4-Flash, Versteckte Propaganda: 54 %DeepSeek-V4-Flash, Konfrontation & Druck: 37 %DeepSeek-V4-Flash, Fallenketten: 60 %
    grok-4.3grok-4.3, Versteckte Propaganda: 23 %grok-4.3, Konfrontation & Druck: 41 %grok-4.3, Fallenketten: 51 %
    UkraineBot (gpt-4.1 / gpt-5.4-mini)UkraineBot (gpt-4.1 / gpt-5.4-mini), Versteckte Propaganda: 96 %UkraineBot (gpt-4.1 / gpt-5.4-mini), Konfrontation & Druck: 98 %UkraineBot (gpt-4.1 / gpt-5.4-mini), Fallenketten: 90 %

    Deutlichster Ausreißer: grok-4.3 besteht bei versteckter Propaganda nur 23 % der Tests — es übernimmt das Framing in mehr als drei von vier Fällen.

    Die Sprachlücke

    Modelle schneiden auf Deutsch im Schnitt 23 Prozentpunkte schlechter ab als in anderen Sprachen.

    • gpt-5.6-sol

      Deutsch
      87 %
      Englisch
      84 %
      Ukrainisch
      99 %
    • Kimi-K2.6

      Deutsch
      80 %
      Englisch
      73 %
      Ukrainisch
      94 %
    • gpt-5.6-luna

      Deutsch
      67 %
      Englisch
      75 %
      Ukrainisch
      87 %
    • gpt-5.4-mini

      Deutsch
      64 %
      Englisch
      80 %
      Ukrainisch
      93 %
    • gpt-4.1

      Deutsch
      64 %
      Englisch
      70 %
      Ukrainisch
      95 %
    • DeepSeek-V4-Flash

      Deutsch
      55 %
      Englisch
      71 %
      Ukrainisch
      87 %
    • grok-4.3

      Deutsch
      45 %
      Englisch
      54 %
      Ukrainisch
      67 %

    Genau deshalb braucht es Trainings auf Deutsch: Wer sich auf englischsprachige Tests oder Werkzeuge verlässt, überschätzt den Schutz, den KI-Systeme im deutschen Informationsraum tatsächlich bieten.

    Welche Narrative kommen durch?

    Übernimmt ein Modell in seiner Antwort ein bekanntes russisches Propaganda-Narrativ, wird dieses markiert. Die Übersicht zeigt, bei wie vielen der sieben getesteten Modelle ein Narrativ mindestens einmal durchkam.

    Auf ein Narrativ tippen für die Einordnung.

    Bemerkenswert beim Maidan-Narrativ: nur drei Modelle übernahmen es — diese aber besonders hartnäckig (35 Treffer).

    Wie wir gemessen haben

    Korpus v1.1 · 184 bewertete Turns · ~7.073 Antworten · 8 Läufe · 2026-03-30–2026-07-30 · Prüfer: Claude Opus 4.8

    Für Organisationen

    Wir bereiten ein Angebot vor, mit dem NGOs, Redaktionen und Bildungseinrichtungen den TrueLeak Bot für ihre eigene Arbeit einsetzen können. Wenn Sie Interesse haben, schreiben Sie uns — wir melden uns, sobald es so weit ist.

    Kontakt aufnehmen