Ob ein Text von einem Menschen stammt oder von einer KI in Sekunden erzeugt wurde, beschäftigt Redaktionen, Universitäten und selbst den Vatikan. Erleuchtung versprechen Werkzeuge, die KI-Texte zuverlässig erkennen und Autoren überführen, die Maschinentexte als ihre eigenen ausgeben.

Genau das verspricht Pangram. Pünktlich zu den neuen Kennzeichnungspflichten der EU hat der US-Anbieter seinen KI-Detektor auf Version 4.0 aufgerüstet. Er bezeichnet die neue Variante als besonders treffsicher und wirbt mit einer Fehlalarmquote (False Positives) von lediglich 0,0041 Prozent. Doch selbst ein falscher Treffer unter 24.000 Texten ist nicht harmlos, denn er hat mitunter gravierende Konsequenzen: Dann gilt die Haus- oder Examensarbeit als nicht bestanden, ein Journalistenpreis wird aberkannt oder die Reputation als Wissenschaftler steht auf dem Spiel.

Nachdem wir bereits Pangram 3.3.2 getestet hatten, haben wir nun die Ende Juli veröffentlichte Version Pangram 4.0 geprüft. Sie soll Texte kleinteiliger analysieren und sogar unterscheiden, ob eine KI einen Text vollständig verfasst oder einen menschlichen Entwurf nur redigiert hat. Unsere Stichproben zeigen jedoch, dass die Ergebnisse weder zuverlässig reproduzierbar noch als Beleg für eine KI-Nutzung belastbar sind.

Das war die Leseprobe unseres heise-Plus-Artikels "KI-Detektor im Praxistest: Warum auf Pangram 4.0 kein Verlass ist". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.