Bei Schularbeiten wird gelernt, die Quellen genau anzugeben. Nur stimmen die teilweise nicht, gerade die KI – aber nicht nur die… – erfindet gerne Quellen, die wenig oder gar nicht mit dem zitierten Text übereinstimmen.
Ich habe einen Prompt «erfunden», der ziemlich gut und v.a. automatisch überprüft, ob die angegebene Quelle tatsächlich die Aussage im Text bestätigt.
Check if the content of the given text is supported by the information from the given citation (link). As output, write a short summary of the citation. On a new line state the degree of support:
Diesen Prompt testete ich mit einem Stück Fachtext, der auf eine wissenschaftliche Studie verweist. Bei dieser geht es zwar um das gleiche Thema, aber nicht um die Aussagen im Text. Das ist also eine anspruchsvolle Aufgabe, bei der auch ein Mensch genau und kritisch hinschauen muss, um das zu merken. Lustigerweise stammt der Text (inkl. nicht passender Quellenangabe) auch von chatGPT.

ChatGPT4o gibt dann folgenden korrekten Aussage:

Auch Perplexity meistert die Aufgabe:

Ich habe die Quelle durch eine andere ersetzt, welche zu einem völlig anderen Thema führt. Diese Aufgabe ist nun also viel einfacher und offensichtlicher. Die unterschiedlichen KI-Modelle bewältigen die Herausforderung durchaus unterschiedlich:
KI-Modell | schwierige Aufgabe | offensichtliche Aufgabe |
chatGPT4o | korrekt | korrekt |
chatGPT4 | falsche Antwort | korrekt |
Perplexity | korrekt | korrekt |
Gemini | falsche Antwort | korrekt, aber unklare Antwort |
Fazit
Es ist durchaus möglich, mit einem passenden Prompt automatisch Texte und Quellenangaben zu überprüfen. Jedoch nur wenige KI-Modelle scheinen das momentan einigermassen gut hinzukriegen. Selbst bei diesen gab es zwischendurch – bei zum Teil gleichen Aufgaben – falsche Antworten. Interessanterweise funktionierte der Prompt auf Deutsch bedeutend schlechter.