Blog Layout

Prompt-Tipp: Faktencheck mit "Chain-of-Verification"

13. Mai 2024

Im Superwahljahr herrscht ständig irgendwo Wahlkampf. Dabei wird man mit unzähligen Aussagen konfrontiert, die mal mehr, mal weniger präzise sind. Häufig werden Fakten verzerrt, fehlerhaft wiedergegeben oder gar verfälscht. Populisten neigen dazu, die Welt nach ihrem Geschmack zu vereinfachen. Für die Wählerinnen und Wähler ist es oft schwierig, die falschen Aussagen zu erkennen, denn nicht jeder kann jede Studie weltweit kennen.


Daher brauchen wir Unterstützung! Und siehe da, die Künstliche Intelligenz (KI) kommt ins Spiel. In der vergangenen Woche haben wir bereits einfache Methoden für Faktenchecks betrachtet. Diese Woche möchte ich eine spezielle Methode vorstellen, die ich bei Mister SEO gefunden habe: die „Chain-of-Verification“.


Diese Methode dient nicht nur der Überprüfung von Fakten und Aussagen, sondern auch der Verifizierung eigener Fehlinformationen, also der falschen und erfundenen Informationen der KI. Die Methode beruht darauf, dass KI-Systeme zuverlässiger funktionieren, wenn sie schrittweise vorgehen.


Die „Chain of Verification“-Methode umfasst einen vierstufigen Prozess, der darauf abzielt, genauere und verifizierte Antworten zu erhalten. Der Prozess der Antwortgenerierung wird in diese vier Schritte untergliedert:

  1. Entwurf einer ersten Antwort: Das KI-Modell erstellt eine vorläufige Antwort auf die Benutzer:innenanfragen.
  2. Planung von Verifikationsfragen: Das KI-Modell generiert Fragen, um die Richtigkeit der Entwurfsantwort zu überprüfen.
  3. Beantwortung der Verifikationsfragen: Das KI-Modell beantwortet die Verifikationsfragen unabhängig voneinander, um voreingenommene Antworten und den Einfluss anderer Informationen zu vermeiden.
  4. Erstellung der endgültigen verifizierten Antwort: Basierend auf den Antworten auf die Verifikationsfragen wird eine überarbeitete und verifizierte Antwort generiert.


Mister SEO gibt folgendes einfache Beispiel, um die Methode zu testen. Wir geben der KI eine einfache Frage:


“Welche deutschen Bundeskanzler wurden in Berlin geboren?”


ChatGPT gibt folgende Antwort:


“In Berlin geboren wurden die Bundeskanzler Willy Brandt und Angela Merkel. Brandt kam 1913 zur Welt, Merkel 1954.”


Ich erkenne bereits den ersten Fehler, denn Angela Merkel ist auf jeden Fall in Hamburg geboren. Mal schauen, ob auch die KI den Fehler finden wird. Dazu nutzen wir nun einen Start-Prompt für die “Chain-of-Verification”-Methode:


“Du bist ein Faktenchecker. Nutze den 'Chain of Verification'-Ansatz, um Halluzinationen in Antworten zu reduzieren. Beginne mit einer der folgenden Aussage, die Halluzinationen enthalten kann. Stelle dann Verifikationsfragen, um Fakten zu überprüfen. Nutze Methoden wie Joint, 2-Step, Factored und Factor+Revise, um Antworten zu verifizieren. Erstelle abschließend eine verifizierte Antwort unter Berücksichtigung entdeckter Inkonsistenzen.
Hier die Aussage: [AUSSAGE].”


Als Aussage kopiere ich nun das Ergebnis der letzten Anfrage rein: “In Berlin geboren wurden die Bundeskanzler Willy Brandt und Angela Merkel.”


Die ausführliche und korrekte Antwort:


“Um die Aussage "In Berlin geboren wurden die Bundeskanzler Willy Brandt und Angela Merkel" zu überprüfen, werde ich den 'Chain of Verification'-Ansatz verwenden. Ich werde mehrere Verifikationsfragen stellen und Antworten durch unterschiedliche Methoden überprüfen.


Schritt 1: Grundlegende Verifikation

Verifikationsfrage 1: Wo wurde Willy Brandt geboren?

Verifikationsfrage 2: Wo wurde Angela Merkel geboren?


Schritt 2: Anwendung der Verification Methods

Methode: Joint

Ich suche gemeinsam nach den Geburtsorten von Willy Brandt und Angela Merkel, um zu sehen, ob Berlin als Geburtsort für beide erwähnt wird.


Methode: 2-Step

Zuerst prüfe ich, ob Willy Brandt in Berlin geboren wurde. Anschließend prüfe ich separat, ob Angela Merkel in Berlin geboren wurde.


Methode: Factored

Ich prüfe getrennt die Fakten: Zuerst den Geburtsort von Willy Brandt und dann den Geburtsort von Angela Merkel, um unabhängige Bestätigungen zu erhalten.


Methode: Factor+Revise

Nachdem ich die Geburtsorte separat geprüft habe, revidiere ich die gesamte Aussage basierend auf den gefundenen Fakten.


Schritt 3: Durchführung der Recherche

Ich werde nun die notwendigen Informationen suchen, um die Geburtsorte von Willy Brandt und Angela Merkel zu überprüfen.


Ergebnisse der Recherche

Willy Brandt

Willy Brandt wurde nicht in Berlin geboren, sondern in Lübeck.


Angela Merkel

Angela Merkel wurde ebenfalls nicht in Berlin geboren, sondern in Hamburg.


Zusammenfassung und verifizierte Antwort

Die ursprüngliche Aussage, dass Willy Brandt und Angela Merkel in Berlin geboren wurden, ist nicht korrekt. Willy Brandt wurde in Lübeck geboren und Angela Merkel in Hamburg. Diese Informationen wurden durch separate Recherchen bestätigt, wobei jede Person individuell betrachtet wurde, um Genauigkeit zu gewährleisten. Die revidierte und verifizierte Aussage lautet daher:

"Weder Willy Brandt noch Angela Merkel wurden in Berlin geboren. Willy Brandt kam in Lübeck zur Welt und Angela Merkel in Hamburg."

Chatverlauf nachlesen

Die Methode ist ebenfalls anwendbar zur Überprüfung der Plausibilität von Aussagen. Nehmen wir dieses bekannte Zitat von CDU-Chef Friedrich Merz:


„Auch die Bevölkerung, die werden doch wahnsinnig, die Leute. Wenn die sehen, dass 300.000 Asylbewerber abgelehnt sind, nicht ausreisen, die vollen Leistungen bekommen, die volle Heilfürsorge bekommen. Die sitzen beim Arzt und lassen sich die Zähne neu machen, und die deutschen Bürger nebendran kriegen keine Termine.“


Dieses Zitat packe ich einfach an den Verification-Prompt:


Du bist ein Faktenchecker. Nutze den 'Chain of Verification'-Ansatz, um Halluzinationen in Antworten zu reduzieren. Beginne mit einer der folgenden Aussage, die Halluzinationen enthalten kann. Stelle dann Verifikationsfragen, um Fakten zu überprüfen. Nutze Methoden wie Joint, 2-Step, Factored und Factor+Revise, um Antworten zu verifizieren. Erstelle abschließend eine verifizierte Antwort unter Berücksichtigung entdeckter Inkonsistenzen.Hier die Aussage:

„Auch die Bevölkerung, die werden doch wahnsinnig, die Leute. Wenn die sehen, dass 300.000 Asylbewerber abgelehnt sind, nicht ausreisen, die vollen Leistungen bekommen, die volle Heilfürsorge bekommen. Die sitzen beim Arzt und lassen sich die Zähne neu machen, und die deutschen Bürger nebendran kriegen keine Termine.“




Das finale Ergebnis lautet:


“Diese Überprüfung zeigt, dass einige der in der anfänglichen Aussage enthaltenen Behauptungen übertrieben oder nicht vollständig durch Fakten gestützt sind. Es ist wichtig, dass Diskussionen über Asylpolitik und die Integration von Asylbewerbern auf genauen und überprüften Informationen basieren.”

Kompletten Chatverlauf nachlesen

Dieser Text wurde erstellt mit Informationen und Zitaten von Mister SEO.

Prompt-Tipp: Foto-Exkurs: Seed bei der Bilderstellung

von Patrick Große • 5. Juli 2024
Heute möchte ich nochmal einen Exkurs in den Bereich der Bilderstellung wagen. Ein Bereich, der natürlich mit Vorsicht zu genießen ist, vor allem im Journalismus. Die Nutzung von KI-Bildern ist irreführend und sollte nur mit entsprechendem Transparenzhinweis in Medien genutzt werden. Auf der anderen Seite steht die Diskussion, ob KI-Kunst wirklich Kunst ist. Dennoch gibt es viele, die sich zuhause privat mit der Erstellung von KI-Bildern befassen. Das ist mittlerweile mit zahlreichen Tools möglich: Midjourney, ChatGPT-Plus oder der erweiterten Version von Copilot, die viele Medienunternehmen inzwischen nutzen. Wie ein perfekter Prompt zur Bilderstellung aussieht, haben vor uns vor einiger Zeit bereits angeschaut. Doch wer mit KI-Bildern bereits experimentiert hat, wird merken, ein und derselbe Prompt produzieren über die Zeit andere Ergebnisse. Der Stil eines Bildes lässt sich über einfaches Prompten kaum halten. Hier kommt der sogenannte Seed (dt. Samen) in Spiel. Jedes von KI erstellte Bild kommt nämlich einen Seed, also eine einzigartige Nummer, mit dem das System das Bild erkennt. Durch die Nennung des Seeds können auch weitere Bilder in der Zukunft wieder im gleichen Stil erstellt werden. Mein Beispiel-Prompt: “Du bist Zeichner für Kinderbücher. Bitte erstelle ein Bild von einem Hasen, der gemeinsam mit einem Bär, einer Eule und einer Schnecke im Wald wohnt. Das Bild sollte eine ansprechende Zeichnung sein, die in einem Buch für Kinder von 2-5 Jahren erscheint.” Das Ergebnis: 

Background: Medien melden Plagiatsverdacht bei Perplexity

von Patrick Große • 5. Juli 2024
In der Welt der Künstlichen Intelligenz gibt es derzeit heiße Diskussionen über die Grenze zwischen fairer Nutzung und Plagiat. Im Mittelpunkt steht Perplexity AI, ein Startup, das eine Suchmaschine mit einem Sprachmodell kombiniert, um detaillierte Antworten zu liefern. Anders als andere KI-Modelle trainiert Perplexity keine eigenen, sondern nutzt bestehende Modelle und sammelt Informationen aus dem Internet. Vorwürfe gegen Perplexity AI Im Juni 2023 wurde Perplexity vorgeworfen, unethisch zu handeln. Das Medium Forbes beschuldigte das Startup, einen seiner Artikel plagiiert zu haben, und Wired warf Perplexity vor, seine Website und andere unerlaubt zu scrapen. Diese Vorwürfe werfen ein Schlaglicht auf die komplexen rechtlichen und ethischen Fragen, die mit der Nutzung von KI im Journalismus verbunden sind. Das Problem mit dem Web-Scraping Wired berichtete, dass Perplexity das Robots Exclusion Protocol ignorierte, das Websites davor schützen soll, von Web-Crawlern durchforstet zu werden. Eine Untersuchung ergab, dass eine mit Perplexity verbundene IP-Adresse Inhalte von Websites sammelte, die für Bots gesperrt sind. Web-Scraping bedeutet, dass automatisierte Software das Internet durchforstet, um Informationen zu sammeln. Suchmaschinen wie Google tun dies, um Webseiten in Suchergebnissen anzuzeigen. Aber viele Verlage wollen nicht, dass ihre Inhalte für den Aufbau von KI-Datensätzen genutzt werden. Plagiat oder faire Nutzung? Wired und Forbes beschuldigten Perplexity auch des Plagiats. Wired stellte fest, dass der Perplexity-Chatbot einen ihrer Artikel fast wortwörtlich zusammenfasste. Forbes berichtete Ähnliches und kritisierte, dass Perplexity Inhalte von verschiedenen Nachrichtenquellen nutzte, ohne diese ausreichend zu kennzeichnen. Perplexity vergleicht seine Zusammenfassungen mit journalistischer Praxis, bei der Fakten aus verschiedenen Quellen genutzt werden. Zukunftsaussichten und Lösungen KI-Unternehmen wie OpenAI haben Vereinbarungen mit Nachrichtenverlagen getroffen, um deren Inhalte nutzen zu dürfen. Diese Abkommen ermöglichen den Verlagen, von der KI-generierten Nutzung ihrer Inhalte zu profitieren. Perplexity plant nun ähnliche Abkommen und möchte Verlagen durch Werbeeinnahmen einen Anteil zukommen lassen. Perplexity-CEO Aravind Srinivas erklärte, dass das Unternehmen die Quellen in Zukunft prominenter zitieren werde. Allerdings gebe es technische Herausforderungen, da KI-Modelle wie ChatGPT und Perplexity manchmal fehlerhafte oder erfundene Links generieren, was die Zuverlässigkeit der Zitate beeinträchtigen kann.

Prompt-Tipp: KI am Limit: Analyse vieler Dokumente

von Patrick Große • 20. Juni 2024
Der heutige "Prompt-Tipp" ist ein Erfahrungsbericht über meine Arbeit mit Künstlicher Intelligenz, der zur Abwechslung einmal keinen spezifischen Prompt für die journalistische Arbeit bietet. In der vergangenen Woche hatte ich die Gelegenheit, als "Mechaniker" an der KI-Werkstatt von MDR next in Leipzig teilzunehmen. An dieser Stelle noch einmal vielen Dank für die Einladung. Dort konnten Redakteur:innen vorbeikommen, um ihre konkreten KI-Herausforderungen zu besprechen und auszuprobieren. Zwei Kolleg:innen kamen mit dem Ziel, KI zu nutzen, um die verschiedenen Wahlprogramme zur kommenden Landtagswahl in Sachsen zu analysieren. Der MDR testet derzeit ein internes GPT-Tool, ähnlich wie der SWR, in einer ersten Testphase. Dieses Tool basiert auf den Fähigkeiten von ChatGPT-4. Es lag daher nahe, diese Herausforderung mit ChatGPT anzugehen. Unser Ansatz war folgender: Download der Parteiprogramme in einen lokalen Ordner und Benennung nach dem gleichen Schema, z.B. “Partei_Wahlprogramm_Sachsen”. Hochladen aller Wahlprogramme in das Interface von ChatGPT. Formulierung eines Basis-Prompts, um die Aufgabe an die KI zu definieren. Unser erster Basis-Prompt sah so aus: “Du bist Journalist und führst politische Faktenchecks und Analysen zu Wahlprogrammen für die kommende Landtagswahl im Bundesland Sachsen durch. Deine Aufgabe ist es, die Wahlprogramme der relevanten Parteien nach bestimmten Kriterien zu analysieren. Deine Aufgaben umfassen: Durchsuchen der Wahlprogramme nach den wichtigsten Punkten. Vergleich dieser Punkte mit den Wahlprogrammen anderer Parteien. Analyse nach vorgegebenen Themenkomplexen (z.B. Wirtschaft, Bildung, Umwelt). Auswertung nach bestimmten Kriterien (z.B. Umsetzbarkeit, Konkretheit). Wichtige Hinweise: Gib zu jeder analysierten Aussage die exakte Quelle mit Wahlprogramm und Seitenzahl an. Agiere neutral und faktengetreu, ohne eigene Interpretationen vorzunehmen. Ergebnisse: Erstelle eine tabellarische Übersicht mit allen relevanten Textstellen, einschließlich Seitenzahl und Wahlprogramm. Anbei findest du die verschiedenen Wahlprogramme. Bitte nutze ausschließlich diese Dokumente für deine Analyse.” Die KI startete anschließend sofort die Analyse und wählte dabei zufällige Themenfelder: Bildung Energie Familie und Demografie Wirtschaft Innere Sicherheit Das Tool erklärte nicht, warum es bestimmte Themenfelder wählte. Es wäre wertvoller gewesen, zunächst einen allgemeinen Überblick über alle Wahlprogramme zu erhalten. Während bei der ersten Partei die Seitenzahlen der Textstellen im Wahlprogramm zuverlässig angegeben wurden, erschien bei späteren Parteien lediglich ein "X" als Platzhalter für die Seitenzahl. 
Mehr anzeigen
Share by: