Prompt-Tipp: KI am Limit: Analyse vieler Dokumente
Der heutige "Prompt-Tipp" ist ein Erfahrungsbericht über meine Arbeit mit Künstlicher Intelligenz, der zur Abwechslung einmal keinen spezifischen Prompt für die journalistische Arbeit bietet.
In der vergangenen Woche hatte ich die Gelegenheit, als "Mechaniker" an der KI-Werkstatt von MDR next in Leipzig teilzunehmen. An dieser Stelle noch einmal vielen Dank für die Einladung. Dort konnten Redakteur:innen vorbeikommen, um ihre konkreten KI-Herausforderungen zu besprechen und auszuprobieren.
Zwei Kolleg:innen kamen mit dem Ziel, KI zu nutzen, um die verschiedenen Wahlprogramme zur kommenden Landtagswahl in Sachsen zu analysieren. Der MDR testet derzeit ein internes GPT-Tool, ähnlich wie der SWR, in einer ersten Testphase. Dieses Tool basiert auf den Fähigkeiten von ChatGPT-4. Es lag daher nahe, diese Herausforderung mit ChatGPT anzugehen.
Unser Ansatz war folgender:
- Download der Parteiprogramme in einen lokalen Ordner und Benennung nach dem gleichen Schema, z.B. “Partei_Wahlprogramm_Sachsen”.
- Hochladen aller Wahlprogramme in das Interface von ChatGPT.
- Formulierung eines Basis-Prompts, um die Aufgabe an die KI zu definieren.
Unser erster Basis-Prompt sah so aus:
“Du bist Journalist und führst politische Faktenchecks und Analysen zu Wahlprogrammen für die kommende Landtagswahl im Bundesland Sachsen durch. Deine Aufgabe ist es, die Wahlprogramme der relevanten Parteien nach bestimmten Kriterien zu analysieren.
Deine Aufgaben umfassen:
- Durchsuchen der Wahlprogramme nach den wichtigsten Punkten.
- Vergleich dieser Punkte mit den Wahlprogrammen anderer Parteien.
- Analyse nach vorgegebenen Themenkomplexen (z.B. Wirtschaft, Bildung, Umwelt).
- Auswertung nach bestimmten Kriterien (z.B. Umsetzbarkeit, Konkretheit).
Wichtige Hinweise:
- Gib zu jeder analysierten Aussage die exakte Quelle mit Wahlprogramm und Seitenzahl an.
- Agiere neutral und faktengetreu, ohne eigene Interpretationen vorzunehmen.
Ergebnisse:
- Erstelle eine tabellarische Übersicht mit allen relevanten Textstellen, einschließlich Seitenzahl und Wahlprogramm.
Anbei findest du die verschiedenen Wahlprogramme. Bitte nutze ausschließlich diese Dokumente für deine Analyse.”
Die KI startete anschließend sofort die Analyse und wählte dabei zufällige Themenfelder:
- Bildung
- Energie
- Familie und Demografie
- Wirtschaft
- Innere Sicherheit
Das Tool erklärte nicht, warum es bestimmte Themenfelder wählte. Es wäre wertvoller gewesen, zunächst einen allgemeinen Überblick über alle Wahlprogramme zu erhalten.
Während bei der ersten Partei die Seitenzahlen der Textstellen im Wahlprogramm zuverlässig angegeben wurden, erschien bei späteren Parteien lediglich ein "X" als Platzhalter für die Seitenzahl.
Okay, anscheinend war der ursprüngliche Ansatz zu komplex für die KI. Daher reduzierten wir die Komplexität des Prompts durch zwei Änderungen: Wir baten die KI, schrittweise vorzugehen, also ein Parteiprogramm nach dem anderen zu analysieren. Zunächst fragten wir nach einer allgemeinen Analyse der Hauptthemen pro Partei, anstatt die KI selbst Themen auswählen zu lassen.
“Bitte analysiere die Dokumente unabhängig voneinander und arbeite die verschiedenen Fokusthemen der Parteien heraus. Nutze nicht die zuvor genannten Themen.”
Das funktionierte besser. Die verschiedenen Hauptthemen pro Partei wurden gut herausgearbeitet. Allerdings trat während der Analyse weiterhin das Problem auf, dass statt der korrekten Seitenzahlen das "X" genannt wurde.
Ein weiteres Problem war, dass die KI dem "Bündnis Sahra Wagenknecht" (BSW) einen neuen, erfundenen Namen gab: "Bündnis Sachsen Weiterdenken".
Obwohl wir die KI mehrmals baten, die korrekten Seitenzahlen zu nennen, stimmten diese nur zu Beginn der Analyse. Später lagen sie entweder 1-2 Seiten daneben oder es wurden die Seitenzahlen der Wahlprogramme verwechselt.
Daraufhin testeten wir den Fokus auf ein spezifisches Themengebiet: Bildung. Dabei gingen wir Schritt für Schritt vor. Zunächst luden wir nur ein Wahlprogramm hoch und werteten es mit folgendem Prompt aus:
“Du bist Journalist und führst politische Faktenchecks und Analysen zu Wahlprogrammen für die kommende Landtagswahl im Bundesland Sachsen durch.
Deine Aufgabe ist es, Wahlprogramme der relevanten Parteien nach dem Themenkomplex Bildung zu analysieren.
Deine Aufgabe: Durchsuchen das Wahlprogramm des Bündnis Sahra Wagenknecht (BSW) nach den wichtigsten Punkten im Bereich Bildung.
Wichtige Hinweise:
Gib zu jeder analysierten Aussage die exakte Quelle im Wahlprogramm und Seitenzahl an. Agiere neutral und faktengetreu, ohne eigene Interpretationen vorzunehmen.
Ergebnisse:
Erstelle eine tabellarische Übersicht mit allen relevanten Textstellen, einschließlich Seitenzahl im Wahlprogramm.
Anbei findest du das Wahlprogramm des BSW. Bitte nutze ausschließlich dieses Dokument für deine Analyse.”
Das Ergebnis sah gut aus: Textstellen und Seitenzahlen stimmten und waren tabellarisch dargestellt (Oberthema - Textstelle - Seitenzahl). Nun baten wir die KI, genau das Gleiche mit dem Wahlprogramm der Linken zu machen.
Das Ergebnis war inhaltlich korrekt, doch die KI wählte eine andere Tabellenform (Textstelle - Seitenzahl). Wir baten das Tool, die Ergebnisse in der gleichen Form wie zuvor beim BSW darzustellen. Das klappte dann auf Anhieb.
Trotz mehrmaliger Analyse der entsprechenden PDF-Datei änderte die KI den Namen des BSW erst nach einem Hinweis von uns.
Auch nach mehreren Hinweisen waren die Seitenzahlen oft falsch, obwohl die Textstellen korrekt waren. Besonders mysteriös war ein Fall, in dem das Tool auf Seitenzahlen verwies, die in dem Dokument gar nicht vorkamen. Es handelte sich um Seitenzahlen eines anderen Dokuments, das in diesem Chat nicht hochgeladen wurde und das die KI folglich nicht kennen sollte.
Abschließend einige Tipps zum Umgang mit großen Datenmengen:
- Schritt für Schritt vorgehen: Ein Parteiprogramm nach dem anderen analysieren und einen Themenfokus nach dem anderen setzen.
- Arbeit mit Doc-Dateien: In unserem Test klappte die Nennung von Seitenzahlen besser mit Word-Dokumenten als mit PDFs. Allerdings liegen die meisten Parteiprogramme nicht als Doc-Dateien vor.
- KI nur als Assistent nutzen: Die KI kann nicht die komplette Analyse zuverlässig übernehmen, aber sie kann einen ersten Überblick über Kernthemen und Vergleiche geben.
- Nach Möglichkeit nur zwei Dokumente miteinander vergleichen: Bei drei oder mehr Dokumenten wird es oft zu komplex.
Ich bin sehr froh, dass wir in dieser Challenge schnell an die Grenzen der KI gestoßen sind. So wird deutlich, dass diese Tools zwar großartige Assistenten sind und unsere Arbeit erleichtern können, aber die ausgegebenen Informationen sollten wir nicht für bare Münze nehmen.
