So fasst ChatGPT diesen Artikel zusammen:
KI kann Texte unterschiedlicher Komplexität zusammenfassen, wobei sie bei einfachen Texten besser abschneidet als bei komplexeren. Sie zeigt jedoch überraschende Fähigkeiten, komplexe philosophische Werke zu verstehen und zusammenzufassen.
Stimmt das? Lesen Sie selbst:
Einfach: News-Artikel
Kann ein Sprachmodell einen einfachen Text zusammenfassen? Wir haben es mit den gängigsten KI-Modellen getestet: ChatGPT 4 (via Microsoft Copilot), ChatGPT 3.5, Gemini und Llama 2. Wir haben ihnen einen kurzen Newsartikel gegeben und sie gebeten, den Artikel kurz zusammenzufassen.
Das Resultat ist durchzogen. Wirklich gut machte seine Arbeit nur ChatGPT 4. In den anderen Texten fanden sich ungenaue Angaben, die sich wohl beim Paraphrasieren eingeschlichen haben. Llama 2 machte sogar handfeste Fehler. Abgesehen von Llama 2 schafften es die KIs allerdings recht gut, die wichtigsten Punkte des Artikels herauszupicken.
Schwieriger: Gebrauchsanweisung
Wie schneidet die KI ab, wenn es darum geht, aus einer Gebrauchsanweisung eine Kurzanleitung zu machen – zum Beispiel für das Entkalken einer Kaffeemaschine?
Auf den ersten Blick klingen alle Anleitungen gut. Aber schaut man näher hin, haben sich bei allen vier Modellen Fehler eingeschlichen. Nicht die «Latte Macchiato»-Taste müsste man drücken, sondern die «Milchschaum»-Taste. Nicht bis zum Rand müsste man den Wasserbehälter füllen, sondern bis zur Markierung.
Am besten abgeschnitten hat die Anleitung von ChatGPT 4, trotz mindestens zwei groben Fehlern.
Schwer: Wissenschaftliche Studie
Wirklich profitieren von KI-Zusammenfassungen könnten Studenten und Forscherinnen. Schliesslich müssen sie regelmässig lange Texte lesen, um an relevante Informationen zu kommen. Dabei geht es weniger um eine Zusammenfassung des Textes, sondern darum, Informationen zu einem bestimmten Teilaspekt in einem Paper zu finden.
Die KI tut sich schwer bei solchen Aufgaben. Selbst die zentralen Konzepte eines wissenschaftlichen Artikels kann sie nicht finden und die Antworten auf Nachfragen bleiben vage. Zuweilen sucht die KI sogar in anderen Quellen als der eigentlichen Studie nach Antworten – ohne das zu deklarieren.
Sehr schwer: Kant, Hegel, Heidegger
Um die künstliche Intelligenz zum Schluss auf eine besonders schwere Probe zu stellen, haben wir sie Texte von Immanuel Kant, Georg Wilhelm Friedrich Hegel und Martin Heidegger zusammenfassen lassen – Texte, die als besonders schwer zugänglich gelten.
Das Resultat überrascht: «Das liest sich sehr gut, ist sehr verständlich und die wichtigsten Ideen werden zusammengefasst», urteilt Yves Bossart, Moderator der SRF-Sendung Sternstunde Philosophie, über die Zusammenfassung von ChatGPT 3.5. Während die KI bei einfachen Texten Mühe hat, scheint sie die Gedankengänge der drei Geistesgrössen problemlos zu meistern.
«Intelligent» nur dank Trainingsdaten
Das hat seinen Grund: Die Trainingsdaten der grossen Sprachmodelle beinhalten viele Texte, die sich mit den Werken Kants, Hegels und Heideggers beschäftigen. Auf dieses Wissen können ChatGPT und Co. bei ihren Zusammenfassungen zurückgreifen – Hintergrundinformationen, die ihnen bei News-Artikeln oder Gebrauchsanweisungen fehlen.
Wenn für die Maschine also leicht ist, was uns schwer fällt – und umgekehrt – dann zeigt das einmal mehr: Das «I» in KI funktioniert ganz anders als die Intelligenz der Menschen.
Der Technologie-Podcast von SRF über Internet, Smartphones, soziale Netzwerke, Computersicherheit und Games.
Um diesen Podcast zu abonnieren, benötigen Sie eine Podcast-kompatible Software oder App. Wenn Ihre App in der obigen Liste nicht aufgeführt ist, können Sie einfach die Feed-URL in Ihre Podcast-App oder Software kopieren.
