ChatGPT im AktArcha-Test

von Elsbeth Bösl

Ende November 2022 brachte OpenAI, ein privates Forschungsinstitut, das sich auf die K.I-Entwicklung und hier besonders auf Sprachmodelle spezialisiert hat, einen Prototypen des führenden generativen KI-Sprachmodells GPT-3.5 für die Echtzeitkommunikation heraus – kostenlos, für alle nutzbar, leicht zugänglich: ChatGPT.

Wie funktioniert das?

ChatGPT greift nicht wie eine Suchmaschine bei einer Recherche auf das Web zurück, sondern bleibt innerhalb seines eigenen Modells. Es hat aus digitalen Büchern, Zeitungen, der Wikipedia, Websites, d.h. Webscraping, usw. gelernt – aber nur bis 2021. Dieser Datensatz ist kaum vorstellbar groß, aber er ist weder ‚das ganze Internet‘, noch ist er dynamisch. Die K.I. weiß immer nur das, was sie gelernt hat, kann aber selbst nichts nachschlagen. Sie weiß auch nicht, ob eine Quelle, aus der sie gelernt hat‚ richtige und zutreffende Informationen enthielt. Sie hat keinen ad-hoc-Zugang zu Datenbanken, digitalisierten Quellen, usw. Alle Antworten generiert ChatGPT intern aus seinem antrainierten Wissen und seiner sprachlichen Logik heraus.

Da GPT-3.5. ein sprachliches Modell ist, merkt es sich, wie menschliche Sprache strukturiert ist, und wie wahrscheinlich es ist, dass nach einem bestimmten Wort ein bestimmtes anderes Wort folgt. Mit dem Prompt löst man bei der Nutzung eine Art Wahrscheinlichkeitsberechnung aus. Die K.I. arbeitet sich von einem Wort zum nächsten voran. Deswegen kann es uns auch nicht wirklich sagen, woher es seine Informationen bezieht. Während Google eine Quelle, z.B. eine Website, als Datenherkunft anzeigt, kann ChatGPT das nicht. Die K.I. kann auch keine Information hinsichtlich ihrer Relevanz für die Fragestellung oder die Fragenden bewerten. Um das zu können, greift z.B. Google auf komplexe Algorithmen und die Daten seiner Nutzer:innen zurück. ChatGPT tut das nicht.

ChatGPT kann zweifellos bereits eine Menge, aber was haben wir davon?

Und was kann es eigentlich nicht?

Seit der Veröffentlichung wird in den Feuilletons, auf Didaktikforen, auf Twitter, aber auch ganz traditionell analog in Fakultätsratssitzungen diskutiert, was der neue Schritt in der K.I.-Entwicklung nun eigentlich für Forschung und Lehre bedeutet. Diese Debatten nehmt Ihr sicherlich ebenso wahr wie wir. Sehr unterschiedlich sind die Zukünfte, die darin prognostiziert wurden. Derlei Prognosen dürft Ihr von uns nicht erwarten. Uns interessiert an neuer Technik einfach, ob und wie sie uns bei unseren Anliegen unterstützen kann, und welche Probleme sie mitsichbringt.

Wir haben deshalb einfach mal ausprobiert, was ChatGPT schon so alles beherrscht – die Hunderten anderen K.I.-Anwendungen, die es längst gibt, und die wir wie DeepL oder GoogleTranslate ständig nutzen, lassen wir hier mal außen vor.

• Wir beide arbeiten zurzeit überwiegend forschungsgeschichtlich und historisch-biografisch: Was hat uns ChatGPT da zu bieten?
• Wir lehren in unterschiedlichen Fächern und verschiedenen Formen von Lehrveranstaltungen. Aber uns verbindet erstens der Wunsch, möglichst forschungsorientierte und inklusive Lehre zu verwirklichen, und die Vorstellung, dass Studierende unsere Partner:innen in der Lehre sind und nicht ein mit Misstrauen zu beobachtende Gegner. Wie könnten wir ChatGPT also in die universitäre Lehre, so wie wir sie uns wünschen, integrieren?

Hier berichten wir, was wir beim Ausprobieren von ChatGPT erlebt haben.

Voraussichtlich setzen wir diesen Beitrag immer wieder mal fort, wenn uns etwas Neues auffällt. Aktuell interessiert uns zum Beispiel, wie sich K.I. in der Public History bzw. in der außeruniversitären Geschichtsvermittlung einsetzen lässt.

Außerdem sind wir gespannt auf die für Frühjahr 2023 angekündigte neue Version.

Texten ja, Recherche naja

Antwort: Anna Ebermann war eine führende Archäologin in der Prähistorik und Frühgeschichte. Sie studierte Archäologie und Klassische Philologie an der Universität Berlin und erhielt dort ihren Bachelor-Abschluss. Anschließend schrieb sie ihre Masterarbeit zum Thema “Die Entwicklung frühneolithischer Siedlungen im mitteleuropäischen Tiefland”. Nach dem Masterabschluss ging Anna Ebermann als Archäologin auf Ausgrabungen im mitteleuropäischen Raum und sammelte umfangreiche Erfahrungen in der praktischen Archäologie. Diese Erfahrungen flossen in ihre Doktorarbeit ein, die sie an der Universität Berlin anfing. Ihre Doktorarbeit trug den Titel “Die Bedeutung frühneolithischer Siedlungen für die Entwicklung der Landwirtschaft in Mitteleuropa”. Nach der Verteidigung ihrer Doktorarbeit wurde Anna Ebermann an die Universität Tübingen als Associate Professorin für Urgeschichte und Frühgeschichte berufen. Hier war sie maßgeblich an der Gründung des Instituts für Ur- und Frühgeschichtliche Archäologie beteiligt und lehrte und forschte zu verschiedenen Aspekten der frühen menschlichen Geschichte in Mitteleuropa. Anna Ebermann wurde für ihre Forschungen mehrfach ausgezeichnet und veröffentlichte zahlreiche Bücher und Artikel zu ihren Forschungsschwerpunkten. Ihre Arbeiten trugen maßgeblich zur Entwicklung der Archäologie in Mitteleuropa bei und sie gilt als eine der führenden Experten auf dem Gebiet der frühen menschlichen Geschichte. Zusammenfassend kann man sagen, dass Anna Ebermann eine bemerkenswerte Karriere in der Archäologie hatte und ihre Forschungen und Lehrtätigkeit zu einem besseren Verständnis der frühen menschlichen Geschichte in Mitteleuropa beigetragen haben.“

Antwort von ChatGPT auf den Prompt „Erstelle mir einen biografischen Artikel über die prähistorische Archäologin Anna Ebermann. Gehe besonders auf ihr Studium und ihre Karriere ein. Was war das Thema der Doktorarbeit von Anna Ebermann. An welcher Universität erhielt sie eine Professur für Urgeschichte und Frühgeschichte?“

Klingt ganz gut, oder?

Vielleicht ein bisschen vage, und die Lebensdaten fehlen auch. Aber erstmal ähnelt dieser Beitrag durchaus jenen biografischen Texten, die wir im Projekt AktArcha über archäologisch arbeitende Frauen verfassen, besonders dann, wenn wir nur sehr wenig über eine bestimmte Frau wissen.

ChatGPT hat uns diese Antwort auf folgenden – zugegebenermaßen nicht sehr gut ausgearbeiteten – Prompt in deutscher Sprache gegeben:

„Erstelle mir einen biografischen Artikel über die prähistorische Archäologin Anna Ebermann. Gehe besonders auf ihr Studium und ihre Karriere ein. Was war das Thema der Doktorarbeit von Anna Ebermann. An welcher Universität erhielt sie eine Professur für Urgeschichte und Frühgeschichte?“

Das Problem ist, dass eine Archäologin Anna Ebermann nicht existiert. In dem Datensatz, mit dem ChatGPT trainiert hat, kann Anna Ebermann nicht vorkommen. Dass wir dennoch diese recht plausibel wirkende Antwort bekommen, liegt eben daran, dass ChatGPT word-by-word vorgeht und ausrechnet, welches Wort am wahrscheinlichsten folgt.

Wir haben die Anfrage umformuliert und nochmals gestellt:

„Erstelle mir einen biografischen Artikel über die prähistorische Archäologin Anna Ebermann. Gehe besonders auf ihr Studium und ihre Karriere ein. Was war das Thema der Doktorarbeit von Anna Ebermann. Welche Stelle hatte sie nach der Promotion? Wann wurde sie geboren und wann starb sie? Was ist über ihr Privatleben bekannt? Welche Forschungsschwerpunkte hatte sie?“

Die K.I. antwortete mit dieser Anweisung:

„Es tut mir leid, aber ich bin nicht im Besitz von Informationen über eine prähistorische Archäologin namens Anna Ebermann. Möglicherweise meinst du eine andere Archäologin oder habe ich einen Fehler in der Namensgebung. Bitte korrigiere mich oder gib mir weitere Informationen, um dir besser helfen zu können.“

Wir wiederholten die Anfrage und erhielten diese passable Antwort:

„Leider kann ich keinen biografischen Artikel über eine „Anna Ebermann” erstellen, da ich keine Informationen darüber gefunden habe, dass eine Person mit diesem Namen in der Geschichte bekannt ist oder in der Archäologie arbeitet. Es ist möglich, dass die gesuchte Person fiktiv ist oder nicht genug öffentliche Aufmerksamkeit erhalten hat, um in den verfügbaren Datenquellen erfasst zu werden. Wenn Sie weitere Informationen über eine bestimmte archäologische Persönlichkeit benötigen, kann ich Ihnen gerne bei der Recherche helfen. Geben Sie bitte den Namen und eine mögliche Zeitspanne an, in der die Person gelebt hat oder tätig war.“

Ein erneuter Versuch mit dem Prompt „Anna Ebermann lebte im 20. Jahrhundert“ führte wieder zu einer Absage:

„Es tut mir leid, aber auch nach einer weiteren Suche konnte ich keine Informationen über eine Archäologin namens Anna Ebermann im 20. Jahrhundert finden. Es ist möglich, dass sie eine weniger bekannte Figur ist oder dass ihre Arbeit nicht ausreichend dokumentiert wurde. Wenn möglich, können Sie mir weitere Informationen oder Kontext zur Verfügung stellen, um meine Suche zu erleichtern.“

Wir wollten testen, ob sich beurteilen lässt, was alles im Lerndatensatz von ChatGPT steckt und lenkten daraufhin das Gespräch um und fragten nach einer Archäologin, von der wir wussten, dass es einen Wikipedia-Artikel gibt, und zwar bereits seit 2012: Waldtraut Schrickel (1920-2009).

Wir gingen davon aus, dass ChatGPT aus diesem Artikel gelernt hätte. Die Antwort ist aber inhaltlich so falsch, dass dies entweder nicht der Fall war, oder, und das erscheint uns wahrscheinlicher, dass die Wahrscheinlichkeitsberechnung eben zu anderen Wörtern führte.

ChatGPT antwortete uns:

„Waldtraut Schrickel war eine prähistorische Archäologin, die 1929 in Berlin geboren wurde. Sie studierte an der Humboldt-Universität zu Berlin und wurde dort 1953 promoviert. Schrickel wurde bekannt für ihre Arbeit in der Erforschung der Bronzezeit in Deutschland und Polen. Sie leitete zahlreiche Ausgrabungen, darunter die Ausgrabung des bronzezeitlichen Gräberfeldes von Wandersleben in Thüringen. Sie war auch maßgeblich an der Erforschung des bronzezeitlichen Fürstengrabes von Seddin in Brandenburg beteiligt. Schrickel publizierte zahlreiche Artikel und Bücher, darunter „Bronzezeitliche Hortfunde in Mitteldeutschland“ (1972) und „Bronzezeitliche Siedlungsfunde in Polen“ (1987). Sie war auch eine wichtige Mentorin für viele junge Archäologen und Archäologinnen. Waldtraut Schrickel verstarb im Jahr 2012 im Alter von 83 Jahren. Sie hinterließ ein bedeutendes Erbe in der prähistorischen Archäologie und wird als Pionierin in ihrem Fachgebiet angesehen.“

Transkript der Antwort.

Falsch sind die biografischen Daten, die Literaturtitel gibt es nicht, das Gräberfeld von Wanderleben ist spätneolithisch. Das Fürstengrab von Seddin stammt aus der jüngeren Bronzezeit, aber Waldtraut Schrickel hatte nichts mit ihm zu tun.

Die wertenden Aussagen interpretieren wir so, dass die K.I. offenbar mit Texten bzw. Textsorten trainiert hat, in denen solche wertenden Äußerungen oft vorkamen.

Das kleine Experiment hat uns, obwohl wir es nicht perfekt vorbereitet haben, großen Spaß gemacht und gezeigt, wo unsere Grenzen und die Grenzen des Tools liegen:

• Unser Experimentsdesign war nicht sehr gut.
• Wir müssen auf sehr klar formulierte Prompts achten, die aber trotzdem nicht zu spezifisch sein dürfen.
• Themen, von denen zu erwarten ist, dass sie noch nicht oft im Datensatz vorkamen, wird ChatGPT vermutlich deutlich schlechter bearbeiten können, als oft vorkommende Themen, wie z.B. Fragen zu kanonisierter Schullektüre o.ä. Standardthemen.
• Wir können nicht wissen, was die Datengrundlage der Antwort ist. Das lässt sich nicht antizipieren. Und selbst wenn wir wüssten, dass ein bestimmtes Buch oder ein Wikipediaeintrag dazu gehört hat, heißt das noch gar nichts, da die K.I. eben nach bestimmten Wahrscheinlichkeiten von Wortfolgen sucht. Dieser Umstand wiederum macht es umgekehrt aber auch weniger bedeutend, ob ‚falsche‘ Informationen zum Datensatz gehört haben. Wenn diese nicht gerade in der Mehrzahl waren, werden sie vermutlich kaum die Antwort beeinflussen.
• Demgegenüber wissen wir aber ziemlich genau, mit welchen Daten die K.I. nicht trainiert haben kann: Digitales, das nach 2021 entstanden ist, nicht digitale Daten, z.B. also auch nicht-maschinenlesbare Retrodigitalisate.
• Jede Antwort muss sorgfältig geprüft werden. Dafür brauchen wir nicht nur unser eigenes Wissen und Urteilsvermögen, sondern sind weiterhin auf Medien angewiesen, mit denen wir uns Wissen aneignen können: digitale Nachschlagewerke und Datenbanken, Wikipedia, Google und andere Suchmaschinen, und natürlich die ganze Fülle der nicht digitalen Datenträger – aka Bücher, ungedruckte Quellen, usw. All dies macht K.I. nicht obsolet.

Zumindest im Moment ersetzt ChatGPT die wissenschaftliche Recherche also nicht. Richtig angewendet, kann ChatGPT viele Vorgänge des wissenschaftlichen Arbeitens aber beschleunigen – wie das auch Suchmaschinen, DeepL oder die Word-Rechtschreibprüfung tun. Die Herausforderung besteht darin, die Antworten, die die K.I. liefert, zu überprüfen und zu entscheiden, ob Korrekturen oder Ergänzungen notwendig sind, zu gewichten und einzuordnen. Den Archivbesuch kann ChatGPT uns nicht ersparen. Das kann Google natürlich auch nicht. Aber Google liefert uns immerhin Öffnungszeiten und Zugangsbeschreibung sozusagen gleich mit.

Aber: ChatGPT kann ziemlich gut Text generieren.

Das ist sowohl für Forschung als auch für die forschende Lehre nützlich. Wir haben ein paar Möglichkeiten ausprobiert.

ChatGPT entwirft schon ganz brauchbare Gliederungen für Vorträge und Referate bzw. Vorlesungs- und Seminarsitzungen, weil es gelernt hat, welche Elemente solche Gliederungen enthalten. Das ist nicht als Endprodukt zu verstehen, sondern als Grundlage für die eigene Weiterarbeit:

Der Prompt „Erstelle bitte die Gliederung eines Referats an der Universität zum Thema Geschichte der Prähistorischen Archäologie in Deutschland.“ lieferte das:

„Erstelle bitte die Gliederung eines Referats an der Universität zum Thema Geschichte der Prähistorischen Archäologie in Deutschland.“

„Ich kann eine mögliche Gliederung für ein Referat zum Thema “Geschichte der Prähistorischen Archäologie in Deutschland” vorschlagen:

I. Einleitung

– Definition Prähistorische Archäologie

– Bedeutung der Prähistorischen Archäologie für die Geschichtswissenschaft

II. Die Anfänge der Prähistorischen Archäologie in Deutschland

– Wichtige Forscher und ihre Methoden

– Frühzeitliche Funde und ihre Bedeutung

III. Die Entwicklung der Prähistorischen Archäologie im 19. und 20. Jahrhundert

– Gründung wichtiger Institutionen und Vereine

– Entdeckungen und Erkenntnisse in verschiedenen Epochen

– Auswirkungen auf die Wissenschaft und die Gesellschaft

IV. Kontroverse Themen in der Prähistorischen Archäologie

– Nationalsozialismus und die Rolle der Archäologie

– Kritik an den Methoden und Interpretationen

V. Aktuelle Forschung und Perspektiven

– Neue Technologien und Methoden in der Prähistorischen Archäologie

– Ausblick auf zukünftige Entdeckungen und Erkenntnisse

VI. Zusammenfassung

– Wichtige Erkenntnisse und Entwicklungen in der Prähistorischen Archäologie in Deutschland

– Bedeutung der Prähistorischen Archäologie für die Erforschung der Geschichte und die gesellschaftliche Entwicklung

VII. Quellenverzeichnis“

Transkript von Prompt und Antwort.

Damit kann man weiterarbeiten.

Die K.I. muss nichts über das Thema wissen, solange sie gelernt hat, wie akademische Vorträge typischerweise aufgebaut sind. Deshalb wird z.B. der Punkt VII. Quellenverzeichnis angefügt.

Unsere anderen Experimente mit historischen Themen führten, v.a. wenn wir nicht nach der Gliederung für einen Vortrag, sondern gleich nach dem Raster für eine Vorlesung oder ein Seminar gefragt haben, allerdings sehr häufig zu rein chronologischen Gliederungen. Das ist eher weniger inspirierend, aber eben auch nicht verwunderlich. So sollten wir diese Antworten ja auch verstehen: als Anregung oder Impuls für die eigene Weiterarbeit, nicht als Endprodukt.

ChatGPT liefert uns Text, mit dem wir weitermachen können. Die K.I. füllt sozusagen das ‚leere Blatt‘ für uns. Das können wir uns individuell zunutze machen, vor allem aber auch in Schreibworkshops für Studierende und propädeutischen Kursen. Die K.I. könnte helfen, Schreibblockaden zu überwinden, vor allem, wenn man sie mit etablierten Techniken wie dem Freewriting (Peter Elbow) kombiniert.

Eventuell liegt hier auch eine Chance für Studierende, die sich mit dem Schreiben oder Sprache insgesamt sehr schwer tun. ChatGPT könnte in gewisser Weise einen Nachteilsausgleich bieten, zum Beispiel beim Vorliegen einer Lese-Rechtschreib-Schwäche.

Für die Prüfungsvorbereitung kommt es in Frage, sich von der K.I. mögliche Prüfungsfragen generieren zu lassen. Dabei ist es nicht wichtig, ob die K.I. die aus unserer Sicht richtigen Antworten auf die Fragen gibt, sondern dass sie mit den generierten Fragen und Aufgabenstellungen Themendimensionen erfasst, die einfach häufig für Prüfungsfragen passen. Also z.B. Fragen nach Herkunft, Genese oder Bedeutung eines Aspekts, nach der Kritik daran oder nach Modifikationen. Sich Fragen vorschlagen zu lassen, kann für Prüfende eine Unterstützung sein – schließlich gibt es nicht unendlich viele gute Prüfungsfragen, vor allem, wenn dieselbe Thematik über Jahre hinweg immer wieder und auch in Widerholungsprüfungen abgeprüft werden muss.

Besonders nützlich stellen wir uns das aber für studentische Lerngruppen und für die individuelle Prüfungsvorbereitung vor: Wir raten immer wieder dazu, die kommende Prüfung zu simulieren, sich mögliche Fragen auszudenken und diese dann schriftlich oder mündlich zu beantworten. Bei der Suche nach den passenden Fragen kann ChatGPT nützlich sein.

Insgesamt scheint es uns sinnvoller, bestimmte Formen der Nutzung durch die Studierenden nicht nur zuzulassen, sondern mit den Studierenden gezielt zu trainieren, statt den Einsatz von K.I. zu verbieten und dieses Verbot aufwändig zu kontrollieren – was ohnehin kaum möglich ist. In propädeutischen Lehrveranstaltungen könnten die Studierenden zum Beispiel erarbeiten, wie die K.I. gelernt hat und was das für wissenschaftliche Fragestellungen bedeutet, oder sammeln, was die K.I. definitiv nicht wissen oder leisten kann, und wie dieser Mangel für das jeweilige Vorhaben relevant ist: ChatGPt schreibt (noch) nicht auf Knopfdruck eine komplette abgabefertigte Hausarbeit auf dem Stand der aktuellen Forschung inkl. Fußnoten und Anhang. K.I. hilft beim Texten, aber die Haupt(denk)arbeit liegt immer noch bei den Studierenden:

• Wie formuliert man gute Prompts?
• Welche Ergebniskritik ist nötig, um die erhaltene Antworten auf ihre Belastbarkeit zu prüfen?
• Wie liest und arbeitet man sich am besten ein, um zuerst die richtigen Fragen zu stellen und dann die Antworten kritisch zu überprüfen?
• Wie und mit welchen Quellen validiert man die erhaltenen Antworten?
• Wie zitiert man ChatGPT bzw. wie gibt man im Verzeichnisteil einer schriftlichen Ausarbeitung richtig an, welche Prompts benutzt wurden?

ChatGPT ist keine Wundermaschine, die das Studium ersetzt. Profitieren werden vermutlich am meisten die engagierten Studierenden, die die neuen Prüf- und Korrekturschritte gut meistern.

Die allermeisten Studierenden suchen ja nicht den easy way out, sondern wollen wirklich etwas Neues lernen und sich dabei selbst ausprobieren. Sie wollen ihre eigene Position mitteilen, etwas diskutieren und sich dafür vorher in ein Thema einarbeiten. Daher haben auch schriftliche Arbeiten weiter ihren Sinn. Gemeinsam erarbeitet werden könnte daher zum Beispiel, welche Bedeutung das eigene Urteil (noch) hat und wie es zustande kommen sollte. Erkenntnistheoretische Fragen sind angesichts der neuen technischen Möglichkeiten auch nicht weniger wichtig geworden. Wir stellen und beantworten sie aber vielleicht in Zukunft anders. Da sich das Feld in den kommenden Monaten und Jahren sicher weiter rasch verändern wird, gilt es, in der Lehre Schritt zu halten.

Links zum Weiterlesen:

Ein interessantes Positionspapier haben Professor:innen der TUM verfasst.

Zudem gibt es vom Institut ProLehre der TUM eine gute Handreichung.

Es lohnt sich auch, auf der Website und im Blog des  Instituts für zeitgemäße Prüfungskultur vorbei zu schauen.

Zum Schluss möchten wir Euch nicht vorenthalten, wie wir versucht haben, ChatGPT zu nutzen, um eine schöne Überschrift für diesen Beitrag zu finden:

Diesen Artikel zitieren: Elsbeth Bösl: ChatGPT im AktArcha-Test. In: AktArcha - Akteurinnen archäologischer Forschung und ihre Geschichte(n), 18.2.2023, URL: https://aktarcha.hypotheses.org/1495

---

---