Seitdem generative künstliche Intelligenz in Form von ChatGPT sich innerhalb nur eines Jahres in beispielloser Weise über die Erde verbreitet hat, ist die Aufregung an Hochschulen groß. Manche Universitäten haben in einem Akt vorauseilenden Gehorsams gleich die Bachelor- und Masterarbeiten abgeschafft, weil sie befürchten, dass diese überwiegend durch ChatGPT geschrieben werden könnten. Denn das ist es, was generative künstliche Intelligenz verspricht, das Generieren von Texten zu vorgegebenen Themen.
(v.l.n.r.) Nils Dohms (MHRPSY23a), Alica Bogner (MHRPSY22o), Norma Bastian (MHRPSY23a), Maurice Osterhof (MADS22o), Lasse Petersen (MADS22o)
Wohl an allen Hochschulen gibt es Arbeitsgruppen, die sich mit dieser Herausforderung beschäftigen und Regeln erarbeiten, wie schriftliche Essay, Hausarbeiten und Abschlussarbeiten zukünftig bewertet werden können. Viele sehen dabei auch die enormen Möglichkeiten. So könnten wissenschaftliche Abschlussarbeiten durch einen professionellen Einsatz von ChatGPT einen starken Qualitätszuwachs erleben.
Um dies an einem Beispielprojekt zu erforschen, wurde zur Bearbeitung des Masterprojektes "Big Data Analysis and Validation of the ClaVis Test Procedure" der Projektgruppe ganz explizit die Möglichkeit eingeräumt, ChatGPT zur Verfassung des Projektberichtes zu nutzen. Durch die Auftraggebenden des Masterprojektes wurden keinerlei Limitationen in Bezug auf die Nutzung und Integration der KI vorgegebenen. Vielmehr sollte die künstliche Intelligenz ausgiebig getestet werden, um anschließend ein Resümee zur Anwendbarkeit ziehen zu können. Dazu hat jedes Teammitglied pro und contra Punkte über den gesamten Bearbeitungszeitraum gesammelt, die in der nachfolgenden Aufführung näher erläutert werden.
ChatGPT wurde überwiegend für Recherche- und Formulierungsoptionen verwendet. Dies galt insbesondere für die Wirtschaftspsychologinnen, die den APA-Standard auf Englisch beim Schreiben anlegen mussten. Es wurde auch bei Analyseverfahren von den beiden Data Scientists in diesem Projekt genutzt.
Im Hinblick auf die Bearbeitung des Theorieanteils des Masterprojektes musste leider festgestellt werden, dass gerade die Qualität und Aktualität der Quellen ungenügend ist. Fragen wurden nur sehr oberflächlich beantwortet. Wurde nach den expliziten Quellen gefragt, kamen keinerlei Angaben. Darüber hinaus waren Quellenlinks zum Teil abgelaufen oder stammten aus verschiedenen Datenbanken aus dem Ausland, die nicht einsehbar sind.
Im Zusammenhang mit der Recherche belastbarer Quellen musste festgestellt werden, dass die notwendige Kontextsensitivität teilweise nicht gegeben war. Zwar lernte ChatGPT innerhalb eines Chatverlaufs die Thematik kennen und lernte auch, im benannten Segment zu suchen, doch blieben ausgegebene Inhalte inkohärent und bar logischen Kontextes, da die Fragen schlussendlich doch zu isoliert voneinander beantwortet wurden.
Auch in Bezug auf die Methodik im Projekt wurde anfangs eine Anfrage in ChatGPT platziert. Hintergrund ist, dass alle aus dem Projektteam mit einem unterschiedlichen Kenntnisstand in das Projekt gestartet sind und gerade im Bereich der Methodik verschiedene Grundlagen und Hintergrundwissen vorlag. Die Richtlinien und statistischen Mittel für Wirtschaftspsycholog:innen weichen zum Teil von denen der Applied Data Scientists ab. Beispielsweise wurde der Vergleich zwischen Cronbachs Alpha und McDonalds Omega angefragt und von ChatGPT fehlerhaft ausgewiesen und fälschlicherweise zum Themenfeld Validität, statt Reliabilität, zugeordnet. Auch konnte ChatGPT bei der statistischen Analyse beim Schreiben der R-Codes leider nur einen sehr eingeschränkten Beitrag zur Arbeitserleichterung leisten. Teils wurden Anweisungen durch ChatGPT wie willkürlich abgeändert. Zwar wurden von Projektmitgliedern geschriebene Codes von ChatGPT gut erläutert, doch per ChatGPT erzeugter R-Code erwies sich in der großen Mehrheit der Fälle als unbrauchbar.
Pluspunkte konnte ChatGPT teamübergreifend sammeln, wenn es darum ging,
entworfene Texte umzuformulieren oder sie ins Englische zu übersetzen. Da der Text in englischer Sprache formuliert werden sollte, konnte das ganze Team feststellen, dass die Übersetzungsfunktion durch ChatGPT deutlich zur Arbeitserleichterung und Zeitersparnis beitrug. Nichtsdestotrotz ist auch hier eine althergebrachte Kontrolle unumgänglich, da teilweise die Vokabeln abweichend zu den gängigen Fachbegriffen waren.
Stärken aber auch Schwächen konnten im Team gleichermaßen beobachtet
werden. Zwar ist der Chatbot eine gute Erleichterung, wenn es darum geht, einen allgemeineren Überblick zu erhalten. Für den detaillierteren Einstieg ist die allgemein verfügbare Version 3.5 von ChatGPT jedoch optimierungsbedürftig. Es konnte beobachtet werden, dass genaueres Fragen die Passgenauigkeit der Antworten erhöht. Final jedoch konnte auch so keine Garantie für belastbare Aussagen hergestellt werden. In jedem Falle blieb es notwendig, alle angegebenen Quellen und Informationen eigenständig zu verifizieren und sich selbst ein eigenes und fundiertes Gesamtbild zu verschaffen. Im Grunde vermittelte ChatGPT von sich selbst den Eindruck nicht zuverlässig genug zu sein, um so etwas wichtiges wie eine Qualifikationsarbeit einfach der generativen künstlichen Intelligenz allein zu überlassen.
Schlussendlich lässt sich festhalten, dass das Projektteam ChatGPT zur Bearbeitung
und Analyse des Projektes nur eingeschränkt verwendet hat, da der Nutzen
schlussendlich zu gering und unsicher war.
