Mensch versus Maschine – wer schreibt die besseren Inhalte?

Künstliche Intelligenz schreibt bessere Marketing-Texte als Menschen in Agenturen – das ist das Ergebnis einer Studie der Hochschule Aalen unter Leitung des KI-Experten Prof. Dr. Peter Gentsch. „Sowohl nach den subjektiven Bewertungen unserer Testgruppe aus gut 100 Menschen als auch nach den objektiven Ergebnissen der Flesch-Metrik sind die von der Künstlichen Intelligenz geschriebenen Varianten der verglichenen Marketinginhalte besser als ihre Originale“, so der KI-Forscher und -Pionier Prof. Dr. Peter Gentsch.

Im Rahmen der Studie „Mensch oder Maschine: Wer schreibt den besseren Content“ hat Gentsch am Institut für Conversational Business der Hochschule Aalen Landing Pages, Blogbeiträge und Social Media Posts von Telekom, Vodafone, Garnier, L’Oreal, M&Ms sowie Starbucks ausgesucht und analysiert. Anschließend wurde die KI-Content Plattform des MarTech-Startups rellify eingesetzt, um die relevanten Themen und Keywords zu diesen Inhalten zu finden. Auf Basis der Ergebnisse dieser KI-Analyse wurde dann die KI-Writing Plattform GPT-3 von OpenAI eingesetzt, um neue Inhalte zu den Themen und Keywords der Originalinhalte zu produzieren.

„Die KI-Texte und die Originale haben wir dann 100 zufällig ausgesuchten Personen zur Bewertung vorgelegt“, so Gentsch zum Studienaufbau: „Gleichzeitig haben wir die Original-Texte und die KI-Versionen nach der wissenschaftlich anerkannten Flesch-Metrik klassifiziert.“

Die Ergebnisse beider Bewertungen seien ebenso eindeutig wie erstaunlich gewesen, so KI-Fachmann Gentsch: „Sowohl nach der subjektiven wie der objektiven Bewertung waren die KI-generierten Texte leicht bis deutlich besser. Aus Sicht der Probanden waren die KI-Texte nicht nur leichter lesbar und ansprechender, sondern auch überraschenderweise ‚persönlicher‘“, fasst Gentsch die Befragungsergebnisse zusammen. Aber auch hinsichtlich des Flesch-Index hätten die KI-erstellten Inhalte generell besser abgeschnitten, so der Wissenschaftler: „Im Hinblick auf die objektive Lesbarkeit sind die maschinengeschriebenen Texte durchweg besser, teilweise sogar deutlich besser.“

Trotz dieser Ergebnisse sei KI heute aber per se noch kein besserer Autor als ein Profi-Texter oder eine Agentur, betont Gentsch: „Ohne menschliche Einflußnahme geht es noch nicht.“ Zum einen müsse der maschinell generierte Input aus der KI-Ideation-Phase überprüft und eventuell von Hand „gefiltert“ oder bereinigt werden. Zum anderen sei ein Fine-Tuning der Prompts sowie eine Parametrisierung der GPT-3-Plattform absolut erfolgskritisch. „Nur durch einen Faktencheck lässt sich sicherstellen, dass eventuelle sachliche Fehler der Writing-KI erkannt und bereinigt werden“, so der Professor. 

Gentsch relativiert daher auch die eingangs postulierte These, dass Maschinen besser texten würden als Menschen. Der menschliche Faktor sei nach wie vor entscheidend für die Qualität der Ergebnisse KI-gestützter Contenterstellung, so sein Fazit: „Für die Einrichtung der KI, vor allem aber zur Qualitätssicherung und für den Faktencheck wird nach wie vor menschlicher Sachverstand gebraucht. Zugleich zeigt die Studie aber auch, dass mit dieser Unterstützung bessere Ergebnisse in kürzerer Zeit – und damit zu geringeren Kosten – erstellt werden können. Meine Prognose ist daher, dass sich die Aufgaben in der Content Kreation verschieben werden – Menschen werden zukünftig weniger beim eigentlichen Texten gebraucht werden, aber dafür sich mehr auf strategische Aspekte, die Story-Line und immer auch die Qualitätssicherung der intelligenten Maschinen konzentrieren.“