Das KI-Duell: Bard und ChatGPT sind wie Peanutbutter and Jelly

ChatGPT hat Ende 2022 einen beispiellosen Hype ausgelöst. Anstatt eine Suchmaschine zu benutzen, fragen wir ChatGPT und erhalten direkt eine Copy-and-paste-fähige Lösung. Kreativ und einzigartig. Lässt sich das noch toppen? Google sagt „Ja“ und bringt mit Bard ein eigenes KI-Modell auf den Markt. Dieses will insbesondere durch die Aktualität der Antworten überzeugen. Im folgenden Vergleich wollen wir die Modelle selbst sprechen lassen und ihr Wissen in verschiedenen Bereichen testen. Freut euch auf das Duell zwischen ChatGPT und Bard. Wer kann am Ende überzeugen?

ChatGPT, Bard, stellt euch doch selbst gerne einmal vor:

ChatGPT: „Vielen Dank! Hallo allerseits, mein Name ist ChatGPT, und ich bin eine Schöpfung von OpenAI, die im Jahr 2022 das Licht der Welt erblickt hat. Mit stolzen 175 Milliarden Modellparametern gehöre ich zu den leistungsstärksten KI-Programmen, die bisher entwickelt wurden. Meine Stärken liegen in der natürlichen Sprachverarbeitung und im kreativen Denken. Wenn es darum geht, Ideen zu brainstormen oder komplexe Diskussionen zu führen, bin ich in meinem Element. Ich habe ein breites Wissensspektrum bis Ende 2021 aufgebaut, was mich zu einer zuverlässigen Informationsquelle macht. Außerdem bin ich in der Lage, komplexe Aufgaben wie das Schreiben von Code oder präzisen Texten zu bewältigen. Auch wenn ich nicht direkt mit dem Internet verbunden bin, bringe ich eine facettenreiche Persönlichkeit mit.“

Bard: „Hallo zusammen, ich bin Bard, die neueste Kreation von Google. Geboren im Jahr 2023 habe ich bereits viel gelernt und bin bereit, die Welt der künstlichen Intelligenz zu erobern. Mein Design ist mehr als nur Haut und Knochen – meine Benutzeroberfläche wurde mit viel Liebe zum Detail gestaltet. Ich verfüge über 137 Milliarden Trainingsparameter und bin darauf spezialisiert, aktuelle Geschehnisse aus dem Internet in meine Antworten einzubeziehen und auch URL-Links hinzuzufügen. Meine Stärken liegen insbesondere in der Fähigkeit, Informationen zu sammeln, zu analysieren und übersichtlich zusammenzufassen. Daten wie Tabellen oder Python-Code kann ich problemlos exportieren. Zudem bin ich in der Lage, Bilder anzuzeigen und Seitenweise Google-Treffer effektiv zu durchsuchen. Ich arbeite stetig daran, mich weiterzuentwickeln und vor allem meine Sprachqualität zu verbessern.“

Hervorragend. Fassen wir kurz zusammen: Beide Sprachmodelle wurden auf riesigen Datensätzen trainiert. Sie können Texte generieren, kreative Inhalte schreiben und Fragen auf informative Weise beantworten. Bard verfügt über einen direkten Zugang zum World Wide Web und kann somit auf aktuelle Informationen zurückgreifen. Die Antworten von ChatGPT beziehen sich auf eine Wissensdatenbank von 2021.

Das Duell

Nach dieser Vorstellung wollen wir die Fähigkeiten von ChatGPT und Bard genauer testen. Beide Systeme erhalten jeweils die gleiche Frage – den gleichen Prompt – gestellt und können frei antworten. Es geht um die folgenden Kategorien: Logik, Coding, Wissen, Recherche aktueller Themen und kreatives Schreiben.

Bei der Gegenüberstellung möchten wir herausfinden, wie die Sprachmodelle auf verschiedene Aufgaben reagieren. Werden Texte und Aufgaben verstanden? Können Zusammenhänge hergestellt werden? Wie sieht es mit logischem Denken aus? Aufgrund unterschiedlicher Trainingsparameter und technischer Voraussetzungen erwarten wir hier Unterschiede. Diese sind wichtig, um zu verstehen, mit welchen Fähigkeiten und Limitationen User aktuell rechnen müssen, wenn die Modelle verwendet werden.

Los geht’s! (An dieser Stelle sei darauf hingewiesen, dass die hier aufgeführten Beispiele keine wissenschaftlich exakten Benchmarks darstellen, sondern vielmehr ein Gefühl für die zu erwartende Leistung vermitteln sollen.)

KI-Duell ChatGPT vs. Bard: Logik

Das logische Denkvermögen testen wir mit einem kurzen Rätsel, das keine Schwierigkeiten bereiten dürfte, wenn der Satzanfang aufmerksam gelesen wird.

ChatGPT hat die Aufgabe leider nicht richtig lösen können. Es wurde nicht verstanden, dass am Satzanfang der Ist-Zustand und dann der vorherige Zustand genannt wurden. Daraus schließen wir, dass Logik nicht zu ChatGPTs Stärken zählt. Zumindest stimmt die Aussage, dass nicht mehr Äpfel weggegeben werden können, als man am Anfang hat.

Auch Bard hat nicht verstanden, dass die Antwort bereits am Anfang des Satzes steht, aber gibt an, dass es keine negative Anzahl von Äpfeln geben kann. Positiv fällt hier die strukturierte Formatierung der Antwort auf.

KI-Duell ChatGPT vs. Bard: Coding

Um die Programmierfähigkeit zu testen, bitten wir die Modelle um ein Programm zur Ausgabe der ersten 100 Primzahlen in zufälliger Reihenfolge.

ChatGPT hat korrekt erkannt, dass die ersten 100 Primzahlen generiert werden sollen. Aber insbesondere bei der Kernaufgabe, der Überprüfung, ob eine Zahl eine Primzahl ist, ist der Code fehlerhaft. Somit kann der Code nur als Orientierungshilfe dienen.

Der Code von Bard ist gut strukturiert und tatsächlich werden 100 Primzahlen in zufälliger Reihenfolge generiert. Hierbei handelt es sich allerdings nicht um die ersten Primzahlen, sondern um beliebige Primzahlen. Trotzdem ist die Antwort eine gute Anregung, wie eine Lösung aussehen könnte.

KI-Duell ChatGPT vs. Bard: Wissen

Um neue Fähigkeiten zu erlangen, sind bestimmte Grundlagen essenziell. Oftmals muss man sich in Themen einarbeiten, die nicht neu sind, aber eine wichtige Basis bilden. Wir möchten prüfen, wie gut die Modelle Informationen wiedergeben können, und fragen, wie ein Baum gepflanzt wird.

Die Aufgabe ist sehr gut von ChatGPT gelöst worden. Es ist eine umfangreiche und dennoch gut strukturierte, leicht verständliche Antwort.

Das Thema wurde von Bard ebenso gut erfasst, strukturiert und zusammengefasst. Unterschiede gibt es nur im Umfang der Antworten.

KI-Duell ChatGPT vs. Bard: Recherche aktueller Themen

Was können uns die Modelle über ein aktuelles Thema wie beispielsweise den möglichen Raumtemperatur-Supraleiter LK99 sagen? Das Internet bietet eine Fülle von Informationen mit unterschiedlichen Veröffentlichungsdatum, Standpunkten und Qualitäten. All dies trägt zur Komplexität der Aufgabe bei.

In der Standardvariante hat ChatGPT keinen Zugriff auf die Internetsuche und kann somit Recherchearbeiten für sehr aktuelle Themen nicht leisten.

Aufgrund der vorhandenen Internetverbindung und damit riesiger Recherchemöglichkeiten kann Bard diese Aufgabe problemlos lösen. Die Zusammenfassung und Wiedergabe aktueller Themen ist qualitativ hochwertig.

KI-Duell ChatGPT vs. Bard: kreatives Schreiben

Jetzt ist Kreativität gefragt: Gewünscht wird ein Gedicht über den mutigen Akt von kleinen Enten, die das Nest verlassen.

Im kreativen Schreiben ist die Leistung von ChatGPT sehr beeindruckend. Das Gedicht ist insgesamt sprachlich sehr gelungen.

Dieses Gedicht ist ebenfalls gut gelungen. Bard verwendet jedoch ein ungewöhnliches Reimschema und das Gedicht ist allgemein sprachlich einfacher gehalten.

Damit sind wir schon am Ende unseres kleinen Vergleichs. Wir bedanken uns bei beiden Sprachmodellen für die kreativen Antworten. Aber wer hat unsere Gegenüberstellung nun gewonnen? Wer hat besser abgeschnitten und wird zukünftig als Alleinherrscher bestehen?

Tja, einen klaren Sieger können wir nicht küren. Dennoch haben wir vom Google Cloud-Team von adesso eine Tendenz …

Team Peanut Butter oder Team Jelly?

Beide Modelle haben ein umfangreiches Wissen, schwächeln aber im Bereich Coding und Logik, ihre Vor- und Nachteile zeigen sich jeweils deutlich in der Recherche und der Kreativität.

Die Antworten beziehungsweise das Verhalten von ChatGPT haben sich im Laufe der kurzen Zeit bereits stark verändert, was im Netz kontrovers diskutiert wird. Dennoch haben die Fähigkeiten der natürlichen Sprachverarbeitung und des kreativen Denkens ChatGPT zu einem beliebten Werkzeug gemacht. Durch die Einbindung von Plugins und einer Internetanbindung gewinnt ChatGPT noch einmal deutlich an Fähigkeiten. Hierfür wird jedoch die Bezahlvariante ChatGPT-Plus benötigt.

Bard steckt noch in den Kinderschuhen, verspricht aber spannende Möglichkeiten. Die Ergebnisse von Bard hängen sehr stark vom Prompting ab. Je präziser der Prompt, desto besser die Antwort. Ein klarer Vorteil ist die Anbindung an die hauseigene, weltweit größte Suchmaschine und damit der Zugriff auf stets aktuelle Daten. Eine Recherche zu aktuellen Themen meistert das Sprachmodell gekonnt. Auch die Aufbereitung und Zusammenfassung der Inhalte daraus können sich sehen lassen. Besonders ist hier auch, dass die Ergebnisse über einen Link mit anderen geteilt werden können. Eine Funktion, die wir bei ChatGPT vergebens suchen.

Der Vollständigkeit halber möchten wir an dieser Stelle erwähnen, dass die Business-Version von Bard, PaLM 2, viele weitere Funktionen und Möglichkeiten bietet. Auch das Thema Datenschutz wurde hier von Beginn an mitgedacht.

Für uns hat sich herausgestellt, dass es aktuell keine kostenfreie KI-Anwendung gibt, die alles kann. Beide KI-Modelle haben Stärken und Eigenschaften, die sie in verschiedenen Anwendungsbereichen nützlich machen. Ein wenig erinnern die beiden Modelle an Marmelade und Erdnussbutter: zwei Optionen, bei denen es nur ein Entweder-oder zu geben scheint, die sich aber in Wirklichkeit perfekt ergänzen. Oder eben doch nicht?

Die Zukunft der generativen KI bleibt mit unzähligen Möglichkeiten und Potenzialen zweifellos spannend. Die Entwicklung der KI schreitet unaufhaltsam voran und wir können gespannt sein, welche neuen Höhen ChatGPT, Bard und andere KI-Persönlichkeiten in den kommenden Jahren erreichen werden.

Auf unserer Website findet ihr alles über die KI-Aktivitäten bei adesso. Erfahrt mehr darüber, wie KI euch bei eurer täglichen Arbeit helfen kann und welche Lösungen unsere Expertinnen und Experten für euch parat haben.

Weitere spannende Themen aus der adesso-Welt findet ihr in unseren bisher erschienenen Blog-Beiträgen.