14. September 2023 von Julius Haas und Sebastian Brückner
Generative KI heute: Praxis statt Theorie
Praktische Anwendungen in der Google Cloud
Wenn ihr in letzter Zeit Beiträge zum Thema generative KI gelesen habt, dann seid ihr bestimmt schon über ähnliche Fragen gestolpert:„Wie weit sind wir von einer künstlichen Superintelligenz entfernt? Und müssen wir jetzt alle um unsere Jobs bangen?“
In diesem Blog-Beitrag wollen wir uns nicht in philosophischen Fragen verlieren, sondern beleuchten, welche konkreten Möglichkeiten die Google Cloud im Bereich der generativen KI bereits bietet. Wir zeigen, was sich out of the box etablieren lässt und warum nicht jeder um seinen Job fürchten muss.
Letzteres ist kein neues Phänomen: Schon bei der Einführung des Fotokopierers 1963 oder des Taschenrechners 1967 gab es unbegründete Ängste, durch Maschinen ersetzt zu werden. Wer sich dafür interessiert, kann gerne im Pessimists Archive stöbern – es lohnt sich, schmunzeln garantiert!
Dennoch: Diese und andere Fragen haben ihre Berechtigung und werden spätestens seit der Einführung von ChatGPT und Bard intensiv diskutiert. Wir alle sollten uns mit den möglichen Gefahren und gesellschaftlichen Auswirkungen von Künstlicher Intelligenz auseinandersetzen.
Leider geht in dieser Diskussion derzeit eine wichtige Tatsache unter: Mit generativer Künstlicher Intelligenz lässt sich heute schon Mehrwert generieren. Jetzt – und ganz konkret. Und mit der Vertex AI in der Google Cloud ist das sogar relativ einfach möglich.
Was ist generative Künstliche Intelligenz und wie kann ich sie nutzen?
Aber zwei Schritte zurück. Bevor wir tiefer in die Materie einsteigen, sollten wir klären, worüber wir eigentlich sprechen. Künstliche Intelligenz ermöglicht es Computern, Aufgaben zu übernehmen, die normalerweise menschliche Intelligenz erfordern. Generative Künstliche Intelligenz ermöglicht die Generierung neuer Text-, Audio- und Bilddateien. Das Besondere daran: Es werden nicht nur neue Inhalte erzeugt, sondern die Daten werden auch verstanden.
Dahinter stehen Basismodelle wie GPT oder PaLM, die auf unvorstellbar großen Textmengen trainiert wurden. Als Ergebnis können sie Texte verfassen, zusammenfassen oder übersetzen. Doch damit nicht genug: Sie sind in der Lage, inhaltliche Fragen zu einem gegebenen Text oder einem PDF zu beantworten. Gerade im geschäftlichen Kontext ergeben sich daraus viele Möglichkeiten und Anwendungsfälle, die bereits heute robust umgesetzt werden können.
Beispiele dafür:
1. Supportanfragen können auf Wunsch zusammengefasst werden:
2. Customer Service Chatbots können umgesetzt werden:
Das Gesamtpaket aus der Cloud
Google Cloud bietet mit Vertex AI eine leistungsfähige Plattform für die Entwicklung von KI-Lösungen aller Art. Als Basis dienen die verschieden großen PaLM-2-Large-Language-Modelle (Gecko, Otter, Bison und Unicorn). Diese können über Prompts (also Anweisungen in Form von Text oder Bildern) direkt angesprochen und ohne kostenintensives Modelltraining verwendet werden. Darüber hinaus gibt es die Möglichkeit, Chirp als universelles Sprachmodell, Imagen zur Bildgenerierung oder Codey zur Codegenerierung und -vervollständigung zu verwenden. Der Model Garden bietet darüber hinaus eine Vielzahl verschiedener Google- und Open-Source-Modelle wie Stable Diffusion, BERT und LLama2.
Für spezielle Anwendungsfälle, zum Beispiel für einen firmeneigenen virtuellen Assistenten, können die Modelle im Generative AI Studio mit eigenen Daten getunt werden. Dabei werden dem Modell Trainingsbeispiele in Form von Prompts und Musterantworten bezogen auf das eigene Unternehmen zur Verfügung gestellt, wodurch eine zusätzliche Schicht des Modell trainiert wird. Aber keine Sorge, diese zusätzlichen Daten werden nicht zum Training des von Google Cloud bereitgestellten Basismodells verwendet. Die Unternehmensdaten bleiben ausschließlich im Unternehmenskontext. Das trainierte Modell kann dann einfach über Vertex AI Managed Endpoints bereitgestellt und genutzt werden.
Fassen wir zusammen: Das Generative AI Studio ermöglicht schnelles Prototyping, Testen und Optimieren von generativen Modellen mit eigenen Daten. Dadurch können KI-Lösungen in kurzer Zeit implementiert und genutzt werden.
Was geht out of the box?
Neben dem Zugang zu den einzelnen Werkzeugen im Generative AI Studio, wie dem Large-Language- Modell PaLM 2 und weiteren Modellen für Sprache, Video und Audio, bietet Vertex AI auch Out-of-the-box- und Baukasten-Features. Nach einem ersten Überblick über die Grundlagen von Vertex AI wollen wir uns nun zwei dieser Features genauer ansehen:
Smartes Arbeiten im Intranet: Google Cloud Document AI Warehouse mit GenAI-Suche
Ein beliebter Anwendungsfall in vielen Unternehmen ist die Suche nach Dokumenten im Intranet. Das manuelle Durchsuchen von Dokumenten ist jedoch oft zeitaufwendig und mühsam. Viele Nutzerinnen und Nutzer wünschen sich daher eine einfachere Möglichkeit, die für sie relevanten Informationen zu finden. Um diesem Bedürfnis gerecht zu werden, hat Google die Integration von generativer KI in das Document AI Warehouse angekündigt. Das Document AI Warehouse ist die zentrale Anlaufstelle für die intelligente Verwaltung und Verarbeitung von Dokumenten in der Google Cloud. Dazu gehört auch die automatische Texterkennung (OCR) in Dokumenten, beispielsweise von Bildern in PDFs.
Nach der Integration von GenAI können User ihre Fragen an die Dokumente im Document AI Warehouse stellen, die dann von Googles generativen Sprachmodellen auf Basis der Dokumente beantwortet werden. Bezieht sich die Frage auf mehrere Dokumente, können im Hintergrund bis zu 25.000 Wörter analysiert werden. Zusätzlich werden mit der Antwort Auszüge aus den Dokumenten geliefert, die zur Beantwortung herangezogen wurden. Auch der direkte Sprung zum relevanten Dokument ist möglich.
Nicht nur die Integration von generativer KI in das Intranet ist hier ein spannender Anwendungsfall – auch Kundenbetreuerinnen und -betreuer können Supportanfragen effizienter und schneller beantworten und Kundinnen und Kunden können durch die Suche in natürlicher Sprache noch einfacher an relevante Produktinformationen gelangen.
Vertex AI Search and Conversation (auch bekannt als Gen App Builder)
Um die Komplexität von generativen Suchlösungen zu abstrahieren, hat Google ein weiteres Produkt veröffentlicht: Vertex AI Search and Conversation. Dieses soll als einfache Orchestrierungsebene zwischen den weiter oben diskutierten Basismodellen und den Unternehmensdaten dienen. Dadurch können selbst Entwicklerinnen und Entwickler ohne jahrelange Machine-Learning-Erfahrung entsprechende intelligente Anwendungen bauen, die über eine einfache Dokumentensuche, wie die GenAI-Suche, im Document AI Warehouse hinausgehen.
Gen App Builder, Quelle: https://cloud.google.com/blog/products/ai-machine-learning/vertex-ai-search-and-conversation-is-now-generally-available
Zum Beispiel lässt sich neben einer eigenen Suchmaschine auch schnell ein Chatbot auf Basis von Text- und Audio-Input erstellen, der Fragen und Interaktionen auf den zugrundeliegenden Daten ausführen kann. Dabei kann bestimmt werden, ob neben den eigenen Enterprisedaten auch das „Wissen“ des Foundation Models mit in die Antwort einfließen soll.
Eine Besonderheit ist hierbei, dass ein solcher Chatbot nicht nur auf den dynamisch generierten Outputs von Basismodellen aufsetzt, sondern auch mit regelbasierten Abläufen kombiniert werden kann. Dadurch wird eine höhere Zuverlässigkeit erreicht, die es wiederum ermöglicht, dem Bot Aufgaben zu übertragen. In der Praxis könnte so zum Beispiel ein Termin direkt per Chat in natürlicher Sprache vereinbart werden.
Beispiel für einen Chat, Quelle: https://cloud.google.com/blog/products/ai-machine-learning/vertex-ai-search-and-conversation-is-now-generally-available
Solche Applikationen lassen sich in Vertex AI Search and Conversation bereits direkt in der UI zusammenstellen.
Integration und Ausblick
Wer sich bei all diesen spannenden Möglichkeiten Sorgen um sein Aufgabenfeld macht, kann beruhigt sein: Die größte Herausforderung ist und bleibt die Integration der neuen generativen KI-Features in das eigene Produkt und die damit verbundene Entwicklung von robusten Anwendungen. Auch wenn die Antworten von Large-Language-Modellen in den meisten Fällen überraschend präzise, eloquent und aufschlussreich sind, so können sie doch in manchen Situationen unerwartete Antworten produzieren. Seien es Texte mit gefährlichem Inhalt (Beispiel: Anleitung zum Bombenbau) oder einfach unerwartet anders strukturierte Ausgaben. Sofern wir uns auf die Antworten verlassen und diese direkt parsen wollen, sind wir und unsere Anwendungen unweigerlich auf die Stabilität und Verfügbarkeit der Large-Language-Modelle angewiesen.
Ein kleiner Exkurs
Wie problematisch dies sein kann, zeigte kürzlich das Paper „How Is ChatGPT’s Behavior Changing over Time?" von Forschenden der Universitäten Stanford und Berkeley.
Darin wird beschrieben, dass zwischen den Versionen von März und Juni von GPT-4 und GPT-3.5 teils drastische Unterschiede liegen. So war der von GPT-4 erstellte Code in der März-Variante noch zu 52 Prozent direkt ausführbar, zwei Monate später ging dies nur noch in 10 Prozent der Fälle. Auch die Genauigkeit bei der Beantwortung mathematischer Fragen hat mit GPT-4 teilweise drastisch abgenommen. Die Frage „How many happy numbers are there in [7306, 7311]?“ wurde ursprünglich zu 83,6 Prozent richtig beantwortet, zuletzt nur noch zu 35,2 Prozent. In der gleichen Zeit sind aber bei diesem speziellen Problem die Antworten von GPT-3.5 in der Genauigkeit gestiegen, von 30,6 auf 48,2 Prozent.
Die Modell-Performance und vor allem das Modellverhalten müssen also weiterhin eng von Machine Learning und Software Engineers begleitet werden, um einen reibungslosen Ablauf zu gewährleisten. Denn wenn sich das Antwortverhalten und die Genauigkeiten der Modelle fortlaufend ändern, müssen auch unsere Applikationen, die auf diesen Modellen aufbauen, kontinuierlich angepasst werden.
Ihr habt weitere Fragen zu den Themen Generative AI, Machine Learning, Sprachmodelle oder allgemein zur Google Cloud? Vor welchen Herausforderungen steht ihr im Bereich der KI? Lasst uns darüber sprechen. Auf unserer Website findet ihr zudem weitere Informationen über unsere Partnerschaft mit Google Cloud und bereits umgesetzte Use Cases. Sprecht uns gerne an.
Ihr möchtet gern mehr über spannende Themen aus der adesso-Welt erfahren? Dann werft auch einen Blick in unsere bisher erschienenen Blog-Beiträge.
Auch interessant:
