Snowflake GenAI: Daten intelligent nutzen - Level Up your Data!

Im Bereich der generativen KI (GenAI) hat Snowflake einen späten, aber großen Schritt gemacht. Mit Services wie dem Snowpark Container Service, Snowflake Cortex und dem Snowflake-eigenen Large Language Model (LLM) ‚Arctic‘ will sich Snowflake einen Platz in der Welt der generativen KI sichern. Der zweite Teil des Blog-Beitrags beschäftigt sich mit diesen drei Diensten und den Möglichkeiten, die sich daraus (für Unternehmen) ergeben.

Welche Möglichkeiten bietet Snowflake?

Serverlose AI- und LLM-Funktionen

In Verbindung mit den Snowflake ML Functions gibt es die Cortex Functions. Diese beinhalten nun sowohl die ML Functions als auch die Ready-To-Use GenAI Functions. Der Cortex Service wurde bereits auf dem Snowday 2023 vorgestellt und soll den Zugang und die Nutzung von ML, GenAI und LLMs für alle Nutzer, unabhängig von deren technischen Kenntnissen, vereinfachen. Obwohl viele Funktionen erst nach und nach freigeschaltet werden, bietet der Dienst nun eine vollständig verwaltete Umgebung, die den Nutzerinnen und Nutzern sofortigen Zugriff auf eine wachsende Sammlung von serverlosen Funktionen ermöglicht. Mit SQL oder Python mit Snowpark ist es möglich, auf LLM-Modelle zuzugreifen, die für nachgelagerte NLP-Aufgaben spezialisiert sind:

• Extraktion von Antworten,
• Stimmungsanalysen,
• Text-Zusammenfassungen,
• Übersetzungen und die
• Einbettung von Text .

Um noch mehr Flexibilität für nahezu alle Programmiersprachen, Frameworks und Bibliotheken sowie für die Hardware der Wahl (CPU/GPU) zu bieten, hat Snowflake den ‚Snowpark Container Service‘ entwickelt. Dieser Service, der Ende letzten Jahres eingeführt wurde, bietet eine erweiterte Snowpark-Runtime, die einen schnellen Zugriff auf GPU-Infrastruktur ohne zusätzliche Betriebskosten ermöglicht. Letzteres ist das Ergebnis einer Partnerschaft mit NVIDIA.

Der Snowpark Container Service ermöglicht Entwicklern die effiziente und sichere Bereitstellung von Containern, die unter anderem die folgenden benutzerdefinierten KI-Anwendungsfälle ermöglichen:

• LLM-Feinabstimmung
• Open-Source-Vektor-Datenbank-Bereitstellung
• Verteilte Einbettverarbeitung
• Sprache-zu-Text Verarbeitung
• Hosting für Inferenzprozesse

Im Hintergrund nutzt der Containerdienst ein auf Kubernetes (kurz K8s) basierendes System, um die Erstellung, Verwaltung und Größenanpassung von Containern im Snowflake-Ökosystem automatisch zu verwalten. Einem Bericht von The Stack zufolge wird ein gemanagter Kubernetes-Cluster verwendet. Dadurch können Benutzer und Unternehmen ihre Anwendungen nahe an den Daten betreiben und von den Sicherheitsmechanismen der Plattform profitieren, ohne sich um die zugrunde liegende Infrastruktur kümmern zu müssen.

Snowflakes eigenes Large Language Model

Die neueste Veröffentlichung (April 2024) von Snowflake ist das selbst entwickelte Open Source LLM ‚Arctic‘ mit 17B aktiven Parametern. Dieses Modell konzentriert sich auf Enterprise Intelligence-Metriken, eine Sammlung von Fähigkeiten, die für Unternehmenskunden von entscheidender Bedeutung sind. Das bedeutet, dass das LLM für spezifische Anwendungsfälle entwickelt wurde, einschließlich Codierung (HumanEval+ und MBPP+), SQL-Generierung (Spider) und Instruction Following (IFEval).

Die Modelleffizienz soll mindestens so hoch sein wie bei Llama 3 8B und Llama 2 70B, aber mit weniger als der Hälfte des Trainings-Rechenbudgets (ungefähr zwei Millionen USD, weniger als dreitausend GPU-Wochen). Dies wird durch eine Dense - MoE Hybrid Transformer Modellarchitektur erreicht. Eine Kombination von Dense Transformer und MoE Transformer.

Um das Modell für die oben genannten Anwendungsfälle zu trainieren, wurde ein Business Oriented Data Curriculum durchgeführt. Im Prinzip wurde das Modell in Analogie zum Erlernen von Fähigkeiten im menschlichen Leben zunächst auf generische Fähigkeiten trainiert, um dann in den letzten Phasen komplexere Metriken zu erlernen.

Wer mehr über die Modellarchitektur oder die Inferenzeffizienz des Modells erfahren möchte, kann hier zum ‚Arctic Cookbook‘ gelangen. Es enthält detaillierte Artikel über Modellierung, System, Daten und Feinabstimmung. Um Arctic zu testen, folgt diesem Link, der zu einer kostenlosen Hugging Face Demo führt.

Snowflakes Embedding Modelle

Text Embedding Modelle spielen ebenfalls eine zentrale Rolle in der Welt von GenAI. Diese Modelle wandeln Textdaten in numerische Vektoren um. Diese Vektoren enthalten semantische Informationen des Textes, so dass ähnliche Texte ähnliche Vektoren haben. Da Maschinen numerische Eingaben benötigen, um Berechnungen durchführen zu können, ist Text Embedding eine entscheidende Komponente vieler nachgeschalteter NLP-Anwendungen. Snowflake hat eine Reihe von Embedding-Modellen in fünf Größen von s-small (xs) bis large (l) veröffentlicht, die im Massive-Text-Embedding-Benchmark (MTEB) eine Spitzenleistung erreichen.

Diese Modelle werden insbesondere im Zusammenhang mit Retrieval-Augmented-Generation (RAG) verwendet. RAG bietet eine Möglichkeit, die Ausgabe eines LLM mit gezielten und aktuellen Informationen, wie zum Beispiel firmeneigenen Daten, zu optimieren, ohne das Basismodell erneut trainieren zu müssen. Für die Implementierung werden Embedding-Modelle benötigt, die diese neuen Daten in Vektoren umwandeln, die dann zusammen mit den Metadaten in einer Vektor-Datenbank gespeichert werden.

Fazit

Snowflake hat es sich zur Aufgabe gemacht, seine Kunden bei der effizienten und einfachen Nutzung von GenAI zu unterstützen, um bessere Entscheidungen zu treffen, die Produktivität zu steigern und mehr Kunden durch die Nutzung aller Arten von Daten zu erreichen. Zu diesem Zweck bieten die Services Möglichkeiten für benutzerdefinierte Workloads mit OSS-LLMs und serverlose GenAI-Funktionen für fortgeschrittene NLP-Aufgaben. Mit ‚Arctic‘ steht ein Open LLM für Unternehmen zur Verfügung, mit dem SQL Data Copilots, Code Copilots und mit Hilfe der Arctic Embedding Familie RAG Chatbots erstellt werden können. Damit erweitert Snowflake seine umfassende Datenplattform und seine KI-Fähigkeiten erheblich und schafft eine robuste Infrastruktur, die Unternehmen dabei unterstützt, ihre Datenstrategien durch den Einsatz von GenAI deutlich zu verbessern.

Ihr möchtet gern mehr über spannende Themen aus der adesso-Welt erfahren? Dann werft auch einen Blick in unsere bisher erschienenen Blog-Beiträge.

Auch interessant:

• Teil 1: Snowflake ML