Von der Idee zur Realität: Wie Databricks Vector Search die Suchfunktion revolutionieren kann

Von Ailio GmbH – Experten für Data Science und KI-Lösungen auf Basis von Databricks und Azure

Suchmaschinen sind allgegenwärtig und elementar für eine gute Customer Experience. Was passiert aber hinter den Kulissen, wenn klassische keywordbasierte Suchsysteme nicht mehr reichen? Wie Unternehmen moderne KI-Technologien wie Databricks Vector Search erfolgreich einsetzen können und dadurch ihren Kunden enormen Mehrwert bieten, zeigt ein interessantes Beispiel des Unternehmens Ibotta.

Warum klassische Suchsysteme heute an Grenzen stoßen

Die Erwartungen der Nutzer bei Suchen haben sich grundlegend verändert. Nutzer verwenden nicht mehr nur einfache Keywords, sondern zunehmend komplette Sätze, Umgangssprache oder auch unpräzise Beschreibungen. Klassische Keyword-basierte Systeme stoßen hier schnell an ihre Grenzen, da sie nicht in der Lage sind, komplexere semantische Kontexte und Intentionen richtig zu interpretieren.

Genau diese Herausforderung stellte sich auch für Ibotta, einer Cashback-Plattform, die Millionen Kunden („Savers“) dabei hilft, attraktive Angebote zu finden. Ursprünglich nutzte Ibotta ein selbst entwickeltes Suchtool, das den Anforderungen an präzise semantische Relevanz und Nutzerzufriedenheit nur eingeschränkt gerecht wurde. Die Konsequenz: Unzufriedenheit der Nutzer und ungenutzte Potentiale für das gesamte Geschäftsmodell.

Von der Idee zum Prototyp: Ein interner Hackathon und Databricks Vector Search

Im Rahmen eines internen Hackathons entschied sich Ibotta für eine innovative Herangehensweise. Ein interdisziplinäres Team aus Data Scientists, Machine Learning Experten, Ingenieuren und Marketing-Analysten nutzte Databricks‘ neue Vector Search Technologie, um innerhalb kürzester Zeit einen völlig neuen Suchansatz als Prototyp zu realisieren.

Nach dem Gewinn des Hackathons erkannte man schnell, dass der entwickelte Prototyp – basierend auf der hochmodernen semantischen Suche mithilfe von Embedding-Modellen und Vector Search – enormes Potenzial hatte. Doch zwischen einem gelungenen Proof-of-Concept-Prototyp und einem produktionsreifen System liegen viele Herausforderungen.

Pilotierung und iterative Optimierung: Erfolgsfaktoren und Erfahrungswerte

Die Umstellung auf das neue Vector Search System vollzog sich nicht über Nacht. Erste Tests und Pilotierungen zeigten zunächst eher enttäuschende Resultate im Hinblick auf Kundeninteraktion und Engagement. Dennoch war die grundlegende technische Flexibilität der neuen Plattform deutlich sicht- und messbar überlegen. Schnell zeigte sich, dass die Komplexität solcher KI-Systeme und Suchlösungen eine gründliche und methodische, iterative Vorgehensweise erforderte.

Um dies zu ermöglichen, entwickelte Ibotta eine umfassende und maßgeschneiderte Evaluationsmethodik. Hierbei wurden über 50 verschiedene Metriken berücksichtigt, online wie offline: von klassischen Ranking-Methoden wie Mean Reciprocal Rank (MRR) oder precision@k-Metriken bis hin zu realen Engagement-Indikatoren wie Klickverhalten und Interaktion mit Angeboten. Der entscheidende Schritt war zudem die Implementierung eines KI-basierten Bewertungssystems („LLM-as-a-judge“), das schnell hochwertige Labels für Trainingsdaten produzierte und eine valide Vorhersage der tatsächlichen Nutzer-Interaktionen ermöglichte.

Fine-Tuning: der Schlüssel zum nachhaltigen Erfolg im Vector Search

Standard-Embedding-Modelle waren in den Tests vielversprechend, aber dennoch nicht ausreichend auf Ibotta’s spezifische Angebote und Zielgruppen abgestimmt. Die logische Konsequenz hieß: ein eigenes, auf firmeneigenen Daten angepasstes, feinjustiertes Embedding-Modell zu entwickeln.

Durch gezielte Nutzung der generierten Trainingsdaten und iterative Anpassungen übertraf das maßgeschneiderte Embedding-Modell schließlich sämtliche Standardlösungen deutlich. Offline-Evaluationen zeigten Leistungssteigerungen von über 20% gegenüber den besten Drittanbieter-Modellen. Diese Zahlen wurden auch im Realbetrieb bestätigt, womit eine umfassende Implementierung gerechtfertigt war.

Nutzer profitieren: schneller, präziser und besser

Die finale Einführung des neuen Vector Search Systems brachte beeindruckende Resultate hervor:

• Deutlich verbessertes Engagement bei relevanten Suchergebnissen
• 60% geringere Antwortzeit durch optimierte Suchprozesse
• Verbesserte Unterstützung komplexer Suchanfragen und branchen- oder produktspezifischer Termini durch innovative Query-Transformationen
• Multi-Search-Funktionalität zur optimalen Suche nach breiten, generischen Begriffen

Damit erhöhte Ibotta sowohl die Zufriedenheit der Nutzer als auch die Conversion-Rate bei Deals erheblich. Gleichzeitig gewann das Unternehmen umfangreiche Fähigkeiten, die Suchfunktion kontinuierlich weiterzuentwickeln – ein bedeutender Wettbewerbsvorteil gegenüber Mitbewerbern, die noch auf veraltete Keyword-basierte Suche setzen.

Die Vorteile von Databricks Vector Search auf einen Blick

Aus heutiger Perspektive ergeben sich sowohl aus technischer als auch Geschäftssicht klare Chancen und Vorteile durch den Einsatz von Vector Search von Databricks:

• Effizientere Kundenansprache: Bessere semantische Übereinstimmung erhöht Relevanz und Nutzerzufriedenheit.
• Höhere Flexibilität: Einfache Iterationen, schnelle Testzyklen und Anpassungen des Suchsystems möglich.
• Technologische Führerschaft: Nutzung modernster KI-Technologien ermöglicht differenzierte Kundenservices.
• Bessere Geschäftszahlen: Signifikante Steigerung der Engagement- und Conversion-Raten durch effiziente Suchen.

Lessons Learned: Der Schlüssel zu erfolgreicher Einführung und Nutzung von Vector Search

Aus der Implementierung von Databricks Vector Search bei Ibotta lassen sich vielfältige Learnings ableiten, insbesondere:

• Klare Ziele setzen und systematische Evaluationsmethoden etablieren.
• Interdisziplinäre Teams fördern für ganzheitliches Verständnis der Anforderungen.
• Iterative Entwicklung gezielt fördern, flexible Anpassungen jederzeit ermöglichen.
• Feinabstimmung und kundenspezifische Lösungen gegenüber generischen Modellen bevorzugen.

Fazit: Potenziale erkennen und nutzen

Der Erfolg von Ibotta bei der Einführung und Optimierung von Databricks Vector Search zeigt das enorme Potenzial moderner KI-Technologien für datenintensive Anwendungen und Customer Engagement. Für Unternehmen, die ihre Suchlösungen verbessern und an moderne Nutzerbedürfnisse anpassen wollen, ist die Evaluierung und Anpassung von Vector Search Strategien essenziell.

Als Spezialist für Data Science und KI-Lösungen – insbesondere im Bereich Databricks und Azure – unterstützt die Ailio GmbH Unternehmen bei der Planung, Umsetzung und Skalierung eigener Vector Search Projekte. Moderne Suchsysteme sind heute keine Luxuslösungen mehr, sondern unverzichtbarer Pfeiler für wirksames digitales Marketing und nachhaltige Kundenbindung.