Individuelle interne GPT-Chat Lösung mit RAG-Pipeline
Die Herausforderung
Unser Kunde K.D. Feddersen wollte die Unternehmensgruppe eine datenschutzkonforme und kosteneffiziente GPT-Lösung aufbauen.
Ziel war es:
- Die Kosten durch Abrechnung auf Consumption Basis anstelle von Lizenzkosten / Benutzer zu senken.
- Eine Datenschutzkonforme Lösung und Anwendung von GPT-Chat zu ermöglichen.
- Die Unternehmensinternen Informationen und Daten im Kontext der GPT-Lösung sicher bereitzustellen.
- Rechte & Mandanten Management damit man nur auf Informationen die für die jeweilige Rolle freigegeben sind zugreifen kann.
- Chat Historie & Feedback Loop
Unsere Lösung
Wir haben uns entschieden ein individuelles React-Frontend zu entwickeln, dass nach den Wünschen des Kunden erweiterbar ist und die Kernfunktionalitäten von ChatGPT abdeckt oder sogar erweitert. Beispielsweise erhält man Referenzen auf Dokumente und interne Daten, die für die Antwort relevant waren, und kann direkt darauf zugreifen. Im Backend haben wir eine REST-API entwickelt die Anfragen verarbeitet und mit den Azure Cloud Services kommuniziert. Unsere RAG-Pipeline die dynamisch die richtigen Informationen bereitstellt um mit OpenAI passende Antworten zu generieren basiert auf Azure Services.
Beispiel Screenshot mit Ailio-Internen Daten
Dynamisch
Ein wichtiger Aspekt unserer Projektes war das System dynamisch für die Zukunft zu halten. Das heißt: Wir wollen uns nicht zwingend auf OpenAI als LLM festlegen und jede Komponente leicht austauschen können. Außerdem soll das Frontend und die Funktionalität leicht erweiterbar sein um zusätzlichen Mehrwert zu generieren.
Business Value
- Compliance durch datenschutzkonforme Lösung & Rechtemanagement
- Zugriff auf interne Daten durch RAG-Pipeline
- Effizienzsteigerung durch GPT Nutzung für Fachabteilungen
Unsere Mission
- Ailio entfesselt das Potenzial deiner Daten
- Wir beraten ehrlich und ohne Buzzword-Bingo
- Unser Motto: Machen statt schnacken!
- End-to-End Lösungen vom Prototypen zur Produktion aus einer Hand
Das Projektvorgehen
-
#1 Potenzial erkennen
Wir lernen uns kennen und Ailio erstellt eine kostenlose Potenzialanalyse. -
#2 Workshop
Gemeinsam definieren wir ein in 1-3 Monaten lieferbares Leuchtturmprojekt mit hohem Business Value. -
#3 Data Sprint
Ailio analysiert Ihre Datenbasis und baut mit geringem Aufwand ein erstes Proof of Concept. -
#4 MVP
Nach erfolgreichem Data-Sprint bringen wir den Use Case auf die Straße. -
#5 Full Release
Gemeinsam optimieren wir die Erfolgsmetriken und Rollen unsere Lösung unternehmensweit aus.
© 2022 Ailio GmbH
