GENIUS Projektstatus-Meeting
June 14, 2024
Boule Turnier Bericht der PG GENIUS
July 19, 2024
AbatGPT Short Demo: KI-gestützte Dokumentenanalyse unter Verwendung von LLMs in Unternehmen
Einleitung
Die Projektgruppe GENIUS der Abteilung VLBA der Universität Oldenburg präsentiert einen Fortschritt im Bereich der KI-gestützten Dokumentenanalyse in Unternehmen: abatGPT. Diese Lösung ermöglicht die interaktive Befragung von Dokumenten in natürlicher Sprache und zielt darauf ab, die Effizienz und Wissensgenerierung in Unternehmen zu steigern. In diesem Artikel wird ein Einblick in die technische Umsetzung der abatGPT Short Demo gegeben, die kürzlich im Rahmen des Statusmeetings bei der abat AG vorgestellt wurde.
Technische Grundlagen
Die Kernfunktionalität von AbatGPT basiert auf einer intuitiven Chat-Oberfläche, die es Benutzern ermöglicht, Fragen zu einem hochgeladenen PDF zu stellen. Im Hintergrund verarbeitet ein Large Language Model (LLM) diese Fragen und liefert Antworten unter Einbindung des zuvor hochgeladenen Dokuments.
Für die Short Demo wurden folgende Technologien eingesetzt:
- LLM: llama2:13b-chat und nomic-embed-text (via ollama)
- LLM Hosting: Server der VLBA
- Vektor-Datenbank: ChromaDB
- Frontend: Chainlit
Diese Kombination ermöglichte es, eine schnelle und skalierbare Lösung zu entwickeln, die auch große Dokumente effizient verarbeiten kann. Ein Beispiel der gesamten Architektur lässt sich in folgendem Bild erkennen.
Architektur-Diagramm Shortdemo abatGPT
Funktionsweise
- Dokumenten-Upload: Der Benutzer lädt ein Dokument (derzeit nur Textdateien) in die abatGPT-Oberfläche hoch.
- Vektorisierung: Das Dokument wird in semantische Vektoren umgewandelt und in ChromaDB gespeichert. Diese Vektoren repräsentieren den Inhalt des Dokuments auf eine Weise, die für das LLM verständlich ist.
- Fragen & Antworten: Der Benutzer stellt Fragen in natürlicher Sprache über die Chat-Oberfläche.
- Antwortgenerierung: Das LLM analysiert die Frage, durchsucht die Vektor-Datenbank nach relevanten Informationen und generiert eine präzise Antwort.
Ausblick: AbatGPT für Junior und Developer
Die Short Demo ist nur der erste Schritt. Es wird bereits an zwei spezialisierten Versionen von AbatGPT gearbeitet:
- AbatGPT Junior: Ein KI-Assistent für neue Mitarbeiter, der Fragen zu Unternehmensrichtlinien, Prozessen und Onboarding-Themen beantwortet.
- AbatGPT Developer: Ein KI-gesteuerter Co-Pilot für ABAP-Entwickler, der bei der Code-Erstellung, Fehlersuche und Optimierung unterstützt.
Darüber hinaus ist geplant, die Funktionalität von abatGPT auf andere Datenformate wie Videos und Präsentationen auszuweiten. Dafür wird die gesamte Architektur neu überdacht und die Rückschlüsse der Short Demo bilden ein Fundament dafür.
Fazit
Die abatGPT Short Demo zeigt das Potenzial von KI in der Dokumentenanalyse. Durch die Kombination von leistungsstarken LLMs, effizienten Vektor-Datenbanken und intuitiven Benutzeroberflächen können Lösungen entwickelt werden, die den Arbeitsalltag in Unternehmen verbessern.
Danksagung
Wir danken der Abat AG für die Möglichkeit, unsere Arbeit zu präsentieren, und dem gesamten VLBA-Team für die hervorragende Zusammenarbeit. Wir freuen uns darauf, abatGPT weiterzuentwickeln.
