On-Premises-AI-Assistent auf selbst gehosteten LLMs

Problem

COMAN Software wollte Nutzer:innen einen AI-gestützten Zugang zu Produkt- und Unternehmenswissen geben, ohne dabei datenschutzrechtliche Vorgaben zu verletzen. Der zuvor eingesetzte Chatbot auf HubSpot-Basis war kostenintensiv.

Lösung

Ich habe einen Q&A-Chatbot auf Basis lokal betriebener Sprachmodelle konzipiert und entwickelt. Der gesamte Betrieb läuft on-premises: LM Studio und Ollama auf einer NVIDIA DGX Spark, Qdrant als Vektordatenbank, PostgreSQL für die Anwendungsdaten. Sensible Daten werden nicht an externe Cloud-Dienste weitergegeben. Antwortqualität und Latenzen habe ich über Langfuse-Traces gemessen und darauf aufbauend iterativ verbessert.

Ergebnis

Ergebnis: Der kostenintensive HubSpot-Chatbot wurde abgelöst. Die Kosten sind seither planbar und deutlich niedriger, die Antwortqualität ist spürbar besser, mit deutlich weniger Halluzinationen. Der Chatbot ist heute integraler Bestandteil der COMAN-Software.

Technische Umsetzung

• RAG-Pipeline über Produkt- und Unternehmenswissen
• Anbindung an die HubSpot-API
• Integration direkt in die eigenen Softwareprodukte von COMAN
• Containerisiertes Deployment über Docker