Lokale KI: KI ohne Cloud im eigenen Betrieb

So bleibt eine Frage im Haus

Alles, was für die Antwort nötig ist, passiert auf dem Server in Ihrem Betrieb.

Frage
Ein Mitarbeiter stellt im Browser eine Frage, etwa zu einer Arbeitsanweisung.
Suche
Der Server sucht in den Dokumenten, die dieser Mitarbeiter sehen darf, nach passenden Stellen.
Antwort
Das Sprachmodell formuliert aus diesen Stellen eine Antwort und nennt die Quelle.

Was auf dem Server läuft

Ein offenes Sprachmodell, das wir auf Ihrem Server installieren, dazu eine Bedienoberfläche im Browser und eine Dokumentensuche. Fachleute nennen dieses Prinzip Retrieval Augmented Generation: Erst werden passende Textstellen gesucht, dann formuliert das Modell daraus die Antwort.

Wer welche Dokumente durchsuchen darf, regeln Benutzerkonten und Gruppen. Die Hardware gehört Ihnen und steht in Ihrem Serverraum oder Büro.

Für Ihre IT

Bedienoberfläche: Open WebUI im Browser
Modelle: offene Sprachmodelle über Ollama oder vLLM
Betrieb: Docker Compose auf Ihrem Server
Zugriff: Benutzerkonten und Gruppen mit Rechtekonzept
Netzwerk: Nutzung im internen Netz, Fernwartung nach Absprache

Cloud-Dienst oder lokale KI?

Ein ehrlicher Vergleich. Beides hat seine Berechtigung.

	Cloud-KI-Dienst	Lokale KI von Belschwerk
Wo die Daten verarbeitet werden	Beim Anbieter, oft in den USA	Auf dem Server in Ihrem Betrieb
Qualität der Antworten	Die stärksten Modelle	Etwas darunter, für viele Aufgaben ausreichend. Das zeigt der Pilot.
Kosten	Laufende Gebühr pro Nutzer	Einmal Hardware und Einrichtung, dann Wartung ab 150 € im Monat
Internet	Immer nötig	Für die Nutzung nicht nötig
Updates	Der Anbieter ändert Modelle, wann er will	Sie entscheiden, wann aktualisiert wird
Ansprechpartner	Support des Anbieters	Persönlich, aus der Region

Wann sich lokale KI lohnt

Sie arbeiten mit vertraulichen Kundendaten, Zeichnungen oder Rezepturen.
Ihre Mitarbeiter nutzen schon heute private KI-Zugänge für die Arbeit.
Sie haben viele interne Dokumente, die kaum jemand findet.
Sie wollen planbare Kosten statt Gebühren pro Nutzer.

Wann eher nicht

Wenn Sie nur gelegentlich Texte formulieren lassen und keine vertraulichen Daten im Spiel sind, reicht oft ein Cloud-Dienst. Das sagen wir Ihnen dann auch so.

Häufige Fragen

Brauchen wir für lokale KI Internet?

Für die tägliche Nutzung nicht. Die KI arbeitet in Ihrem Netzwerk. Für Updates und Wartung vereinbaren wir mit Ihnen, wie und wann wir zugreifen.

Welche Hardware braucht man?

Einen Server mit leistungsfähiger Grafikkarte. Wie groß, hängt von Nutzerzahl und Anwendung ab. Wir wählen ihn aus, liefern ihn und rechnen ihn separat ab.

Lernt die KI aus unseren Daten?

Nein. Wir trainieren keine Modelle mit Ihren Daten. Der Wissensassistent liest Ihre Dokumente nur, um Fragen dazu zu beantworten.