Lokale KI
Auch genannt: Private KI, On-Premise-KI, KI vor Ort
Lokale KI betreibt ein KI-Modell auf Ihrer eigenen Hardware, im Büro oder zu Hause, ohne Ihre Daten in die Cloud zu schicken.
Bei einem Online-Assistenten landet jede Frage und jedes Dokument auf den Servern eines Anbieters. Lokale KI, auch private KI oder On-Premise-KI genannt, dreht das um: Das Modell ist auf einem Computer oder Server installiert, der Ihnen gehört, und alle Berechnungen laufen vor Ort. Dank offener Modelle wie Llama, Mistral, Qwen oder Gemma erzielt man heute sehr nützliche Ergebnisse, ohne von einem externen Dienst abhängig zu sein.
Der erste Vorteil ist die Vertraulichkeit: Verträge, Kundenakten, medizinische Daten oder technische Pläne bleiben in Ihren vier Wänden, was auch die Einhaltung der DSGVO erleichtert. Hinzu kommen der Wegfall von Abos pro Nutzer oder Abrechnung pro Token, der Betrieb ohne Internetverbindung und die Freiheit, Ihre Modelle selbst zu wählen und anzupassen. Im Gegenzug bleiben die größten Modelle auf dem Markt für einen Bürorechner unerreichbar, und die Wartung liegt bei Ihnen, sofern Sie sie nicht einem Dienstleister übertragen.
Bei der Ausstattung geht alles vom GPU-Speicher aus. Eine Karte mit 16 GB betreibt quantisierte Modelle mit 7 bis 14 Milliarden Parametern bequem. Mit 32 GB, verteilt auf zwei Karten, sind leistungsfähigere Modelle oder längere Kontexte möglich. Auf der Softwareseite stellt Ollama das Modell bereit, und Open WebUI bietet eine Chat-Oberfläche, die den bekannten Assistenten für Endverbraucher ähnelt.
Unsere KI-Workstations werden mit vorinstalliertem Linux, NVIDIA-Treibern, Ollama und Open WebUI ausgeliefert. Auf Anfrage bieten wir außerdem einen privaten KI-Assistenten an, der mit Ihren Dokumenten verbunden ist.