Was ist AnythingLLM?
AnythingLLM von Mintplex Labs bündelt eine Chat-Oberfläche, Dokumentenaufnahme und Retrieval (RAG), eine Vektordatenbank, Agenten und MCP-Tools in einer App. Es läuft als Desktop-App für einen Nutzer unter Windows, macOS und Linux oder als Mehrbenutzer-Server in Docker mit Berechtigungen, White-Labeling und einem einbettbaren Chat-Widget für Websites.
Es funktioniert ohne zusätzliche Dienste: Ein nativer Embedder und der Vektorspeicher LanceDB sind eingebaut, und eine lokale Engine auf Basis von Lemonade und llama.cpp betreibt Modelle auf der CPU, auf Nvidia-GPUs (CUDA) oder auf GPUs von AMD und Intel (Vulkan). Es verbindet sich auch mit Ollama, LM Studio und den meisten Cloud-Anbietern und ergänzt No-Code-Agentenabläufe, geplante Aufgaben, Modell-Routing und Erinnerungen. Version 1.18.0 erschien am 13. Oktober 2026 unter der MIT-Lizenz.
Was kostet AnythingLLM?
| Tarif | Preis | Was enthalten ist |
|---|---|---|
| Desktop and Docker | Free | MIT |
| Cloud Basic | $50/month | |
| Cloud Pro | $99/month | |
| Enterprise | Custom |
Desktop und Docker kostenlos (MIT); ein optionales Abo Desktop Pro hebt die Tageslimits seiner Magic-Funktionen auf (Preis in der Dokumentation nicht veröffentlicht). Gehostete Cloud Basic 50 $/Monat, Pro 99 $/Monat; Enterprise nach Vereinbarung.
Lohnt sich AnythingLLM?
AnythingLLM entfernt fast jeden Schritt zwischen einem Stapel Dokumente und einem Chatbot, der daraus antwortet. Die Desktop-App bringt ihren eigenen Embedder, Vektorspeicher und eine lokale Modell-Engine mit, sodass auch jemand, der nie von Ollama gehört hat, sie installieren, ein Modell wählen und Dateien hineinziehen kann. Sie hat rund 67.500 GitHub-Sterne und veröffentlichte 1.18.0 am 13. Oktober 2026.
In der Docker-Edition wird daraus ein Teamprodukt, mit mehreren Nutzern und Berechtigungen, White-Labeling, einer Entwickler-API und einem einbettbaren Chat-Widget. Dort liegt auch das Risiko. Das Repo führt 25 veröffentlichte Sicherheitshinweise, darunter eine Remote-Codeausführung mit hohem Schweregrad per Argument-Injection im Agenten-Skill für die Dateisystemsuche (Mai 2026) und, im September 2026, eine Schwachstelle, durch die die privaten Erinnerungen des Instanzbesitzers in den Prompt gelangten, den anonyme Besucher des Embed-Widgets sahen. Spiele Patches zügig ein und halte den Server vom offenen Internet fern.
Telemetrie ist standardmäßig an. Das README listet, was an PostHog geht: Installationsart, Ereignisse zum Hinzufügen oder Entfernen von Dokumenten, Typ der Vektordatenbank, LLM-Anbieter und Modell-Tag sowie Ereignisse zu gesendeten Chats, ohne Inhalte oder IP-Adresse. DISABLE_TELEMETRY=true oder die Privacy-Seite schaltet sie ab, wobei die App für Modell-Downloads weiterhin cdn.anythingllm.com und für einige zwischengespeicherte Dateien GitHub kontaktiert.
Die Retrieval-Qualität ist die Obergrenze. Reviewer merken an, dass die Antworten von Chunking-Einstellungen abhängen, die Einsteiger selten ändern, und die Desktop-Edition bleibt auf einen Nutzer beschränkt. Open WebUI gibt bei großen internen Deployments feinere Admin-Kontrolle; AnythingLLMs Argument ist, dass ein Büro mit 10 Leuten es ohne Engineer betreiben kann, und die gehostete Cloud für 50 $ oder 99 $ im Monat pro Instanz ist für dieses Büro bepreist, nicht für eine Einzelperson.
Wo es sich lohnt
Eine Büroleiterin in einer Steuerkanzlei mit 12 Leuten
Mitarbeitende Fragen zu Mandatsvereinbarungen und internen Abläufen stellen lassen, ohne sie in einen öffentlichen Chatbot hochzuladen
Die Docker-Edition auf einem Büroserver mit einem lokalen Modell über die eingebaute Engine oder Ollama betreiben, ein Workspace pro Team und Berechtigungen pro Nutzer. Die Software kostet unter MIT nichts; die echten Kosten sind ein Rechner mit genug Speicher für das Modell und jemand, der Sicherheitsupdates einspielt.
Ein Support-Lead bei einem SaaS-Unternehmen mit öffentlicher Dokumentationsseite
Ein auf die Dokumentation trainiertes Chat-Widget ins Hilfecenter stellen
Die Dokumentation in einen Workspace aufnehmen und das einbettbare Widget aus der Docker-Edition veröffentlichen, gestützt auf ein Cloud-Modell. Die gehostete Cloud Basic für 50 $ im Monat erspart den Serverbetrieb; prüfe vor dem Livegang, dass der Sicherheitshinweis vom September 2026 zum Gedächtnis des Embed-Widgets gepatcht ist.
Eine Forscherin mit einem Laptop und einem sensiblen Interviewarchiv
Hunderte Transkripte offline durchsuchen und zusammenfassen
Die Desktop-App installieren, den Standard-Embedder und LanceDB mit einem lokalen Modell behalten und die Telemetrie unter Privacy abschalten. Abgesehen von Modell-Downloads vom CDN von AnythingLLM verlässt nichts den Laptop.
Bevor du dich festlegst
- Einrichtung
- Mit den Desktop-Installern für Windows, macOS und Linux bist du in Minuten beim ersten Chat; der Server ist ein Docker-Image, mit Deploy-Templates für AWS, GCP, DigitalOcean und Render und einer Anleitung für Bare Metal.
- Integrationen
- Eingebaute Engine, Ollama, LM Studio und die meisten Cloud-LLM-Anbieter; standardmäßig LanceDB, dazu PGVector und andere Vektorspeicher; MCP-Tools, Agentenabläufe und geplante Aufgaben; eine Entwickler-API und ein einbettbares Widget.
- Daten und Datenschutz
- Standardmäßig lokal. Anonyme PostHog-Telemetrie ist aktiv, bis DISABLE_TELEMETRY=true gesetzt oder der Privacy-Schalter umgelegt ist; laut README werden Chat- und Dokumentinhalte nie gesendet. 25 Sicherheitshinweise wurden veröffentlicht, der schwerste eine RCE in einem Agenten-Skill vom Mai 2026.
- Kosten im großen Maßstab
- Self-Hosting ist kostenlos, zuzüglich Hardware und Modellkosten. Die gehostete Cloud kostet 50 $ im Monat (Basic) oder 99 $ im Monat (Pro, mit Support-SLA von 72 Stunden) pro privater Instanz, ohne angegebenen Preis pro Platz; Enterprise mit SSO, RBAC und Support für On-Premise gibt es auf Angebot.
- Grenzen
- Mehrbenutzerbetrieb, White-Labeling und das Widget gibt es nur in Docker; die Desktop-App ist auf einen Nutzer beschränkt. Das Retrieval hängt von den Chunking-Einstellungen ab. Rund 330 offene Issues und ein stetiger Strom von Sicherheitsfixes.
Was gut ist
- Eingebauter Embedder, Vektorspeicher und lokale Modell-Engine
- Desktop-Installation ohne weitere Dienste
- Mehrbenutzerbetrieb, White-Labeling und Embed-Widget in Docker
- MIT-Lizenz; Telemetrie dokumentiert und abschaltbar
Was nicht
- Die Desktop-Edition ist auf einen Nutzer beschränkt
- Telemetrie standardmäßig an
- 25 Sicherheitshinweise, einer davon eine RCE mit hohem Schweregrad
- Die Retrieval-Qualität braucht Feinabstimmung beim Chunking
Am besten für
Einzelpersonen und kleine Teams, die privat mit ihren eigenen Dokumenten chatten wollen.
Alternativen zu AnythingLLM
AnythingLLM: häufige Fragen
- Lohnt sich AnythingLLM?
- AnythingLLM ist der kürzeste Weg von einem Ordner voller PDFs zu einem privaten Chatbot, aber 25 Sicherheitshinweise sprechen dafür, die Server-Edition hinter einem Login und einem VPN zu halten. Wir bewerten es mit 4.3 von 5.
- Was kostet AnythingLLM?
- Desktop und Docker kostenlos (MIT); ein optionales Abo Desktop Pro hebt die Tageslimits seiner Magic-Funktionen auf (Preis in der Dokumentation nicht veröffentlicht). Gehostete Cloud Basic 50 $/Monat, Pro 99 $/Monat; Enterprise nach Vereinbarung.
- Welche Nachteile hat AnythingLLM?
- Die Desktop-Edition ist auf einen Nutzer beschränkt; Telemetrie standardmäßig an; 25 Sicherheitshinweise, einer davon eine RCE mit hohem Schweregrad; Die Retrieval-Qualität braucht Feinabstimmung beim Chunking.
- Für wen eignet sich AnythingLLM?
- Einzelpersonen und kleine Teams, die privat mit ihren eigenen Dokumenten chatten wollen.
- Was kostet AnythingLLM für ein Team oder im Produktivbetrieb?
- Self-Hosting ist kostenlos, zuzüglich Hardware und Modellkosten. Die gehostete Cloud kostet 50 $ im Monat (Basic) oder 99 $ im Monat (Pro, mit Support-SLA von 72 Stunden) pro privater Instanz, ohne angegebenen Preis pro Platz; Enterprise mit SSO, RBAC und Support für On-Premise gibt es auf Angebot.
- Ist AnythingLLM sicher für Firmendaten?
- Standardmäßig lokal. Anonyme PostHog-Telemetrie ist aktiv, bis DISABLE_TELEMETRY=true gesetzt oder der Privacy-Schalter umgelegt ist; laut README werden Chat- und Dokumentinhalte nie gesendet. 25 Sicherheitshinweise wurden veröffentlicht, der schwerste eine RCE in einem Agenten-Skill vom Mai 2026.
- Was sind die besten Alternativen zu AnythingLLM?
- Die nächsten Alternativen, die wir getestet haben, sind Open WebUI, Jan und LibreChat.
Antworten geprüft am 23. Okt. 2026.