Warum eine KI zu Hause
Jede Frage an einen Cloud-KI-Dienst landet auf einem fremden Server, samt allem, was Sie hineinkopieren: den Mietvertrag, die Steuerunterlagen, das Foto vom Arztbrief. Bei einer Home-KI liegen Dokumente und Chatverläufe auf Ihrer eigenen Platte, und das Sprachmodell rechnet auf Ihrem Gerät.
Dann die Rechnung. Cloud-Dienste kosten pro Person und Monat, und wer die ganze Familie versorgen will, zahlt mehrfach. Der eigene Server kostet einmal Hardware und danach Strom, egal wie viele Leute im Haushalt ihn fragen.
Gern übersehen: der Platz für KI-Agenten. Das sind Programme, die selbstständig Befehle ausführen, Dateien anlegen und Software installieren; sie brauchen einen Raum, in dem sie nichts kaputt machen können, und Ihr Arbeitslaptop ist dieser Raum nicht.
Und Sie lernen nebenbei, wie diese Systeme unter der Haube arbeiten. Das hilft spätestens dann, wenn im Job jemand fragt, ob man "das mit der KI nicht auch lokal machen kann".
Was die Home-KI kann
Am Ende steht ein Gerät, das folgende Aufgaben übernimmt:
- Ein lokales Sprachmodell mit Oberfläche im Browser. Ollama führt das Modell aus, Open WebUI ist der Chat dazu, mit Benutzerkonten für jedes Familienmitglied.
- Suche in eigenen Dokumenten. Sie legen PDFs, Bedienungsanleitungen oder Notizen in eine Wissenssammlung und fragen in normaler Sprache danach.
- Dateien und Fotos an einem Ort, auf zwei gespiegelten Platten statt verteilt über alte Laptops und Handys. Modelle mit Bildverständnis, die Ollama ebenfalls ausführt, beschreiben Ihnen auf Nachfrage, was auf einem Foto zu sehen ist.
- Eine Agenten-Sandbox, die Sie jederzeit wegwerfen und neu bauen.
- Zugriff von unterwegs, ohne dass Sie im Router einen Port freigeben.
Was sie nicht kann: mit den großen Cloud-Modellen mithalten. Ein Modell, das in 32 GB Arbeitsspeicher passt, fasst Texte zusammen, schreibt Entwürfe und beantwortet Fragen zu Ihren Dokumenten ordentlich, kommt bei langen, verwickelten Aufgaben aber schneller an seine Grenzen. Wer das vorher weiß, ist hinterher nicht enttäuscht.
Einkaufsliste mit Preisrahmen
Das Herz ist ein x86-Mini-PC mit acht Prozessorkernen. Ohne eigene Grafikkarte rechnet das Sprachmodell auf Prozessor und Arbeitsspeicher, und daneben laufen noch die anderen virtuellen Maschinen, deshalb lohnen sich die acht Kerne. Der Prozessor muss Virtualisierung beherrschen (AMD-V oder Intel VT), sonst startet Proxmox keine VMs.
Beim Arbeitsspeicher sind 32 GB die Untergrenze, 64 GB die bequeme Wahl. Proxmox selbst braucht laut Dokumentation mindestens 2 GB, dazu kommt alles, was Sie den VMs zuteilen, und für ZFS, das Dateisystem für die gespiegelten Platten, rechnet die Doku mit etwa 1 GB je Terabyte belegtem Speicher.
Alles, was ständig arbeitet, gehört auf eine NVMe-SSD: Proxmox, die VMs, die Sprachmodelle. Die zwei Festplatten bilden einen Spiegel für Dateien, Fotos und Sicherungen. Klären Sie vor dem Kauf, wo die Platten hinsollen. Manche Mini-PCs haben Einschübe, sonst brauchen Sie ein externes Gehäuse mit zwei Schächten, das die Platten einzeln durchreicht; ZFS will die Platten direkt sehen und verträgt keinen Hardware-RAID-Controller dazwischen. Gehäuse am USB-Anschluss laufen mit ZFS allerdings oft unzuverlässig, weil die Verbindung unter Last kurz abreißen kann; interne Schächte sind die bessere Wahl.
| Teil | Worauf es ankommt | Schätzpreis, Stand Oktober 2026 |
|---|---|---|
| Mini-PC als Barebone (ohne RAM und SSD) | 8 Kerne, x86, AMD-V oder Intel VT, zwei Speicherbänke | ca. 300 bis 600 Euro |
| Arbeitsspeicher DDR5 | 32 GB, besser 64 GB | 32 GB ca. 400 bis 550 Euro, 64 GB ca. 1.000 bis 1.200 Euro |
| NVMe-SSD | 2 TB für System, VMs und Modelle | ca. 290 bis 380 Euro |
| Zwei Festplatten | gleich groß, NAS-tauglich, zum Beispiel je 4 TB | ca. 115 bis 160 Euro je Platte |
| Kleinkram | Messsteckdose, Netzwerkkabel, gegebenenfalls Plattengehäuse | je nach Gehäuse |
Alle Preise sind Schätzwerte, der Markt schwankt gerade stark. Mit 32 GB landen Sie grob zwischen 1.250 und 2.000 Euro, mit 64 GB rund 600 Euro darüber.
Ein Wort zu diesen Zahlen: Arbeitsspeicher und SSDs sind seit Mitte 2025 drastisch teurer geworden. Der Speicherkrise-Preisindex von 3DCenter sah DDR5-Kits im September 2026 bei 544 Prozent des Preises vom Juli 2025, und die Spannen oben können in ein paar Wochen schon wieder anders aussehen. Rechnen Sie deshalb beide Wege durch: Barebone plus einzeln gekaufter Speicher oder ein fertiges Gerät, in dem der Speicher schon steckt. Mal ist das eine günstiger, mal das andere.
Infokasten: Mac mini als schnellere Alternative
Ein Mac mini mit Apple-Chip teilt seinen Arbeitsspeicher zwischen Prozessor und Grafikeinheit. Ollama nutzt diesen gemeinsamen Speicher wie Grafikspeicher, deshalb antworten Sprachmodelle darauf in der Regel schneller als auf einem Mini-PC, der nur mit dem Prozessor rechnet. Den Speicher legen Sie beim Kauf fest; laut Apple reicht die Auswahl im Oktober 2026 bis 64 GB in der größten Ausführung. Der Haken: Den Aufbau mit Proxmox und getrennten virtuellen Maschinen aus diesem Artikel übertragen Sie nicht eins zu eins. Netztrennung und Sandbox lösen Sie dort anders, und die Platten hängen extern.
Architektur "Eine Tür"
Der wichtigste Teil des Aufbaus kostet nichts. Es ist der Plan, wie die Netze aussehen.
Die Grundregel: Im Router wird kein Port freigegeben. Von außen gibt es genau einen Weg hinein, und der führt über Tailscale. Tailscale baut verschlüsselte Verbindungen zwischen Ihren Geräten auf, auch durch den Router hindurch, ohne dass Sie dort etwas freischalten. Auf dem Server läuft dafür eine kleine Gateway-VM als sogenannter Subnet-Router; Ihr Handy spricht unterwegs mit diesem Gateway, und das Gateway entscheidet, welche internen Adressen dahinter erreichbar sind.
So ist auch mein eigener Homeserver aufgebaut, ein Raspberry Pi 5 mit n8n, Postgres, Caddy und einer Überwachung: Ich erreiche ihn über Tailscale, im Router habe ich dafür keinen Port freigegeben.
Hinter dem Gateway liegen drei getrennte Netze, in Proxmox als eigene Bridges angelegt:
- Dienste: Dateien, Fotos und die gespiegelten Platten.
- KI: die VM mit Ollama und Open WebUI. Sie darf auf die Dokumente zugreifen, die sie durchsuchen soll, und auf nichts sonst.
- Sandbox: die Spielwiese für Agenten. Sie kommt ins Internet, sieht aber weder das Dienste-Netz noch Ihre Daten.
Zwischen den Netzen filtert das Gateway mit festen Regeln. Steht der Aufbau, prüfen Sie ihn von außen: Ein Portscan auf Ihre öffentliche IP-Adresse darf keinen Dienst Ihres Servers finden. Die Abnahme-Checkliste dafür steht im PDF.
Ganz ohne fremden Dienst kommt diese Architektur allerdings nicht aus, und das sollten Sie wissen. Tailscale betreibt einen Koordinationsserver, der Ihre Geräte, deren öffentliche Schlüssel und Ihre Zugriffsregeln verwaltet; dafür kennt er Metadaten wie IP-Adressen, Gerätenamen, Betriebssystem und ungefähren Standort. Ihre eigentlichen Daten laufen dort nicht durch. Die Verbindung zwischen Ihren Geräten ist Ende-zu-Ende mit WireGuard verschlüsselt und läuft meist direkt, und wenn das nicht klappt, springt ein Relais-Server ein, der die verschlüsselten Pakete nur weiterreicht, weil die privaten Schlüssel Ihre Geräte nie verlassen. Für private Nutzung gibt es einen kostenlosen Tarif; dessen Grenzen ändern sich gelegentlich, schauen Sie vor dem Start nach.
Die KI selbst: Ollama und Open WebUI
In einer eigenen VM laufen Ollama und Open WebUI als Docker-Container. Ollama lädt Sprachmodelle herunter und führt sie aus; Open WebUI liefert die Chat-Oberfläche, die Benutzerkonten und die Wissenssammlungen für Ihre Dokumente. Dass beides eine eigene VM bekommt, hat einen praktischen Grund: Sie geben ihr genau so viel Arbeitsspeicher, wie das Modell braucht, und setzen sie bei Bedarf neu auf, ohne die Dateien im Dienste-Netz anzufassen.
Wie viel Speicher ein Modell belegt, hängt an zwei Dingen. Da ist die Größe der Modelldatei, und da ist der Kontext, also wie viel Text das Modell auf einmal im Blick behält, denn der Puffer dafür wächst mit der Kontextlänge. Die Tabelle unten ist ein Richtwert, kein Versprechen. Die Downloadgrößen stammen aus der Modellbibliothek von Ollama (Standardfassung, Stand Oktober 2026), die Werte für die VM sind großzügig aufgerundet, damit daneben noch das System und ein normaler Kontext Platz haben.
| Modellgröße | Typischer Download | Arbeitsspeicher für die KI-VM (Richtwert) |
|---|---|---|
| ca. 4 Mrd. Parameter | ca. 2,5 GB | 8 GB |
| ca. 8 Mrd. Parameter | ca. 5 GB | 12 bis 16 GB |
| ca. 14 Mrd. Parameter | ca. 9 GB | 16 bis 24 GB |
| ca. 20 Mrd. Parameter | ca. 14 GB | 24 GB |
| ca. 30 bis 32 Mrd. Parameter | ca. 19 bis 20 GB | 32 GB, also nur auf einem 64-GB-Gerät sinnvoll |
| ca. 70 Mrd. Parameter | ca. 43 GB | passt auf ein 64-GB-Gerät nur knapp und läuft ohne Grafikkarte langsam |
Fangen Sie mit der 8-Milliarden-Klasse an und gehen Sie erst größer, wenn Ihnen die Antworten zu dünn sind. Jede Stufe nach oben macht die Antworten besser und die Wartezeit länger. Ollama hält ein Modell nach der letzten Anfrage standardmäßig fünf Minuten im Speicher und gibt ihn danach wieder frei; für die übrigen VMs ist das angenehm, weil der Speicher nicht dauerhaft blockiert ist.
Agenten-Sandbox
Ein KI-Agent, der Software installiert, Skripte schreibt und ausführt, macht früher oder später etwas, das Sie so nicht wollten. Das liegt in der Sache, denn er probiert aus, und manchmal probiert er an der falschen Stelle.
Darum bekommt er eine eigene VM, die wegwerfbar ist. Mit cloud-init und einem Ansible-Grundgerüst entsteht sie per Skript immer wieder im selben Ausgangszustand. Sie hängt im Sandbox-Netz, sieht also weder Ihre Dateien noch Ihre Fotos, und sie hat eigene Schlüssel: eigene Zugangsdaten, eigene API-Schlüssel mit niedrigem Ausgabelimit, keinen Zugang zu Ihren privaten Konten und keinen SSH-Schlüssel, mit dem sie auf die anderen VMs käme.
Kaputt heißt neu bauen. Hat der Agent die VM zerschossen, ist Fehlersuche meist verschwendete Zeit; Sie spielen den Ausgangszustand neu ein und machen weiter. Welche Angriffe auf Agenten es gibt und warum diese Trennung so viel bringt, beschreibt der Artikel KI-Agenten sicher einsetzen.
Strom und Platten
Wie viel Strom die Home-KI braucht, steht in keinem Datenblatt verlässlich. Messen Sie es. Eine Zwischensteckdose mit Verbrauchsanzeige zeigt Ihnen den Leerlauf, die Last, während das Modell antwortet, und den Unterschied, wenn die Festplatten schlafen.
Drehende Platten ziehen auch dann Strom, wenn niemand auf sie zugreift, deshalb lohnt es sich, sie nach einer Weile in den Ruhezustand zu schicken. Oft wachen sie danach trotzdem gleich wieder auf. Dann greift irgendein Dienst regelmäßig zu: eine Indexierung, eine Statusabfrage, ein Protokoll, das auf die Platte statt auf die NVMe schreibt. Finden Sie heraus, was die Platten weckt, bevor Sie an Zeitwerten drehen; wie die Diagnose geht, steht im PDF.
Auf meinem Raspberry Pi gilt eine einfache Regel: Die SD-Karte trägt nur das Betriebssystem, alle Daten und Container liegen auf einer NVMe. Für die Home-KI heißt die Entsprechung, dass alles, was ständig schreibt, auf die NVMe gehört und die Festplatten nur bekommen, was dort dauerhaft lagern soll.
Backups
Fangen Sie beim Backup mit einer Frage an: Was davon können Sie neu bauen? Die Sandbox entsteht per Skript, die KI-VM aus ihrer Compose-Datei, die Modelle per erneutem Download. Dafür brauchen Sie kein Backup. Sie brauchen die Bauanleitung, also Skripte und Konfigurationsdateien, an einem sicheren Ort, etwa in einem Git-Repository.
Alles andere lässt sich nicht neu bauen: Dokumente und Fotos, die Chatverläufe und Einstellungen von Open WebUI, die Regeln des Gateways. Das braucht eine Sicherung, die nicht im selben Gerät steckt. Der Plattenspiegel zählt nicht. Ein Spiegel hilft, wenn eine Platte stirbt; gegen einen versehentlich gelöschten Ordner hilft er nichts, er spiegelt das Löschen ja gleich mit.
Proxmox bringt geplante Sicherungen ganzer VMs mit. Wichtiger als der Sicherungsjob ist aber der geprobte Restore. Spielen Sie einmal eine Sicherung als neue VM ein und prüfen Sie, ob alles da ist und startet. Eine Sicherung, die Sie nie zurückgespielt haben, ist eine Hoffnung.
Was sich für den Betrieb ändert
Was zu Hause gut läuft, reicht in einem Unternehmen noch nicht, und die Lücke liegt selten in der Hardware.
Sobald mehrere Mitarbeitende dasselbe Sprachmodell nutzen, brauchen Sie Benutzerkonten mit Rechten. Wer darf welche Wissenssammlung sehen, wer darf Dokumente hinzufügen? Die Gehaltsabrechnungen gehören nicht in dieselbe Sammlung wie das Handbuch für die Werkstatt.
Mit personenbezogenen Daten von Kunden oder Mitarbeitenden gilt die DSGVO. Verarbeitet ein externer Dienst Daten in Ihrem Auftrag, brauchen Sie einen Vertrag zur Auftragsverarbeitung nach Art. 28 DSGVO. Das betrifft auch Dienste am Rand, etwa einen Koordinationsserver, der Geräte und Konten Ihrer Mitarbeitenden kennt; prüfen Sie es für jeden Baustein einzeln.
Dann Wartung und Ausfall. Zu Hause verschieben Sie ein Update auf Sonntag, im Betrieb wartet um acht Uhr morgens ein Team auf die Suche. Jemand muss Sicherheitsupdates einspielen, die Überwachung im Blick behalten und die Sicherungen kontrollieren. Und für den Tag, an dem das Gerät ausfällt, braucht es einen Plan, wer es ersetzt und die Sicherung zurückspielt.
Diesen Teil übernimmt das Firmengedächtnis von Ventas AI: ein Gerät bei Ihnen im Haus, auf dem Ihr Team das Firmenwissen in normaler Sprache durchsucht, eingerichtet für Ihre Wissensbereiche und betreut mit Überwachung, Sicherheitsupdates, Sicherung und Fernwartung. Wie das aussieht, steht auf der Seite zum Firmengedächtnis.
Die Bauanleitung als PDF
Die Anleitung führt Schritt für Schritt durch den Aufbau: Einkaufs-Checkliste, Proxmox und Bridges, Gateway mit Tailscale und Firewall-Regeln, KI-VM mit Ollama und Open WebUI, Sandbox mit cloud-init und Ansible, Datenspiegel, Platten-Diagnose, Backup und eine Abnahme-Checkliste, mit der Sie prüfen, dass von außen nichts erreichbar ist. Stand Oktober 2026. Die Befehle folgen der jeweiligen Herstellerdokumentation, wurden aber nicht auf jeder Hardware getestet. Ohne Gewähr.
Häufige Fragen
Was kostet eine Home-KI?
Mit Mini-PC, 32 GB Arbeitsspeicher, 2 TB NVMe und zwei Festplatten liegen Sie nach einer Schätzung für Oktober 2026 grob zwischen 1.250 und 2.000 Euro, mit 64 GB etwa 600 Euro darüber. Die Software (Proxmox, Ollama, Open WebUI) ist kostenlos. Weil Speicherpreise gerade stark schwanken, lohnt ein Preisvergleich direkt vor dem Kauf.
Wie schnell ist ein lokales Sprachmodell ohne Grafikkarte?
Langsamer als ein Cloud-Dienst und langsamer als auf einem Gerät mit Grafikspeicher. Für den Anfang eignen sich Modelle der 4- bis 8-Milliarden-Klasse, für Zusammenfassungen und Fragen an eigene Dokumente reichen sie oft aus. Je größer das Modell, desto länger warten Sie auf die Antwort.
Brauche ich eine Portfreigabe im Router?
Nein. Der Zugang von unterwegs läuft über Tailscale, das seine Verbindungen ohne Portfreigabe aufbaut. Genau das ist der Sinn der Architektur "Eine Tür": Sie legen im Router keine Freigabe an. Ist dort UPnP eingeschaltet, kann Tailscale selbst eine Weiterleitung öffnen. Wer das nicht will, schaltet UPnP ab.
Sieht Tailscale meine Daten?
Ihre Inhalte nicht. Der Koordinationsserver des Anbieters verwaltet Geräte, öffentliche Schlüssel und Zugriffsregeln und kennt dafür Metadaten wie IP-Adressen und Gerätenamen. Die Verbindungen selbst sind Ende-zu-Ende verschlüsselt und laufen meist direkt zwischen Ihren Geräten.
Kann ich statt des Mini-PCs einen Mac mini nehmen?
Ja, für die Sprachmodelle ist er in der Regel schneller, weil Ollama den gemeinsamen Speicher von Prozessor und Grafikeinheit nutzt. Den Speicher wählen Sie aber beim Kauf fest, und die Trennung in mehrere VMs mit Proxmox, wie hier beschrieben, lässt sich darauf nicht direkt übernehmen.
Taugt der Aufbau auch für meine Firma?
Technisch ist er ein guter Anfang. Für den Betrieb fehlen Benutzerrechte, Verträge nach DSGVO, geregelte Wartung und ein Plan für den Ausfall. Wer das nicht selbst stemmen will, findet beim Firmengedächtnis von Ventas AI ein betreutes Gerät für das Firmenwissen.
Lokale KI für Ihr Unternehmen?
Im Erstgespräch klären wir, ob eine lokale KI zu Ihren Abläufen passt, welche Daten sie sehen soll und wer sich um den Betrieb kümmert. 30 Minuten, kostenlos.
Passt dazu
-
KI-Agenten sicher einsetzen: 4 Risiken für den Mittelstand
Prompt Injection, zu viele Rechte, Shadow AI und Deepfake-Anrufe und wie Sie sich absichern.
-
Wie KI-Suche für Firmendokumente funktioniert
Warum eine KI Ihre Dokumente in normaler Sprache durchsucht und findet, was Strg+F nicht findet.
-
Betriebswissen sichern, bevor es in Rente geht
Was der Abschied erfahrener Mitarbeitender kostet und wie ein KI-Firmengedächtnis das Wissen im Haus hält.