KI-Workstation
KI-Workstation für lokale Modelle
Wer KI-Modelle lokal trainiert oder ausführt, behält seine Daten im eigenen Haus und zahlt nicht pro Anfrage. Dafür braucht es Hardware, die auf Videospeicher, Arbeitsspeicher und Dauerlast ausgelegt ist. NoMadPC baut solche Workstations von Hand in der Werkstatt bei Frankfurt.
Videospeicher ist die wichtigste Größe
Ob ein Sprachmodell oder ein Bildgenerator auf der Grafikkarte läuft, entscheidet vor allem der Videospeicher (VRAM). Größere Modelle oder längere Kontexte brauchen mehr davon; Quantisierung senkt den Bedarf. Die GeForce RTX 5090 hat 32 GB VRAM, für größere Modelle kommen mehrere Karten oder Profi-Karten infrage.
- VRAM bestimmt, welche Modelle vollständig auf die Grafikkarte passen
- Arbeitsspeicher für Datensätze und für Modelle, die teilweise ausgelagert werden
- Schneller NVMe-Speicher für Modelle und Trainingsdaten
- Kühlung und Netzteil für stundenlanges Training unter Volllast
Training oder Inferenz
Für die Inferenz, also das Ausführen fertiger Modelle, zählt vor allem, dass das Modell in den Videospeicher passt. Training und Fine-Tuning brauchen deutlich mehr Speicher und laufen oft über Stunden oder Tage. Wir legen die Workstation auf Ihren Workflow aus und sagen offen, wo eine Cloud-Lösung günstiger wäre.
Daten bleiben bei Ihnen
Ein lokales System verarbeitet Kundendaten, Quellcode oder interne Dokumente, ohne dass sie an einen externen Dienst gehen. Für viele Unternehmen ist das der Hauptgrund für eine eigene KI-Workstation.
So läuft ein Projekt
Sie schildern Modelle, Datenmengen und Ziel. Wir stellen die Komponenten zusammen, bauen das System von Hand, stimmen BIOS, Arbeitsspeicher und Lüfterkurven auf Dauerlast ab und übergeben es nach einem ausführlichen Stresstest, mit Rechnung und ausgewiesener Umsatzsteuer.
Passende Systeme
Häufige Fragen
Das hängt von Modellgröße, Quantisierung und Kontextlänge ab. Faustregel: Das Modell muss samt Kontext in den Videospeicher passen. Die RTX 5090 bietet 32 GB, für größere Modelle planen wir mehrere Karten oder Profi-Karten ein.
Ja, Fine-Tuning und kleineres Training laufen lokal gut, brauchen aber mehr Speicher und eine Kühlung für Dauerlast. Für sehr große Trainingsläufe sagen wir Ihnen offen, wenn Cloud-Rechenzeit sinnvoller ist.
Ihre Daten verlassen das Haus nicht, es fallen keine Kosten pro Anfrage an und das System steht jederzeit zur Verfügung. Bei sehr großen, seltenen Trainingsläufen kann die Cloud günstiger sein.
Ja. Sie erhalten eine ordentliche Rechnung mit ausgewiesener Umsatzsteuer; Ihre USt-IdNr. nehmen wir im Beratungsgespräch auf.
Sprechen wir über Ihr KI-Projekt
Nennen Sie uns Modelle, Datenmengen und Ziel. Wir sagen Ihnen, welche Hardware das trägt und wo Sie sparen können.