So wird gerechnet
Der Assistent beginnt beim Speicher, denn eine GPU, die die Aufgabe nicht fasst, ist zu keinem Preis nützlich. Zum Ausführen eines Modells bemessen wir die Gewichte in der Präzision, die deine Priorität nahelegt — 4 Bit für am günstigsten, 8 Bit für ausgewogen, 16 Bit für am schnellsten — plus KV-Cache für 8K Kontext. Fine-Tuning nutzt QLoRA (oder LoRA, wenn du am schnellsten wählst), Training den vollen Mixed-Precision-Zustand, und Bildmodelle den typischen VRAM-Bedarf der jeweiligen Modellfamilie.
Unter den GPUs, die passen und einen aktuellen Preis haben, sortiert am günstigsten nach Stundenpreis, am schnellsten nach Speicherbandbreite (die die Generierungsgeschwindigkeit bestimmt) und ausgewogen nach Preis pro Bandbreiteneinheit — am meisten Tempo pro Dollar. Passt keine einzelne Karte, zeigt er stattdessen die kleinsten Multi-GPU-Konfigurationen. Jedes Ergebnis verlinkt auf die GPU-Seite mit allen Anbietern, denn der günstigste Anbieter ist nicht immer der zuverlässigste.