Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

OTel 2.0 LLM 31B IT QLoRA GPU-Anforderungen: VRAM und günstigste GPU

OTel 2.0 LLM 31B IT QLoRA hat 31,3 Mrd. Parameter, veröffentlicht in BF16. Es steht unter apache-2.0, die kommerzielle Nutzung erlaubt.

Parameter
31,3 Mrd.
Kleinster Bedarf (INT4)
etwa 21 GB
Günstigste GPU pro Stunde (FP16)
0,50 $
Typ
Text

farbodtavakkoli/OTel-2.0-LLM-31B-IT-QLoRA

Auf Hugging Face ansehen (öffnet in neuem Tab)

  • Parameter 31,3 Mrd.
  • Typ Text
  • Aufgabe text-generation
  • Lizenz apache-2.0
  • Downloads 1,7 Mio.
  • Likes 3

Berechnung für OTel 2.0 LLM 31B IT QLoRA

Genauigkeit
Einsatz
Weitere Einstellungen
Inferenz-Engine
Gleichzeitige Anfragen

OTel 2.0 LLM 31B IT QLoRA braucht etwa 72 GB GPU-Speicher

Inferenz (vLLM), FP16 / BF16, 8K Tokens Kontext, eine Anfrage gleichzeitig. Einige Modellangaben fehlten, daher ist der KV-Cache geschätzt.

Wofür der Speicher draufgeht

  • Gewichte 63 GB
  • KV-Cache 1,8 GB
  • Laufzeit-Overhead 7,4 GB
  • Gesamt 72 GB

Die GPU-Zahl lässt 10 % jeder Karte für Spitzen frei. Plane mehr ein, wenn du lange Prompts oder viele gleichzeitige Nutzer erwartest.

Passende GPUs, die günstigste zuerstJeder erfasste GPU-Typ, der diese Einstellung auf einem Knoten schafft, sortiert nach Gesamtkosten pro Stunde
RangKonfigurationPro GPU / Std.Benötigte GPUsGesamt / Std.Gesamt / Monat (24/7)Anbieter
11 × RTX PRO 6000 96GBAm günstigstenBlackwell · GDDR70,50 $10,50 $365 $RunPod (öffnet in neuem Tab)1x RTX PRO 6000 MaxQ
24 × RTX 3090 24GBAmpere · GDDR6X0,24 $40,96 $702 $Vast.ai (öffnet in neuem Tab)4x RTX 3090 (median of 9 offers)
31 × A100 80GBAmpere · HBM2e1,12 $11,12 $820 $Vast.ai (öffnet in neuem Tab)1x A100 SXM4 (median of 16 offers)
42 × A40 48GBAmpere · GDDR60,59 $21,18 $861 $RunPod (öffnet in neuem Tab)2x A40
52 × A100 40GBAmpere · HBM20,61 $21,22 $890 $Vast.ai (öffnet in neuem Tab)2x A100 SXM4 (median of 8 offers)
62 × RTX A6000 48GBAmpere · GDDR60,69 $21,38 $1.007 $RunPod (öffnet in neuem Tab)2x RTX A6000
71 × H100 80GBHopper · HBM31,39 $11,39 $1.015 $Lium (öffnet in neuem Tab)1x H100 80GB HBM3
82 × L40S 48GBAda Lovelace · GDDR60,80 $21,60 $1.169 $Vast.ai (öffnet in neuem Tab)2x L40S (median of 6 offers)
91 × GH200 96GBHopper · HBM31,99 $11,99 $1.453 $Vultr (öffnet in neuem Tab)vbm-72c-480gb-gh200-gpu (bare metal)
102 × RTX 6000 Ada 48GBAda Lovelace · GDDR61,09 $22,18 $1.591 $RunPod (öffnet in neuem Tab)2x RTX 6000 Ada
114 × RTX 4090 24GBAda Lovelace · GDDR6X0,58 $42,32 $1.696 $Vast.ai (öffnet in neuem Tab)4x RTX 4090 (median of 12 offers)
121 × MI300X 192GBCDNA 3 · HBM32,39 $12,39 $1.745 $RunPod (öffnet in neuem Tab)1x MI300X
134 × L4 24GBAda Lovelace · GDDR60,69 $42,76 $2.015 $RunPod (öffnet in neuem Tab)4x L4
141 × H200 141GBHopper · HBM3e2,90 $12,90 $2.117 $Lium (öffnet in neuem Tab)1x H200 NVL
151 × H100 NVL 94GBHopper · HBM33,19 $13,19 $2.329 $RunPod (öffnet in neuem Tab)1x H100 NVL
163 × RTX 5090 32GBBlackwell · GDDR70,80 $3nur mit 4 GPUs erhältlich; du brauchst 33,20 $2.338 $Vast.ai (öffnet in neuem Tab)4x RTX 5090 (median of 35 offers)
171 × B200 180GBBlackwell · HBM3e5,60 $15,60 $4.088 $Lium (öffnet in neuem Tab)1x B200
184 × A10 24GBAmpere · GDDR61,42 $45,67 $4.141 $AWS (öffnet in neuem Tab)g5.12xlarge
195 × V100 16GBVolta · HBM20,79 $5nur mit 8 GPUs erhältlich; du brauchst 56,32 $4.614 $Lambda (öffnet in neuem Tab)8x Tesla V100
205 × T4 16GBTuring · GDDR60,98 $5nur mit 8 GPUs erhältlich; du brauchst 57,82 $5.712 $AWS (öffnet in neuem Tab)g4dn.metal
211 × B300 288GBBlackwell Ultra · HBM3e8,00 $18,00 $5.840 $Lium (öffnet in neuem Tab)1x B300 SXM6
221 × GB200 186GBBlackwell · HBM3e10,50 $1nur mit 4 GPUs erhältlich; du brauchst 142,00 $30.660 $CoreWeave (öffnet in neuem Tab)GB200 NVL72
Kosten pro CloudGünstigstes passendes Angebot je Anbieter. Näherungswerte, Preise erfasst am 16. Nov. 2026.
AnbieterInstanzPro GPU / Std.Benötigte GPUsGesamt / Std.Gesamt / Monat (24/7)
RunPod (öffnet in neuem Tab)Am günstigsten1x RTX PRO 6000 MaxQus0,50 $1 × RTX PRO 6000 96GB etwa 0,50 $etwa 365 $
Vast.ai (öffnet in neuem Tab)4x RTX 3090 (median of 9 offers)weltweiter Marktplatz0,24 $4 × RTX 3090 24GB etwa 0,96 $etwa 702 $
Lium (öffnet in neuem Tab)1x RTX PRO 6000 Blackwell Server Editionweltweiter Marktplatz1,19 $1 × RTX PRO 6000 96GB etwa 1,19 $etwa 869 $
Nebius (öffnet in neuem Tab)1x RTX PRO 6000 96GBeu/us1,80 $1 × RTX PRO 6000 96GB etwa 1,80 $etwa 1.314 $
Vultr (öffnet in neuem Tab)vbm-72c-480gb-gh200-gpu (bare metal)us1,99 $1 × GH200 96GB etwa 1,99 $etwa 1.453 $
Lambda (öffnet in neuem Tab)2x A6000us1,09 $2 × RTX A6000 48GB etwa 2,18 $etwa 1.591 $
AWS (öffnet in neuem Tab)g7e.2xlargeus-east-13,36 $1 × RTX PRO 6000 96GB etwa 3,36 $etwa 2.455 $
Azure (öffnet in neuem Tab)NC24ads_A100_v4eastus3,67 $1 × A100 80GB etwa 3,67 $etwa 2.681 $
Google Cloud (öffnet in neuem Tab)g2-standard-48us-central11,00 $4 × L4 24GB etwa 4,00 $etwa 2.921 $
CoreWeave (öffnet in neuem Tab)GH200us6,50 $1 × GH200 96GB etwa 6,50 $etwa 4.745 $

Preise erfasst am 16. Nov. 2026. Alle Kosten sind Näherungswerte: On-Demand, in US-Dollar, meist US-Regionen (Marktplätze wie Vast.ai und Lium sind weltweit).

Speicher nach Genauigkeit und Einsatz

Mit 8K Tokens Kontext und einer Anfrage gleichzeitig. LoRA und volles Feintuning gehen von 16-Bit-Gewichten aus, QLoRA von 4 Bit, daher bleiben die übrigen Felder leer.
GenauigkeitInferenzLoRA-FeintuningQLoRA-FeintuningVolles Feintuning
FP16 / BF1672 GB90 GB–560 GB
INT839 GB–––
INT421 GB–39 GB–

Günstigste GPU nach Genauigkeit

Inferenz mit 8K Kontext und einer Anfrage gleichzeitig.

FP16 / BF16

etwa 72 GB · 8K Tokens

Die Gewichte wie veröffentlicht. Kein Verlust, aber der größte Bedarf.

1 × RTX PRO 6000 96GB

RunPod (öffnet in neuem Tab) · 1x RTX PRO 6000 MaxQ

Pro GPU / Std.
0,50 $
Benötigte GPUs
1
Gesamt / Std.
etwa 0,50 $
pro Monat, 24/7, ca.
365 $

INT8

etwa 39 GB · 8K Tokens

Gewichte in halber Größe. Bei Chat und RAG meist kein sichtbarer Unterschied.

1 × RTX A6000 48GB

Lium (öffnet in neuem Tab) · 1x RTX A6000

Pro GPU / Std.
0,42 $
Benötigte GPUs
1
Gesamt / Std.
etwa 0,42 $
pro Monat, 24/7, ca.
307 $

INT4

etwa 21 GB · 8K Tokens

Gewichte auf ein Viertel verkleinert. Kleine Verluste zeigen sich zuerst bei Mathematik und Code.

1 × RTX 3090 24GB

Lium (öffnet in neuem Tab) · 1x RTX 3090 Ti

Pro GPU / Std.
0,16 $
Benötigte GPUs
1
Gesamt / Std.
etwa 0,16 $
pro Monat, 24/7, ca.
117 $

Inferenz oder Feintuning

  • Inferenz (FP16)

    1×

    des Speichers für Inferenz

    72 GB

    1 × RTX PRO 6000 96GB · etwa 0,50 $

  • LoRA-Feintuning

    1,2×

    des Speichers für Inferenz

    90 GB

    3 × A40 48GB · etwa 2,36 $

  • QLoRA-Feintuning

    0,5×

    des Speichers für Inferenz

    39 GB

    1 × RTX A6000 48GB · etwa 0,42 $

  • Volles Feintuning

    7,8×

    des Speichers für Inferenz

    560 GB

    4 × MI300X 192GB · etwa 9,56 $

Für den Betrieb in FP16 reicht 1 × RTX PRO 6000 96GB (RunPod). LoRA braucht 3 × A40 48GB (RunPod), QLoRA 1 × RTX A6000 48GB (Lium) und volles Feintuning 4 × MI300X 192GB (RunPod). Training hält neben den Gewichten auch Aktivierungen und Optimiererzustände im Speicher und braucht deshalb oft mehr GPUs als der Betrieb desselben Modells.

Läuft es auf einem Mac oder einer einzelnen RTX 4090?

RTX 4090 (24 GB)

Ja, bei INT4 mit 8K Kontext: etwa 21 GB passen in die 24 GB der Karte.

Mac mit Apple Silicon

Ja, mit genug Speicher. Bei INT4 braucht es etwa 21 GB, also einen Mac mit 32 GB oder mehr gemeinsamem Speicher (macOS lässt die GPU etwa drei Viertel davon nutzen). Rechne mit langsamerer Ausgabe als auf einer Rechenzentrums-GPU.

Ähnliche Modelle

Offene Modelle ähnlicher Größe.

Anderes Modell berechnen

OTel 2.0 LLM 31B IT QLoRA: häufige Fragen

Wie viel VRAM braucht OTel 2.0 LLM 31B IT QLoRA?

Etwa 72 GB bei FP16, 39 GB bei INT8 und 21 GB bei INT4, mit 8K Kontext und einer Anfrage gleichzeitig. Längerer Kontext und mehr parallele Anfragen kommen als KV-Cache hinzu.

Was ist die günstigste GPU für OTel 2.0 LLM 31B IT QLoRA?

1 × RTX PRO 6000 96GB (etwa 0,50 $ pro GPU / Stunde) bei RunPod, für etwa 0,50 $ pro Stunde bei Inferenz in FP16 / BF16 mit 8K Kontext. Preise erfasst am 16. Nov. 2026; sie ändern sich oft.

Kann ich OTel 2.0 LLM 31B IT QLoRA auf einer einzelnen GPU feintunen?

Ja, mit QLoRA: Es braucht etwa 39 GB, das passt auf eine 80-GB-GPU. LoRA braucht etwa 90 GB, volles Feintuning etwa 560 GB.

Wie werden diese Zahlen berechnet?

Die Gewichte sind Parameter mal Bytes pro Parameter (2 bei FP16, 1 bei INT8, 0,5 bei INT4). Der KV-Cache ergibt sich aus Schichten, KV-Köpfen, Kopfgröße und Kontextlänge des Modells. Wir rechnen etwa 10 % plus 1 GB für die Laufzeit dazu und füllen jede GPU bis 90 %. Die Preise sind On-Demand-Listenpreise in US-Regionen, von den öffentlichen Preisseiten der Anbieter.

Läuft OTel 2.0 LLM 31B IT QLoRA auf einer Consumer-GPU wie der RTX 4090?

Ja, bei INT4 mit 8K Kontext: etwa 21 GB passen in die 24 GB der Karte.

Passt OTel 2.0 LLM 31B IT QLoRA auf eine einzelne H100 80GB?

Ja, bei FP16 / BF16, INT8, INT4 mit 8K Kontext.

Wie viele GPUs brauche ich für OTel 2.0 LLM 31B IT QLoRA?

Bei FP16 mit 8K Kontext: 1 × 80 GB, 2 × 48 GB oder 4 × 24 GB. Bei INT4 brauchen die Gewichte etwa ein Viertel des Speichers.

Wie viel VRAM braucht OTel 2.0 LLM 31B IT QLoRA bei INT8?

Etwa 39 GB: 33 GB für die Gewichte, 1,8 GB für einen KV-Cache mit 8K und 4,5 GB Laufzeit-Overhead.

Was kostet es, OTel 2.0 LLM 31B IT QLoRA einen Monat lang rund um die Uhr zu betreiben?

Etwa 365 $ mit der günstigsten Konfiguration, die wir gefunden haben (1 × RTX PRO 6000 96GB (etwa 0,50 $ pro GPU / Stunde), 0,50 $ pro Stunde für 730 Stunden). Am günstigsten bei AWS, Google Cloud oder Azure sind es etwa 2.455 $ im Monat.

FP16, INT8 oder INT4: was soll ich nehmen?

FP16 behält die volle Qualität und braucht den meisten Speicher (hier etwa 72 GB). INT8 halbiert die Gewichte mit wenig Verlust für die meisten Chat-Aufgaben. INT4 (AWQ, GPTQ oder GGUF Q4) verkleinert sie auf ein Viertel, insgesamt etwa 21 GB, mit einem kleinen Qualitätsverlust, der sich vor allem bei Mathematik und Code zeigt.

Läuft OTel 2.0 LLM 31B IT QLoRA auf einem Mac?

Ja, mit genug Speicher. Bei INT4 braucht es etwa 21 GB, also einen Mac mit 32 GB oder mehr gemeinsamem Speicher (macOS lässt die GPU etwa drei Viertel davon nutzen). Rechne mit langsamerer Ausgabe als auf einer Rechenzentrums-GPU.

vLLM oder llama.cpp?

vLLM ist dafür gebaut, viele Anfragen gleichzeitig auf NVIDIA- und AMD-GPUs zu bedienen, und reserviert den Großteil des GPU-Speichers für den KV-Cache. llama.cpp läuft mit GGUF-Dateien auf fast allem, auch auf Macs und CPUs, und passt für eine Person oder ein kleines Team. Bei gleicher Genauigkeit ist der Speicherbedarf ähnlich.

Preise erfasst am 16. Nov. 2026. Alle Kosten sind Näherungswerte: On-Demand, in US-Dollar, meist US-Regionen (Marktplätze wie Vast.ai und Lium sind weltweit).

So rechnen wir

  • Gewichte. Parameter mal Bytes pro Parameter: 2 bei FP16, 1 bei INT8, 0,5 bei INT4, plus etwa 5 % für die Quantisierungsskalen bei INT8 und INT4.
  • KV-Cache. 2 × Schichten × KV-Köpfe × Kopfgröße × Kontext × Anfragen × 2 Bytes, aus der config.json des Modells. Fehlt eine Angabe, schätzen wir sie und weisen darauf hin.
  • Overhead. Etwa 10 % plus 1 GB für die Laufzeit, in etwa das, was vLLM reserviert.
  • Feintuning. LoRA behält 16-Bit-Gewichte und ergänzt einen kleinen Adapter, dessen Optimierer und die Aktivierungen. QLoRA macht dasselbe auf 4-Bit-Gewichten. Volles Feintuning braucht mit Adam in gemischter Genauigkeit etwa 16 Bytes pro Parameter (Gewichte, Gradienten und Optimiererzustände), plus Aktivierungen.
  • GPUs. Wir füllen jede GPU bis 90 % ihres Speichers und hören bei 8 pro Knoten auf. Die Kosten sind On-Demand-Listenpreise in US-Regionen; bei Marktplatz-Clouds zeigen wir das mittlere Angebot.