jina embeddings v3のGPU要件:VRAMと最安GPU
jina embeddings v3のパラメータ数は5.7億で、BF16で公開されています。 ライセンス(cc-by-nc-4.0)には独自の条件があります。商用利用の前に確認してください。
- パラメータ数
- 5.7億
- 最小メモリ(INT4)
- 約1.3 GB
- 最安GPUの1時間料金(FP16)
- $0.16
- 種類
- 埋め込み
jinaai/jina-embeddings-v3
- パラメータ数 5.7億
- 種類 埋め込み
- タスク feature-extraction
- 最大コンテキスト 8K
- ライセンス cc-by-nc-4.0
- ダウンロード数 132.9万
- いいね 1174
jina embeddings v3の計算結果
詳細設定
jina embeddings v3に必要なGPUメモリは約2.3 GB
推論(vLLM)、FP16 / BF16、コンテキスト8Kトークン、同時リクエスト1件。
メモリの内訳
- 重み 1.1 GB
- ランタイムのオーバーヘッド 1.1 GB
- 合計 2.3 GB
GPUの台数は、急な負荷に備えて各カー ドの10%を空けて計算しています。長いプロンプトや多数の同時利用が見込まれる場合は余裕を持たせてください。
| 順位 | 構成 | GPU 1台 / 時間 | 必要な台数 | 合計 / 時間 | 合計 / 月(24時間稼働) | プロバイダー |
|---|---|---|---|---|---|---|
| 1 | 1 × RTX 3090 24GB最安Ampere · GDDR6X | $0.16 | 1 | $0.16 | $117 | Lium (新しいタブで開きます)1x RTX 3090 Ti |
| 2 | 1 × RTX 4090 24GBAda Lovelace · GDDR6X | $0.30 | 1 | $0.30 | $219 | Lium (新しいタブで開きます)1x RTX 4090 |
| 3 | 1 × RTX 5090 32GBBlackwell · GDDR7 | $0.40 | 1 | $0.40 | $292 | Lium (新しいタブで開きます)1x RTX 5090 |
| 4 | 1 × RTX A6000 48GBAmpere · GDDR6 | $0.42 | 1 | $0.42 | $307 | Lium (新しいタブで開きます)1x RTX A6000 |
| 5 | 1 × L4 24GBAda Lovelace · GDDR6 | $0.45 | 1 | $0.45 | $326 | Vast.ai (新しいタブで開きます)1x L4 (median of 3 offers) |
| 6 | 1 × RTX PRO 6000 96GBBlackwell · GDDR7 | $0.50 | 1 | $0.50 | $365 | RunPod (新しいタブで開きます)1x RTX PRO 6000 MaxQ |
| 7 | 1 × A40 48GBAmpere · GDDR6 | $0.52 | 1 | $0.52 | $381 | Vast.ai (新しいタブで開きます)1x A40 (median of 5 offers) |
| 8 | 1 × T4 16GBTuring · GDDR6 | $0.53 | 1 | $0.53 | $384 | AWS (新しいタブで開きます)g4dn.xlarge |
| 9 | 1 × RTX 6000 Ada 48GBAda Lovelace · GDDR6 | $0.75 | 1 | $0.75 | $548 | Lium (新しいタブで開きます)1x RTX 6000 Ada Generation |
| 10 | 1 × L40S 48GBAda Lovelace · GDDR6 | $0.80 | 1 | $0.80 | $585 | Vast.ai (新しいタブで開きます)1x L40S (median of 7 offers) |
| 11 | 1 × A100 40GBAmpere · HBM2 | $0.80 | 1 | $0.80 | $586 | Vast.ai (新しいタブで開きます)1x A100 SXM4 (median of 15 offers) |
| 12 | 1 × A10 24GBAmpere · GDDR6 | $1.01 | 1 | $1.01 | $734 | AWS (新しいタブで開きます)g5.xlarge |
| 13 | 1 × A100 80GBAmpere · HBM2e | $1.12 | 1 | $1.12 | $820 | Vast.ai (新しいタブで開きます)1x A100 SXM4 (median of 16 offers) |
| 14 | 1 × H100 80GBHopper · HBM3 | $1.39 | 1 | $1.39 | $1,015 | Lium (新しいタブで開きます)1x H100 80GB HBM3 |
| 15 | 1 × GH200 96GBHopper · HBM3 | $1.99 | 1 | $1.99 | $1,453 | Vultr (新しいタブで開きます)vbm-72c-480gb-gh200-gpu (bare metal) |
| 16 | 1 × MI300X 192GBCDNA 3 · HBM3 | $2.39 | 1 | $2.39 | $1,745 | RunPod (新しいタブで開きます)1x MI300X |
| 17 | 1 × H200 141GBHopper · HBM3e | $2.90 | 1 | $2.90 | $2,117 | Lium (新しいタブで開 きます)1x H200 NVL |
| 18 | 1 × V100 16GBVolta · HBM2 | $3.06 | 1 | $3.06 | $2,234 | AWS (新しいタブで開きます)p3.2xlarge |
| 19 | 1 × H100 NVL 94GBHopper · HBM3 | $3.19 | 1 | $3.19 | $2,329 | RunPod (新しいタブで開きます)1x H100 NVL |
| 20 | 1 × B200 180GBBlackwell · HBM3e | $5.60 | 1 | $5.60 | $4,088 | Lium (新しいタブで開きます)1x B200 |
| 21 | 1 × B300 288GBBlackwell Ultra · HBM3e | $8.00 | 1 | $8.00 | $5,840 | Lium (新しいタブで開きます)1x B300 SXM6 |
| 22 | 1 × GB200 186GBBlackwell · HBM3e | $10.50 | 14台単位での提供。必要なのは1台 | $42.00 | $30,660 | CoreWeave (新しいタブで開きます)GB200 NVL72 |
| プロバイダー | インスタンス | GPU 1台 / 時間 | 必要な台数 | 合計 / 時間 | 合計 / 月(24時間稼働) |
|---|---|---|---|---|---|
| Lium (新しいタブで開きます)最安 | 1x RTX 3090 Ti世界中のマーケットプレイス | $0.16 | 1 × RTX 3090 24GB | 約$0.16 | 約$117 |
| Vast.ai (新しいタブで開きます) | 1x RTX 3090 (median of 32 offers)世界中のマーケットプレイス | $0.26 | 1 × RTX 3090 24GB | 約$0.26 | 約$186 |
| RunPod (新しいタブで開きます) | 1x RTX 3090 Tius | $0.46 | 1 × RTX 3090 24GB | 約$0.46 | 約$336 |
| AWS (新しいタブで開きます) | g4dn.xlargeus-east-1 | $0.53 | 1 × T4 16GB | 約$0.53 | 約$384 |
| Azure (新しいタブで開きます) | NC4as_T4_v3eastus | $0.53 | 1 × T4 16GB | 約$0.53 | 約$384 |
| Google Cloud (新しいタブで開きます) | g2-standard-4us-central1 | $0.71 | 1 × L4 24GB | 約$0.71 | 約$516 |
| Lambda (新しいタブで開きます) | 1x A6000us | $1.09 | 1 × RTX A6000 48GB | 約$1.09 | 約$796 |
| Nebius (新しいタブで開きます) | 1x L40S 48GBeu/us | $1.55 | 1 × L40S 48GB | 約$1.55 | 約$1,132 |
| Vultr (新しいタブで開きます) | vcg-l40s-16c-180g-48vramus | $1.67 | 1 × L40S 48GB | 約$1.67 |