Deep Learning 101, Taiwan’s pioneering and highest deep learning meetup, launched on 2016/11/11 @ 83F, Taipei 101
衷心感謝當時來自不同單位的AI同好參與者實名分享的寶貴經驗；如欲移除資訊還請告知。
由 TonTon Huang Ph.D. 發起，特別感謝時任職公司台灣雪豹科技無償贊助場地及茶水點心。
這裡匯集了我們歷年的 Meetup 紀錄，還有 AI 演算法與開源資源匯整中心。
🎯企業AI的競爭點，不是做出多少 Agent，而是在可量化的風險、權限、成本與稽核下可靠地執行。🎯
🎯AI Governance (AI 治理) 不能只是一份 SOP 的 PDF；它應該是一組可以執行的 Technical Controls。🎯
「Deep Learning 101」所有內容均屬個人與社群研究心得分享，不代表任何現職或前任雇主之官方立場背書。
解析探索大型語言模型：模型發展歷史、訓練及微調技術的 VRAM 估算
🚀 本文重點摘要 (TL;DR)： 想要玩轉 LLM，顯存 (VRAM) 是最大瓶頸。
- 推論 (Inference)：模型參數量 x 精度 (FP16=2GB/1B, INT4=0.7GB/1B) + KV Cache (長文本/影片是殺手)。
- 微調 (Fine-tuning)：全量微調需 16~20 倍 參數量顯存；LoRA/QLoRA 可將需求降至推論等級的 1.2~1.5 倍。
- 趨勢 (2026)：Gemini 3.0 時代，計算單位從「文字 Token」轉向「多模態 Token」，顯存容量比計算速度更重要。
作者：TonTon Huang Ph.D.
原文網址：https://blog.twman.org/2023/04/GPT.html
0.1 平台計費與定位分析
| 平台 | 核心定位 | 計費模式特點 | 適合場景 |
|---|---|---|---|
| NVIDIA Build build.nvidia.com |
原廠 NIM 推論展示與 API 體驗 | 試用免費額度，商用轉售權 提供註冊點數供開發者免費測試 API；商用落地則需購買 NVIDIA AI Enterprise 授權（約 $4,500/GPU/年）或部署於支援 NIM 的雲端。 |
快速原型驗證、評估開源模型微調效果、追求極致 TensorRT-LLM 效能。 |
| AMD Token Factory developer.amd.com.cn |
AMD 官方推廣 Instinct/Radeon 算力的模型市集 | Token 計費（含每日免費額度） 主打相容 OpenAI 格式的 API 呼叫，通常提供註冊/每日免費額度（如每日發放測試金額），推廣其 ROCm 堆疊。 |
評估 AMD GPU 推論性價比、希望規避 NVIDIA 生態鎖定、呼叫開源模型（如 DeepSeek、Llama）。 |
| GMI Cloud gmicloud.ai |
專注 AI 的新興 GPU 裸機/租賃雲（Neo-Cloud） | 純硬體時租（按 GPU/hr） 以小時計費（如 H100 約 $2.00 起/小時、GB200 約 $8.00 起/小時），亦支援長約保留執行個體與部分 Serverless API。 |
大規模模型訓練、全參數微調、長時間固定負載的吞吐量推論。 |
| 台智雲 TWSC docs.twcloud.ai |
台灣本土主權 AI 雲（台灣杉二號/AIHPC 架構） | 台幣時租（NTD/hr）、容器化算力 按秒計費並轉換為小時計價（如各級容器 c.super 等），支援開發型容器、HPC 批次任務與專用模型推論。 |
台灣在地資料不出境（法規合規、金融/醫療）、需統編發票、政府或大專院校科研計畫。 |
0.2. 與 GCP (Vertex AI) 及 AWS Bedrock 的核心差異
將這類平台與三大公有雲（Hyperscalers）對比，主要差別在於計費維度、架構層級、彈性與營運成本：
| 評估維度 | GCP / AWS Bedrock (Hyperscalers) | 專精 GPU 雲 (如 GMI Cloud、台智雲) | 原廠展示層 (如 NVIDIA Build、AMD Token) |
|---|---|---|---|
| 計費核心 | Token 用量或完全託管實例 主要是 Serverless 按 Input/Output Token 計費，或按 Managed Node 計價。 |
純 GPU 時鐘（GPU-hours） 不管 GPU 是否跑滿，只要開機每秒都在跳錶。 |
點數試用 / Token 呼叫 以體驗為導向，多帶有免費用量與開發限制。 |
| 算力單價 | 極高（貴 30%～80%） 因為內含了跨區可用性、企業級 IAM、VPC、合規及高利潤。 |
極低 / 具性價比 去除了多餘的中間層，H100/H200 的每小時裸租成本顯著低於三大雲。 |
不適合作為底層基礎設施計價標準。 |
| 配額取得 (Quota) | 取得困難 熱門 GPU（如 H100、H200）在公有雲往往需要極高的企業承諾（Commitment）或簽年約才能分配到配額。 |
專為 GPU 設計 專門儲備大量高階加速卡，通常更容易直接租到整櫃或整機算力。 |
僅提供 API 併發（Rate Limit），不提供裸機存取。 |
| 維運難度 (Ops) | 零維運（Fully Managed） 自動擴縮容（Autoscaling）、內建安全性防護（Guardrails）、整合企業內部 S3/BigQuery。 |
需自行維運（IaaS/CaaS） 需自行配置 CUDA、驅動、vLLM/TGI 容器、負載平衡及容錯機制。 |
零維運但無私網隔離 適合快速呼叫，但資料需走公開 API 傳輸。 |
| 資料隱私與法規 | 全球合規（HIPAA、SOC2 等），但多數資料節點位於境外或跨國網絡。 | 在地優勢（以台智雲為例） 伺服器位於台灣本土境內，滿足政府機關、國防或高度監管行業的資料不出境要求。 |
依各原廠規範，一般免費層 API 不適合傳輸機敏數據。 |
文章目錄
- 0. 前言：Gemini 2.5 到 3.0 的技術演進
- 1. 核心概念：VRAM 都被誰吃掉了？
- 2. 參數與 VRAM 的基礎換算 (The “B” Concept)
- 3. 訓練與微調的 VRAM 需求詳解 (含 Llama 2 經典案例)
- 4. 推論 (Inference) 與 KV Cache
- 5. 數據需求 (Data Scaling Laws)
- 6. 實戰經驗：我的硬體採購與推薦
0. 前言：從 Deep Learning 101 到 Gemini 3.0
還記得那幾年辦 Deep Learning 101 的活動，每個月總有那麼一個週五，我會在台北 101 因為佈署直播環境跟收拾打掃，搞到清晨 3-4 點才騎 YouBike 回家。當時我們讀的是 Deep Learning Book，討論的是 CNN 和 RNN。
轉眼來到 2025/2026 年，Google 發布了 Gemini 2.5 Pro Preview (05-06) 與後續的 Gemini 3.0，世界變了：
- 程式設計霸主：Gemini 2.5 在 WebDev Arena 排行榜以 147 Elo 分領先，超越 Claude 3.7 Sonnet。
- 百萬級 Context：支援 100 萬 token，可直接吃下長達一小時的影片或龐大程式碼庫。
- 影片轉程式碼：在 VideoMME 基準測試中得分 84.8%。
- 原生多模態 (Native Multimodal)：Gemini 3.0 不再只是處理文字，而是將圖片 (Image Patches) 和 音訊 (Audio Frames) 直接 Token 化。這意味著 VRAM 的殺手不再只是參數量，而是Context Window (上下文)。
以前我們想著如何整合直播影片做逐字稿，現在 Gemini 2.5/3.0 已經能直接看完影片並生成重點摘要 Markdown，甚至寫出對應的程式碼，真的是「打完收工」的感覺。
1. 核心概念：VRAM 都被誰吃掉了？
在估算 GPU 需求前，必須理解 VRAM 主要被以下五部分佔用：
- 模型權重 (Model Weights)：模型的靜態大小 (參數)。
- KV Cache (推論時)：為了加速生成，儲存上下文的 Key/Value 矩陣。Context Window 越長，這塊吃越兇。 (Gemini 3.0 時代的隱形殺手)
- 梯度 (Gradients) (訓練時)：反向傳播時計算的數值。
- 優化器狀態 (Optimizer States) (訓練時)：如 AdamW 優化器需要儲存動量 (Momentum) 與方差 (Variance)，佔用極大。
- 激活值 (Activations) (訓練時)：Forward pass 中產生的中間層輸出。
2. 參數與 VRAM 的基礎換算 (The "B" Concept)
常聽到的 XX B，這個 B 表示 10億 (Billion)，即 $10^9$。 例如 7B 表示 70 億個可訓練參數。
參數通常以 float32 (FP32) 儲存，佔 4 bytes。 最簡單的速算公式：
每 10 億 (1B) 參數，FP32 需 4GB VRAM；FP16 需 2GB；INT8 需 1GB。
| 精度格式 | 說明 | 每參數佔用 | 1B 模型需求 | 7B 模型需求 | 備註 |
|---|---|---|---|---|---|
| FP32 | 單精度 | 4 Bytes | 4 GB | 28 GB | 訓練標準格式 |
| FP16 / BF16 | 半精度 | 2 Bytes | 2 GB | 14 GB | 微調/推論主流 |
| INT8 | 8-bit 量化 | 1 Byte | 1 GB | 7 GB | 節省顯存 |
| INT4 | 4-bit 量化 | 0.5 Byte | 0.5 GB | 3.5 GB | 邊緣設備/QLoRA |
3. 訓練與微調的 VRAM 需求詳解
這是大家最容易誤解的地方：「我有 24GB 顯卡，能不能訓練 7B 模型？」 答案通常是：不能全量訓練，但可以微調。
A. 全量訓練/微調 (Full Fine-Tuning) - 資源黑洞
訓練時，每個參數需要的 VRAM 遠超其權重本身。以 AdamW 優化器為例：
- 模型權重: 4 bytes
- 梯度: 4 bytes
- 優化器狀態: 8 bytes (Momentum + Variance)
- 總計: 16 bytes / parameter (還沒算 Activation!)
Total VRAM = Model Weights + KV Cache + Activation Buffer
🏛️ 經典案例分析：Llama 2 的訓練成本
這是我在 2023 年整理的數據，至今仍極具參考價值，讓你明白為什麼「自己從頭訓練」是夢想：
- 訓練 Llama 2 70B (X=70)
- 核心需求：$16 \times 70 = 1,120 \text{ GB}$
- 加上 Activation：總計可能超過 1.5 TB VRAM。
- 硬體需求：需 128 台 DGX A100 系統，光硬體就數億台幣。
- 訓練 7B 模型 (X=7)
- 核心需求：$16 \times 7 = 112 \text{ GB}$
- 硬體需求：至少需要 2~3 張 A100 (80GB) 才能跑得動。
B. 高效微調 (PEFT - LoRA) - 個人的救星
LoRA 凍結了預訓練模型權重，只訓練極小的 Rank 矩陣。
- 微調 7B (LoRA)：約需 20~24 GB (單張 RTX 3090/4090 可搞定)。
- 微調 70B (LoRA)：約需 160 GB (需 2-3 張 A100)。
C. 量化微調 (QLoRA) - 窮人的法拉利
目前的微調主流。將基礎模型量化為 4-bit (NF4)，並在上面加 LoRA。
- 微調 7B (QLoRA)：約需 10~12 GB (RTX 3060 12G 勉強可跑，建議 16G)。
- 微調 70B (QLoRA)：約需 48 GB (兩張 RTX 3090/4090 透過 NVLink 或軟體並行)。
4. 推論 (Inference) 與 KV Cache
推論相對簡單，公式為：
訓練 VRAM (GB) ≈ 參數數量 (B) × 16
實戰推論需求表 (含 OS overhead)
| 模型規模 | INT4 (GGUF/AWQ) | INT8 | FP16 | 推薦顯卡 |
|---|---|---|---|---|
| Llama-3-8B | ~6 GB | ~9 GB | ~16 GB | RTX 3060 / 4060 |
| Llama-3-70B | ~40 GB | ~72 GB | ~140 GB | 2x RTX 3090 / RTX 6000 Ada |
| Mixtral 8x7B | ~26 GB | ~48 GB | ~90 GB | RTX 6000 Ada / Mac Studio 64G |
⚠️ 注意 KV Cache (上下文)： 在 Gemini 3.0 時代，如果你要讀 100 頁 PDF 或一支 10 分鐘影片，KV Cache 可能會瞬間吃掉 10GB 以上的 VRAM。這就是為什麼現在顯存 「容量 (Capacity)」 比 「速度 (Bandwidth)」 更重要。
💡 實戰選型：算力平台與雲端/地端該怎麼挑？
當你算完 VRAM 發現需要 40GB 甚至 140GB 時，並不是每個人都得立刻掏錢買卡。目前算力生態已分化為四大路徑：
- 雲端巨頭託管 API (GCP Vertex AI / AWS Bedrock)：
- 本質：Serverless 託管，按 Token 計費。
- 優勢：整合了 IAM、私網 VPC、監控與企業合規，不需要管理 CUDA 與驅動。
- 劣勢：單價最貴，且常受限於 TPM/RPM 並發限制。
- 新興專精 GPU 雲 (Neo-Clouds，如 GMI Cloud、RunPod)：
- 本質：純硬體時租（按 GPU/hr 計費）。
- 優勢：去除了雲端巨頭的中間層，H100/H200 或 GB200 的每小時裸租價格顯著便宜 30%~50%，且更容易取得高階卡配額。
- 劣勢：需自行設定 Docker、驅動與推論引擎（如 vLLM），且缺乏巨頭級別的周邊 PaaS 服務。
- 主權與本土雲端 (如台智雲 TWSC)：
- 本質：本地 HPC 容器與 GPU 時租。
- 優勢：機房位於台灣境內，完全符合公部門、金融與國防「資料不出境」的嚴格合規要求，且支援在地發票與報帳。
- 晶片原廠推論展示 (NVIDIA Build / AMD Token Factory)：
- 本質：原廠提供給開發者驗證開源模型效能的沙盒或 Token 平台。
- 用途：適合在採購或租賃硬體前，先測試模型在特定晶片（如 Instinct MI300 或 H100 NIM）上的加速推論表現。
5. 數據需求 (Data Scaling Laws)
訓練模型不只看 GPU，還看數據量。根據 Chinchilla Scaling Laws：
最佳 Token 數量 ≈ 20 × 模型參數量
- 訓練 1B 模型：需 200 億 (20B) Tokens。
- 訓練 8B 模型：需 1600 億 (160B) Tokens。
- (註：Llama 3 實際上用了 15 Trillion (15兆) Tokens，這是為了極致的推論性能，遠超定律)
微調 (SFT) 數據量： 微調不需要海量數據。通常 1,000 ~ 10,000 條高品質指令對 (Instruction Pairs) 就足以讓模型學會特定的說話風格。數據品質 > 數據數量。
6. 實戰經驗：我的硬體採購與推薦
這是我個人的血淚採購史，見證了從深度學習萌芽到 LLM 爆發的過程：
- 2016/06：GIGABYTE GTX 960 4G * 2 (剛開始學 CNN)
- 2017/01：技嘉 GTX 1080 XTREME GAMING 8G (GAN 最火的時候)
- 2018/05：NVIDIA TITAN V + TITAN XP (公司投資，算力大升級)
- 2023/08：RTX 6000 Ada 48GB * 2 + A100 80GB * 4 (LLM 時代降臨，顯存焦慮症開始)
- 2024/05：RTX 6000 Ada 48GB * 16 (為企業級 RAG 與微調準備)
2025/2026 硬體推薦建議
- 入門體驗 / INT4 推論：
- RTX 3060 12GB / 4060 Ti 16GB
- 性價比之王，跑 7B/8B 量化模型綽綽有餘，甚至能跑 SDXL 繪圖。
- 進階推論 / LoRA 微調：
- RTX 3090 / 4090 (24GB)
- 本地端神卡。二手 3090 是目前 CP 值最高的選擇。24GB VRAM 是微調 7B 模型的舒適區。
- 專業微調 (70B QLoRA)：
- 雙卡 RTX 3090 / 4090 (48GB)
- 透過 NVLink 或軟體並行，這是個人/工作室能跑 70B 模型的最低門檻。
- 企業級 / 長文本 / 多人併發：
- RTX 6000 Ada (48GB)：穩定性高，功耗比 4090 低，適合長時間訓練。
- A100 / H100 (80GB)：工業標準，有錢就買這個。
- Mac 用戶 (推論專用)：
- M2/M3/M4 Max/Ultra (64GB ~ 192GB)
- 統一記憶體 (Unified Memory) 是 Mac 的殺手鐧。雖然訓練慢，但能跑的模型大小是同價位 PC 跑不動的 (例如 120B 模型)。
🎯 總結：地端買卡 vs. 雲端租賃的評估決策
- 什麼時候選 Token API？
- 業務處於測試期，日均呼叫量小於幾十萬 Token。
- 不想背負維運推論伺服器（Ops）的人力成本。
- 什麼時候選 雲端 GPU (時租/月租)？
- 已經使用開源模型（如微調過的 Llama 或 Qwen），且有穩定的批次處理或日常流量。
- 需要 80GB 以上高階卡（如 H100），但不想一次投入數百萬 CapEx 採購實體機器。
- 什麼時候買 地端實體卡？
- 資料極端敏感：嚴格禁止資料離開內網（Air-Gapped 環境）。
- 算力利用率長期高於 60%：當你每天 24 小時都在跑微調或大併發推論，折舊攤提下來，自己買卡會比長期付雲端帳單便宜許多。
結語
大型語言模型的門檻正在透過 QLoRA、GGUF 量化 與 Flash Attention 等技術迅速降低。以前需要百萬算力才能做的事，現在一張 RTX 4090 就能在家完成微調。
掌握上述的 VRAM 估算公式，能幫助你精準規劃硬體預算，避免「爆顯存」的慘劇。別被廠商唬弄了，先算算看你需要多少 B (Parameters) 和多少 Context (Length)，再決定要買什麼卡！