Deep Learning 101, Taiwan’s pioneering and highest deep learning meetup, launched on 2016/11/11 @ 83F, Taipei 101

AI是一條孤獨且充滿惶恐及未知的旅程,花俏絢麗的收費課程或活動絕非通往成功的捷徑。
衷心感謝當時來自不同單位的AI同好參與者實名分享的寶貴經驗;如欲移除資訊還請告知。
TonTon Huang Ph.D. 發起,及其當時任職公司(台灣雪豹科技)無償贊助場地及茶水點心。

Deep Learning 101 Buy Me A Coffee

去 YouTube 訂閱 | Facebook | 回 GitHub Pages | 到 GitHub 點星 | 網站 | 到 Hugging Face Space 按愛心


大語言模型 語音處理 自然語言處理 電腦視覺
Large Language Model Speech Processing Natural Language Processing, NLP Computer Vision

用 AI 懂 AI

AI 技術 體驗/分享

手把手帶你一起踩 AI 坑https://www.twman.org/AI


AI 技術 開源/試用

LLM

大語言模型 (Large Language Model)

✨LLM API Platform Price Comparison

總體戰略比較:三大公有雲 AI 平台

特性 Google Cloud (GCP) Microsoft Azure Amazon Web Services (AWS)
主要 GenAI 平台 Vertex AI Azure OpenAI Service Amazon Bedrock
平台核心理念 AI 技術創新者 企業服務整合者 中立的雲端市集
旗艦/代表性模型 Gemini 系列 (2.5 Pro) OpenAI 模型系列 (GPT-4o) Anthropic Claude 系列
“私有通道”安全技術 VPC Service Controls Private Endpoint Interface VPC Endpoint
計費模式 (安全性) 服務啟用免費 端點按小時計費 + 數據按 GB 計費 端點按小時計費 + 數據按 GB 計費
個人體驗 Gemin無敵+Cloude等模型 只有Open AI 就是少了 Gemini

自行架設 GPU VM 每小時預估費用

GPU 型號 Google Cloud (GCP) Microsoft Azure Amazon Web Services (AWS)
NVIDIA T4 每小時: $0.35
每個月: $255.5
承諾1年:$0.22/$160.60
   
NVIDIA P4 每小時: $0.60
每個月: $438.00
承諾1年:$0.378/$275.94
   
NVIDIA V100 每小時: $2.48
每個月: $1810.40
承諾1年:$1.562/$1140.26
每小時: ~$3.07 每小時: ~$3.06
NVIDIA A100 實例: a2-highgpu-1g (1x A100)
每小時: ~$4.45
實例: Standard_ND96asr_v4 (8x A100)
每小時/每顆: ~$4.21
(整機 ~$33.68/hr)
實例: p4d.24xlarge (8x A100)
每小時/每顆: ~$4.09
(整機 ~$32.77/hr)
NVIDIA H100 實例: a3-highgpu-8g (8x H100)
每小時/每顆: ~$8.37
(整機 ~$66.95/hr)
實例: Standard_ND H100 v5 (8x H100)
每小時/每顆: ~$8.59
(整機 ~$68.75/hr)
實例: p5.48xlarge (8x H100)
每小時/每顆: ~$12.26
(整機 ~$98.08/hr)

大型語言模型API平台價格比較 ~2025/07

平台 模型 存取平台 輸入費用
(USD/1M Tokens)
輸出費用
(USD/1M Tokens)
上下文窗口 免費層級 最大速率限制 (RPM / TPM) 多模態能力 特點 / 說明 定價連結
Google Gemini 2.5 Pro Vertex AI $1.25 (≤200k)
$2.50 (>200k)
$10.00 (≤200k)
$15.00 (>200k)
1M ✅ (適用 GCP 免費額度) 高,可申請提高 ✅ (文/圖/影/音) 企業生產級,整合 GCP 安全與 MLOps 工具鏈 Vertex AI Pricing
Google Gemini 2.5 Pro Google AI Studio 免費 (在限制內)
或 Pay-as-you-go
免費 (在限制內)
或 Pay-as-you-go
1M (60 RPM) 固定速率限制 (60 RPM) ✅ (文/圖/影/音) 開發者優先,適合快速原型驗證,免費層級慷慨 Google AI Studio Pricing
Anthropic Claude 4 Opus Amazon Bedrock, Vertex AI $15.00 $75.00 200K 依附於雲端平台免費額度 依帳戶等級 (可申請提高) ✅ (文/圖) 最新頂級旗艦,專為最複雜任務設計,推理能力極強 Anthropic Pricing
Anthropic Claude 4 Sonnet Amazon Bedrock, Vertex AI $3.00 $15.00 200K 依附於雲端平台免費額度 依帳戶等級 (可申請提高) ✅ (文/圖) 最新主力模型,在智慧與速度間取得最佳平衡 同上
Anthropic Claude 3.7 Sonnet Amazon Bedrock, Vertex AI $3.00 $15.00 200K 依附於雲端平台免費額度 依帳戶等級 (可申請提高) ✅ (文/圖) 具備「擴展思維」模式,適合深度分析與程式碼生成 同上
OpenAI GPT-4o Azure OpenAI, OpenAI API $5.00 $15.00 128K ✅ (新戶免費額度) 依帳戶等級 (可申請提高) ✅ (文/圖/音) Frontier 模型,支援 Vision/Tools/結構化輸出 OpenAI Pricing
Meta Llama 3 (70B) Amazon Bedrock, Vertex AI ~$0.79 ~$2.70 8K 依附於雲端平台免費額度 依帳戶等級 (可申請提高) 最強大的開源模型之一,適合通用對話與內容生成 Bedrock Pricing
xAI Grok-3 Grok API, X Premium+ $3.00 $15.00 128K ✅ (新戶免費額度) 不公開 (受邀制) ✅ (文字) 即時資訊存取,具備獨特風格。Grok-4 即將推出 xAI API
DeepSeek deepseek-chat (V2) DeepSeek API $0.14 $0.28 128K ✅ (新戶 5M Tokens) 不公開 高性价比,編碼與數學能力強 DeepSeek Pricing
Qwen qwen-turbo 阿里雲, Qwen API ~$0.0011 ~$0.0022 32K ✅ (新戶免費額度) 不公開 ✅ (文/圖) 阿里通義千問,經濟高效型 Qwen Pricing
百度 ERNIE 4.0 百度千帆大模型平台 ~$16.50 ~$16.50 ~128K ✅ (新戶免費額度) 不公開 ✅ (文/圖) 中文原生,支援多種中國特色應用與知識 Baidu Pricing

大型語言模型與Agent安全工具比較 ~2025/07

工具/資源名稱 開發者/來源 核心本質 主要用途/功能 運作方式 適用情境
agentic-radar splx-ai 綜合性安全套件
(靜態+動態)
分析代理 (Agent) 的工作流程、組件,並進行動態測試與提示詞強化。 靜態掃描原始碼以繪製工作流程圖;動態測試則實際運行代理以測試其行為。 開發早期進行架構審查,並在同一個工具中完成初步的動態測試。
agentic_security msoedov 動態模糊測試工具
(Dynamic Fuzzer)
攻擊運作中的 LLM API,以發現提示詞注入等運行時漏洞。 向指定的 HTTP 端點發送大量預設的攻擊提示詞。 對任何 LLM API 進行快速、靈活的黑箱滲透測試。
garak NVIDIA 自動化紅隊演練工具
(Automated Red Teaming)
系統性地、全面地掃描 LLM 的各種漏洞(偏見、洩漏、注入等)。 使用「探針 (Probes)」發動攻擊,並用「偵測器 (Detectors)」評估結果。 模型部署前的全面安全評估、基準測試、以及定期的安全審計。
llm-guard protectai 防禦性函式庫/防火牆
(Defensive Firewall)
作為應用程式的安全層,過濾和淨化進出 LLM 的數據。 使用可插拔的「掃描器 (Scanners)」管道來檢查和修改輸入/輸出內容(如匿名化個資)。 在應用程式程式碼中建立即時的、可客製化的執行時期安全防護。
ShieldGemma 2 Google DeepMind 專家級安全分類模型
(Specialist Safety Model)
判斷文字內容是否違反多項安全策略(如仇恨言論、騷擾等)。 一個經過微調的 LLM,對輸入文字進行深度語意理解並輸出安全標籤。 作為一個強大的分類器,對需要精準語意判斷的內容進行安全審核。
JailBreakV-28k Hugging Face 資料集 (Dataset) 提供大量用於測試和研究 LLM 越獄漏洞的「提示詞-圖片-模型-回應」數據。 一個包含 28,000+ 筆紀錄的資料庫,用於訓練和評估安全模型。 學術研究、訓練自訂的攻擊檢測模型、或評估模型的安全性。







Tool 名稱 功能範疇 集成能力 適用場景 建議選擇 知識庫技術
Flowise 簡單可視化流程建構 支持 LangChain 和 GPT,多平台部署 快速構建簡單 LLM 流程應用 適合需要快速構建和部署 LLM 應用的用戶  
Langflow 多智能體與 RAG 應用構建 外部工具、API 與資料庫集成 複雜任務鏈與多智能體應用開發 適合構建複雜任務鏈的技術型開發者  
Dify 全面應用開發與管理 多模型支持,全面工作流與模型管理 全生命周期管理與複雜應用開發 適合需要全面管理 LLM 應用的開發者或企業 基於 Pinecone 的向量數據庫、Notion API 同步(增量更新)、支持 Rerank 模型(bge-reranker-base)、提供行業模板庫
n8n 通用自動化與流程編排平台 支持超過 350 種服務與 API 集成,可視化流程編輯 應用整合、自動化工作流程構建、自動回應觸發器 適合需要自動處理非 AI 任務或整合各類 SaaS 工具的用戶與開發者 可與向量資料庫結合使用,但非內建
RAGFlow 模組化 RAG 管線與知識應用框架 支持 LangChain、Chroma、FAISS 等,可用於構建完整 RAG 工作流 知識問答、文件檢索、RAG 多階段優化 適合需要建構可定製、模組化 RAG 系統的開發者 支持多向量資料庫(Chroma、FAISS)、可結合自定義資料源與檢索策略
New API 模型接口統一與分發 OpenAI 格式統一,支持多支付協議與分發管理 多模型接口管理與分發 適合需要統一管理多種 AI 模型接口的用戶  
XORBITS Inference 分散式推理與部署 與 Hugging Face 等模型相容,支援雲端及本地等多種部署環境 大規模模型推理與雲端部署,需快速搭建可擴展的推理服務時 適合需要高效擴展能力、進行大規模模型推理的團隊或企業  
Ollama 本地模型推理與管理 提供命令列介面,支援多種 Llama 模型於本地運行 在有隱私或離線需求的場景下進行本地推理 適合想在本地快速配置 Llama 系列模型的個人或中小型團隊  
FastGPT 知識庫問答系統與工作流編排 提供開箱即用的數據處理、模型調用,支持可視化工作流編排 快速構建智能問答系統與複雜問答場景 適合需要快速部署知識庫問答系統的用戶 混合索引(Elasticsearch + FAISS)、支援 PDF 表格解析(PyMuPDF 集成)、BM25 權重可調、需人工標註種子數據
Coze AI 智能體開發平台 整合插件、長短期記憶、工作流、卡片等功能,支持多平台發布 低門檻快速搭建個性化或具備商業價值的智能體 適合無需編程即可創建智能體的用戶 自研分佈式索引、電商數據結構

工具


AI Agent 開源框架


混合專家(Mixture of Experts, MoE)模型

小型語言模型

推理模型

大型語言模型

Embedding & Reranker

語音到語音大模型及工具套件

視覺大語言模型 (Vision-Language model)

多模態大語言模型 (Multimodal)