Deep Learning 101, Taiwan’s pioneering and highest deep learning meetup, launched on 2016/11/11 @ 83F, Taipei 101

AI是一條孤獨且充滿惶恐及未知的旅程，花俏絢麗的收費課程或活動絕非通往成功的捷徑。
衷心感謝當時來自不同單位的AI同好參與者實名分享的寶貴經驗；如欲移除資訊還請告知。
由 TonTon Huang Ph.D. 發起，及其當時任職公司(台灣雪豹科技)無償贊助場地及茶水點心。

大語言模型	語音處理	自然語言處理	電腦視覺
Large Language Model	Speech Processing	Natural Language Processing, NLP	Computer Vision

用 AI 懂 AI

AI 技術體驗/分享

手把手帶你一起踩 AI 坑：https://www.twman.org/AI

AI 技術開源/試用

LLM

大語言模型 (Large Language Model)

✨LLM API Platform Price Comparison

總體戰略比較：三大公有雲 AI 平台

特性	Google Cloud (GCP)	Microsoft Azure	Amazon Web Services (AWS)
主要 GenAI 平台	Vertex AI	Azure OpenAI Service	Amazon Bedrock
平台核心理念	AI 技術創新者	企業服務整合者	中立的雲端市集
旗艦/代表性模型	Gemini 系列 (2.5 Pro)	OpenAI 模型系列 (GPT-4o)	Anthropic Claude 系列
“私有通道”安全技術	VPC Service Controls	Private Endpoint	Interface VPC Endpoint
計費模式 (安全性)	服務啟用免費	端點按小時計費 + 數據按 GB 計費	端點按小時計費 + 數據按 GB 計費
個人體驗	Gemin無敵+Cloude等模型	只有Open AI	就是少了 Gemini

自行架設 GPU VM 每小時預估費用

台灣計價： (美元費用 x 當期匯率) + 5% 營業稅
基準： 以下價格均以美國東部 (US East) 或美國中部 (US Central) 的主要資料中心為基準，這是行業內最常用於比較定價的區域。
定價模式： 均採用 「按需 (On-Demand)」 定價，不包含任何預留或長期承諾折扣。
幣別： 均為美元 (USD, $)。

GPU 型號	Google Cloud (GCP)	Microsoft Azure	Amazon Web Services (AWS)
NVIDIA T4	每小時: $0.35 每個月: $255.5 承諾1年:$0.22/$160.60
NVIDIA P4	每小時: $0.60 每個月: $438.00 承諾1年:$0.378/$275.94
NVIDIA V100	每小時: $2.48 每個月: $1810.40 承諾1年:$1.562/$1140.26	每小時: ~$3.07	每小時: ~$3.06
NVIDIA A100	實例: `a2-highgpu-1g` (1x A100) 每小時: ~$4.45	實例: `Standard_ND96asr_v4` (8x A100) 每小時/每顆: ~$4.21 (整機 ~$33.68/hr)	實例: `p4d.24xlarge` (8x A100) 每小時/每顆: ~$4.09 (整機 ~$32.77/hr)
NVIDIA H100	實例: `a3-highgpu-8g` (8x H100) 每小時/每顆: ~$8.37 (整機 ~$66.95/hr)	實例: `Standard_ND H100 v5` (8x H100) 每小時/每顆: ~$8.59 (整機 ~$68.75/hr)	實例: `p5.48xlarge` (8x H100) 每小時/每顆: ~$12.26 (整機 ~$98.08/hr)

大型語言模型API平台價格比較 ~2025/07

平台	模型	存取平台	輸入費用 (USD/1M Tokens)	輸出費用 (USD/1M Tokens)	上下文窗口	免費層級	最大速率限制 (RPM / TPM)	多模態能力	特點 / 說明	定價連結
Google	Gemini 2.5 Pro	Vertex AI	$1.25 (≤200k) $2.50 (>200k)	$10.00 (≤200k) $15.00 (>200k)	1M	✅ (適用 GCP 免費額度)	高，可申請提高	✅ (文/圖/影/音)	企業生產級，整合 GCP 安全與 MLOps 工具鏈	Vertex AI Pricing
Google	Gemini 2.5 Pro	Google AI Studio	免費 (在限制內) 或 Pay-as-you-go	免費 (在限制內) 或 Pay-as-you-go	1M	✅ (60 RPM)	固定速率限制 (60 RPM)	✅ (文/圖/影/音)	開發者優先，適合快速原型驗證，免費層級慷慨	Google AI Studio Pricing
Anthropic	Claude 4 Opus	Amazon Bedrock, Vertex AI	$15.00	$75.00	200K	依附於雲端平台免費額度	依帳戶等級 (可申請提高)	✅ (文/圖)	最新頂級旗艦，專為最複雜任務設計，推理能力極強	Anthropic Pricing
Anthropic	Claude 4 Sonnet	Amazon Bedrock, Vertex AI	$3.00	$15.00	200K	依附於雲端平台免費額度	依帳戶等級 (可申請提高)	✅ (文/圖)	最新主力模型，在智慧與速度間取得最佳平衡	同上
Anthropic	Claude 3.7 Sonnet	Amazon Bedrock, Vertex AI	$3.00	$15.00	200K	依附於雲端平台免費額度	依帳戶等級 (可申請提高)	✅ (文/圖)	具備「擴展思維」模式，適合深度分析與程式碼生成	同上
OpenAI	GPT-4o	Azure OpenAI, OpenAI API	$5.00	$15.00	128K	✅ (新戶免費額度)	依帳戶等級 (可申請提高)	✅ (文/圖/音)	Frontier 模型，支援 Vision/Tools/結構化輸出	OpenAI Pricing
Meta	Llama 3 (70B)	Amazon Bedrock, Vertex AI	~$0.79	~$2.70	8K	依附於雲端平台免費額度	依帳戶等級 (可申請提高)	❌	最強大的開源模型之一，適合通用對話與內容生成	Bedrock Pricing
xAI	Grok-3	Grok API, X Premium+	$3.00	$15.00	128K	✅ (新戶免費額度)	不公開 (受邀制)	✅ (文字)	即時資訊存取，具備獨特風格。Grok-4 即將推出	xAI API
DeepSeek	deepseek-chat (V2)	DeepSeek API	$0.14	$0.28	128K	✅ (新戶 5M Tokens)	不公開	❌	高性价比，編碼與數學能力強	DeepSeek Pricing
Qwen	qwen-turbo	阿里雲, Qwen API	~$0.0011	~$0.0022	32K	✅ (新戶免費額度)	不公開	✅ (文/圖)	阿里通義千問，經濟高效型	Qwen Pricing
百度	ERNIE 4.0	百度千帆大模型平台	~$16.50	~$16.50	~128K	✅ (新戶免費額度)	不公開	✅ (文/圖)	中文原生，支援多種中國特色應用與知識	Baidu Pricing

大型語言模型與Agent安全工具比較 ~2025/07

工具/資源名稱	開發者/來源	核心本質	主要用途/功能	運作方式	適用情境
agentic-radar	`splx-ai`	綜合性安全套件 (靜態+動態)	分析代理 (Agent) 的工作流程、組件，並進行動態測試與提示詞強化。	靜態掃描原始碼以繪製工作流程圖；動態測試則實際運行代理以測試其行為。	開發早期進行架構審查，並在同一個工具中完成初步的動態測試。
agentic_security	`msoedov`	動態模糊測試工具 (Dynamic Fuzzer)	攻擊運作中的 LLM API，以發現提示詞注入等運行時漏洞。	向指定的 HTTP 端點發送大量預設的攻擊提示詞。	對任何 LLM API 進行快速、靈活的黑箱滲透測試。
garak	NVIDIA	自動化紅隊演練工具 (Automated Red Teaming)	系統性地、全面地掃描 LLM 的各種漏洞（偏見、洩漏、注入等）。	使用「探針 (Probes)」發動攻擊，並用「偵測器 (Detectors)」評估結果。	模型部署前的全面安全評估、基準測試、以及定期的安全審計。
llm-guard	`protectai`	防禦性函式庫/防火牆 (Defensive Firewall)	作為應用程式的安全層，過濾和淨化進出 LLM 的數據。	使用可插拔的「掃描器 (Scanners)」管道來檢查和修改輸入/輸出內容（如匿名化個資）。	在應用程式程式碼中建立即時的、可客製化的執行時期安全防護。
ShieldGemma 2	Google DeepMind	專家級安全分類模型 (Specialist Safety Model)	判斷文字內容是否違反多項安全策略（如仇恨言論、騷擾等）。	一個經過微調的 LLM，對輸入文字進行深度語意理解並輸出安全標籤。	作為一個強大的分類器，對需要精準語意判斷的內容進行安全審核。
JailBreakV-28k	Hugging Face	資料集 (Dataset)	提供大量用於測試和研究 LLM 越獄漏洞的「提示詞-圖片-模型-回應」數據。	一個包含 28,000+ 筆紀錄的資料庫，用於訓練和評估安全模型。	學術研究、訓練自訂的攻擊檢測模型、或評估模型的安全性。

攻擊方 (矛)：garak 和 agentic_security 是主動的攻擊工具，用來在部署前後找出系統的弱點。garak 更像一個全面、系統化的掃描器，而 agentic_security 則像一個靈活的模糊測試工具。
防守方 (盾)：llm-guard 和 ShieldGemma 是被動的防禦工具，用來在應用程式運行時即時阻擋攻擊和過濾內容。llm-guard 是一個高度客製化的「工具箱」，而 ShieldGemma 則是一個專注於語意理解的「專家」。
綜合與特定框架工具：agentic-radar 是一個結合了靜態分析（看藍圖）和動態分析（實地測試）的綜合性工具，特別適合審查使用特定代理框架的專案。

Awesome-Chinese-LLM

Tool 名稱	功能範疇	集成能力	適用場景	建議選擇	知識庫技術
Flowise	簡單可視化流程建構	支持 LangChain 和 GPT，多平台部署	快速構建簡單 LLM 流程應用	適合需要快速構建和部署 LLM 應用的用戶
Langflow	多智能體與 RAG 應用構建	外部工具、API 與資料庫集成	複雜任務鏈與多智能體應用開發	適合構建複雜任務鏈的技術型開發者
Dify	全面應用開發與管理	多模型支持，全面工作流與模型管理	全生命周期管理與複雜應用開發	適合需要全面管理 LLM 應用的開發者或企業	基於 Pinecone 的向量數據庫、Notion API 同步（增量更新）、支持 Rerank 模型（bge-reranker-base）、提供行業模板庫
n8n	通用自動化與流程編排平台	支持超過 350 種服務與 API 集成，可視化流程編輯	應用整合、自動化工作流程構建、自動回應觸發器	適合需要自動處理非 AI 任務或整合各類 SaaS 工具的用戶與開發者	可與向量資料庫結合使用，但非內建
RAGFlow	模組化 RAG 管線與知識應用框架	支持 LangChain、Chroma、FAISS 等，可用於構建完整 RAG 工作流	知識問答、文件檢索、RAG 多階段優化	適合需要建構可定製、模組化 RAG 系統的開發者	支持多向量資料庫（Chroma、FAISS）、可結合自定義資料源與檢索策略
New API	模型接口統一與分發	OpenAI 格式統一，支持多支付協議與分發管理	多模型接口管理與分發	適合需要統一管理多種 AI 模型接口的用戶
XORBITS Inference	分散式推理與部署	與 Hugging Face 等模型相容，支援雲端及本地等多種部署環境	大規模模型推理與雲端部署，需快速搭建可擴展的推理服務時	適合需要高效擴展能力、進行大規模模型推理的團隊或企業
Ollama	本地模型推理與管理	提供命令列介面，支援多種 Llama 模型於本地運行	在有隱私或離線需求的場景下進行本地推理	適合想在本地快速配置 Llama 系列模型的個人或中小型團隊
FastGPT	知識庫問答系統與工作流編排	提供開箱即用的數據處理、模型調用，支持可視化工作流編排	快速構建智能問答系統與複雜問答場景	適合需要快速部署知識庫問答系統的用戶	混合索引（Elasticsearch + FAISS）、支援 PDF 表格解析（PyMuPDF 集成）、BM25 權重可調、需人工標註種子數據
Coze	AI 智能體開發平台	整合插件、長短期記憶、工作流、卡片等功能，支持多平台發布	低門檻快速搭建個性化或具備商業價值的智能體	適合無需編程即可創建智能體的用戶	自研分佈式索引、電商數據結構