Deep Learning 101, Taiwan’s pioneering and highest deep learning meetup, launched on 2016/11/11 @ 83F, Taipei 101

AI是一條孤獨且充滿惶恐及未知的旅程，花俏絢麗的收費課程或活動絕非通往成功的捷徑。
衷心感謝當時來自不同單位的AI同好參與者實名分享的寶貴經驗；如欲移除資訊還請告知。
由 TonTon Huang Ph.D. 發起，特別感謝時任職公司台灣雪豹科技無償贊助場地及茶水點心。
這裡不僅匯集了我們歷年的 Meetup 紀錄，更是 AI 演算法與開源資源匯整中心。

👉 查看 Deep Learning 101 歷年所有實體 Meetup 影像與逐字稿 📺

📚 LLM 大語言模型・必讀資源總整理

編者按： 本頁面彙整目前最主流的 LLM 排行榜、開源模型、推論與微調工具，以及相關學術論文。

如果您想尋找更詳細的筆記，歡迎訪問 GitHub Repository： 👉 GitHub: Natural-Language-Processing-Paper (歡迎 Star ⭐)

✨LLM API Platform Price Comparison

總體戰略比較：三大公有雲 AI 平台 ~ 2025年08月08日

特性	Google Cloud (GCP)	Microsoft Azure	Amazon Web Services (AWS)
主要 GenAI 平台	Vertex AI	Azure OpenAI Service	Amazon Bedrock
平台核心理念	AI 技術創新者	企業服務整合者	中立的雲端市集
旗艦/代表性模型	Gemini 系列 (2.5 Pro)	OpenAI 模型系列 (GPT-4o)	Anthropic Claude 系列
“私有通道”安全技術	VPC Service Controls	Private Endpoint	Interface VPC Endpoint
計費模式 (安全性)	服務啟用免費	端點按小時計費 + 數據按 GB 計費	端點按小時計費 + 數據按 GB 計費
個人體驗	Gemin無敵+Cloude等模型	只有Open AI	就是少了 Gemini

自行架設 GPU VM 每小時預估費用 ~ 2025年08月08日

台灣計價： (美元費用 x 當期匯率) + 5% 營業稅
基準： 以下價格均以美國東部 (US East) 或美國中部 (US Central) 的主要資料中心為基準，這是行業內最常用於比較定價的區域。
定價模式： 均採用 「按需 (On-Demand)」 定價，不包含任何預留或長期承諾折扣。
幣別： 均為美元 (USD, $)。

GPU 型號	Google Cloud (GCP)	Microsoft Azure	Amazon Web Services (AWS)
NVIDIA T4	每小時: $0.35 每個月: $255.5 承諾1年:$0.22/$160.60
NVIDIA P4	每小時: $0.60 每個月: $438.00 承諾1年:$0.378/$275.94
NVIDIA V100	每小時: $2.48 每個月: $1810.40 承諾1年:$1.562/$1140.26	每小時: ~$3.07	每小時: ~$3.06
NVIDIA A100	實例: `a2-highgpu-1g` (1x A100) 每小時: ~$4.45	實例: `Standard_ND96asr_v4` (8x A100) 每小時/每顆: ~$4.21 (整機 ~$33.68/hr)	實例: `p4d.24xlarge` (8x A100) 每小時/每顆: ~$4.09 (整機 ~$32.77/hr)
NVIDIA H100	實例: `a3-highgpu-8g` (8x H100) 每小時/每顆: ~$8.37 (整機 ~$66.95/hr)	實例: `Standard_ND H100 v5` (8x H100) 每小時/每顆: ~$8.59 (整機 ~$68.75/hr)	實例: `p5.48xlarge` (8x H100) 每小時/每顆: ~$12.26 (整機 ~$98.08/hr)

💰 2026 主流大語言模型 (LLM) API 價格與場景選型指南 ~ 2026年03月31日

在開發 AI Agent 或 RAG 系統時，選擇合適的 API 不僅關乎智商，更關乎「燒錢的速度」。以下我們將主流 API 依據 「頂尖前沿 (Frontier)」 與 「高性價比 (Cost-Effective)」 兩大陣營進行深度比較。

💡 成本優化提示 (Context Caching)：目前如 Gemini、DeepSeek 與 Claude 等平台皆已全面支援「上下文快取」。若您的系統需頻繁輸入相同背景知識（如超長系統提示詞、PDF 財報），實際輸入成本可再降低 50% ~ 90%。

🏆 1. 頂尖前沿模型 (Frontier Models)

適用場景：企業級複雜邏輯決策、極高難度程式碼生成、無容錯率的學術分析。

平台與模型	輸入費用 (USD/1M Tokens)	輸出費用 (USD/1M Tokens)	上下文窗口	模態支援	💡 核心優勢與適用場景
OpenAI o1	$15.00	$60.00	200K	圖像、文字	地表最強深度思考。內建隱藏推理鏈，適合數學解題與頂級演算法生成。
Gemini 2.5 Pro	$1.25 (≤128K) $2.50 (>128K)	$5.00 (≤128K) $10.00 (>128K)	2M	全模態 (影音圖文)	超長文本與多模態霸主。原生支援高達 200 萬 Token，適合塞入整本書或整部電影進行分析。
Claude 3.5 Sonnet	$3.00	$15.00	200K	圖像、文字	工程師的最愛。寫 Code 準確率與防幻覺能力極高，是開發 AI 軟體工程師 (Devin 平替) 的首選 API。
Grok-3	$3.00	$15.00	131K	文字	即時資訊守門員。結合 X (Twitter) 的即時數據，適合做金融市場監控與社群聲量分析。
百度文心一言 4.0	約 $16.50	約 $41.30	32K	圖像、文字	最懂中國市場。針對中國互聯網知識庫深度特化，企業落地中國市場的必備合規選項。

🚀 2. 高性價比與端側模型 (Cost-Effective & Fast Models)

適用場景：高頻率 API 呼叫、網頁爬蟲資料清洗、多智能體 (Multi-Agent) 的子任務節點。

平台與模型	輸入費用 (USD/1M Tokens)	輸出費用 (USD/1M Tokens)	最大速率限制 (RPM)	💡 核心優勢與適用場景
DeepSeek-Reasoner (R1)	$0.55	$2.19	不公開	開源性價比核彈。以不到 OpenAI o1 三十分之一的價格，提供同等級的深度思考 (CoT) 能力。
DeepSeek-Chat (V3)	$0.14 (快取) $0.27 (無快取)	$1.10	不公開	海量資料處理首選。極致便宜且速度極快，非常適合用來做網頁爬蟲的 Markdown 格式清洗。
OpenAI o3-mini	$1.10	$4.40	不公開	快速邏輯推理。低成本的思考模型，適合做 RAG 系統中的 Reranker (重排序) 或邏輯判斷節點。
Gemini 2.0 Flash	$0.10	$0.40	2,000 RPM	企業級高併發王者。便宜、極速、且提供超高 API 限流 (Rate Limit)，適合大流量的 B2C 應用程式。
Qwen-Plus (通義)	$0.40	$1.20	不公開	中文性價比優選。阿里開源體系的商用 API 版，中文語意理解流暢，支援 131K 長文本。

❓ 常見問題：開發者該如何挑選 API？ (FAQ)

Q: 如果我要做一個「幫忙讀幾百頁 PDF 財報」的 AI Agent，該選誰？ A: 推薦使用 Gemini 2.5 Pro 或 Gemini 2.0 Flash。因為財報包含大量表格與超長文本，Gemini 提供高達 2M 的上下文視窗，且具備優秀的 Context Caching (快取) 機制，能把每次詢問的成本壓到最低。

Q: 如果我要做一個「自動幫我寫 Code 並修 Bug」的助理？ A: Claude 3.5 Sonnet 是目前業界公認的 Coding 王者；如果追求極致的邏輯解題且預算充足，可以使用 OpenAI o1；如果預算有限，DeepSeek-Reasoner (R1) 絕對是性價比最高的選擇。

Leaderboards

🏆 LLM 權威排行榜與評測指標 (Leaderboards)

在開源模型百家爭鳴的時代，如何挑選最適合特定任務的大語言模型？以下整理了目前 AI 開發者社群中最具公信力的 4 大模型評測榜單與資源庫，幫助您快速定位所需模型：

Open LLM Leaderboard (HuggingFace 官方榜單)
- 適用情境：尋找綜合能力最強的開源模型。
- 特色亮點：被譽為「開源模型的奧斯卡指標」。涵蓋推理解析、常識問答、數學運算與防幻覺等多項基準測試 (Benchmarks)，是決定本地部署模型前必看的權威榜單。
AlpacaEval Leaderboard
- 適用情境：評估模型「聽不聽得懂人話」。
- 特色亮點：專注於「指令跟隨 (Instruction-following)」能力的勝率榜。透過高速自動化評測，驗證模型在真實對話情境中，是否能精準理解並執行人類的複雜指令。
Big Code Models Leaderboard
- 適用情境：開發 AI 程式碼助手 (Coding Copilot)。
- 特色亮點：寫 Code 專用模型的專屬競技場。如果您需要尋找能輔助撰寫程式碼、代碼補全 (Code Completion) 或 Debug 的專項模型，請以這份榜單的排名為準。
Awesome-Chinese-LLM
- 適用情境：開發中文專屬的 AI 應用或 RAG 知識庫。
- 特色亮點：這雖然不是單一的量化排行榜，卻是 GitHub 上最齊全的「中文大語言模型」開源專案、微調數據集與評測總整理。要在地化微調 (Fine-tuning) 中文模型，這是必備的尋寶圖。
EssenceBench (大模型評測極致壓縮框架) [2025-10] 🔥
- 核心優勢：終結海量題海戰術的評測革命，用 1/200 的題量精準還原 95% 的大模型榜單排名！ 由上海交大與阿里通義千問團隊聯合提出，創新採用「由粗到細」的三階段壓縮框架。先過濾語意與排名的雙重冗餘，再透過遺傳演算法 (GA) 從天文數字的組合中進化出最優子集，最後輔以歸因細化確保難度與題型的全面覆蓋。在 HellaSwag 與 GSM8K 等權威基準上，僅需極少題目即可達成極低的預測誤差，徹底打破傳統評測的算力瓶頸。
- 解決痛點 / 推薦場景：完美解決了企業在自研或微調大模型時，完整跑完一次 Benchmark 需要耗費數千萬 Token、上千 GPU 小時及高昂 API 成本的致命痛點。 實測證明，即使將題量壓縮高達 200 倍，仍能維持 95% 的排名一致性。極度適合企業級大模型快速迭代與 A/B 測試、邊緣運算端側模型 (SLM) 效能初篩，以及需要頻繁進行安全對齊與微調驗證的 AI 研發團隊，真正引領產業界邁向「小數據精準評估」的新範式。
- 資源：🐙 GitHub 官方開源 | 📄 arXiv 論文 (2510.10457) | 🤗 Hugging Face 討論區 [評測壓縮] [極致降本] [精準排序] [遺傳演算法]

NVIDIA Nemotron

🟢 NVIDIA Nemotron 企業級 AI 實戰指南

NVIDIA 開發的 Nemotron 系列模型，以其極高的推理效率與完整的 NeMo 生態系，成為企業落地生成式 AI 的首選。以下我們將資源依據「開發階段」與「業務場景」進行分類，幫助您快速掌握從模型部署到安全防護的完整技術棧。

1. 核心模型發佈與解析 (Core Models)

了解 Nemotron 系列的核心架構與性能指標，選擇適合您的硬體與應用場景的模型尺寸。

Nemotron 3 Nano Omni [2026] 🔥 [全模態推理] [端側 MoE] [單次感知]

核心優勢：終結多模型串接的延遲惡夢，NVIDIA 開源首款「單次感知」的全模態 MoE 巨獸！ 採用 30B-A3B 混合專家架構，將視覺、語音與語言編碼器完美融合在單一底層系統中。徹底拋棄傳統「先辨識、後理解」的碎片化流程，在維持頂級互動效能下，實現高達 9 倍的驚人吞吐量提升，並原生支援 1920x1080 高畫質螢幕解析度的視覺推理。
解決痛點 / 推薦場景：完美解決了傳統 AI 代理 (Agent) 在處理複雜影音或螢幕操作時，因跨模型傳遞導致「上下文流失」與「推論成本過高」的致命痛點。 極度輕量化的架構讓它能無縫部署於 NVIDIA Jetson 邊緣運算設備或 DGX Spark 本地伺服器。是打造 電腦操作智能體 (Computer Use Agent)、企業級多媒體文件解析 (Document Intelligence)，以及要求超低延遲的 即時影音客服伴侶 的工業級端側首選。

資源：🌐 NVIDIA 官方模型資源

📝 深度技術解讀 (註：官方權重與論文連結依據 NVIDIA 最新發布頁面為準)

Nemotron 3 Super (2026-03)
- 特點：專為 Agentic AI 設計的旗艦模型，強大的邏輯規劃能力。👉 HuggingFace 權重下載。
Nemotron 3 Nano (端側輕量化) (2025-12)
- 特點：適合資源受限的邊緣設備 (Edge) 或本地端推論。👉 OpenRouter 免費測試。
深入解析 Nemotron 3 內部原理 (2025-12)
- 必讀原因：深度解析 Mamba-Transformer 混合架構，理解為何 Nemotron 能在長文本處理上達到極致的效率與準確度。

2. 本地微調與模型訓練 (Fine-tuning & Training)

沒有龐大的機房算力？教您如何在消費級顯示卡 (如 RTX 4090) 上，打造專屬的領域大模型。

使用 Unsloth 低成本微調 LLM 實戰 (2025-12)
- 解決痛點：算力不足。這篇教學展示了如何在本地端使用 Unsloth 工具快速微調模型，是開發者入門 SFT (監督微調) 的首選。
週末速成：用 NeMo 訓練具備「推理能力」的 LLM (2025-07)
- 解決痛點：模型缺乏邏輯。這篇經典文章提供了極佳的方法論，教導如何準備數據，讓模型學會「思考鏈 (Chain of Thought)」，其策略完全適用於最新的 Nemotron-3。

3. RAG 知識庫與文檔處理 (Document Processing)

如何讓 AI 讀懂企業內部複雜的 PDF、報表與圖表，轉化為即時的商業價值。

使用 Nemotron 為 RAG 建立文件處理流程 (2026-02)
- 實戰指南：企業導入 AI 最常見的需求。一步步教您如何使用最新模型，精準解析 PDF、表格與圖像資訊，解決傳統 RAG 系統「找不到資料」的問題。
AI 智能體如何將文件轉化為即時商業智能 (IDP) (2026-02)
- 架構規劃：適合架構師或專案經理閱讀。解析 Docusign 等企業如何運用 AI 處理文檔 (IDP)，為您撰寫提案提供強大案例支持。

4. 語音智能體與安全護欄 (Voice Agent & Guardrails)

打造能聽會說、且「不亂說話」的企業級 AI 助理。

如何使用 RAG 和安全護欄建立語音智能體 (2026-01)
- 整合應用：展示如何將 Nemotron 與語音辨識技術結合。更重要的是，引入了 Guardrails 機制，確保 AI 的回答符合企業規範，防止幻覺與不當言論。
開發專用 AI 智能體：視覺、RAG 與 Guardrail 綜合應用 (2025-10)
- 進階防護：雖然日期較早，但其探討的「安全護欄 (Guardrail)」與「視覺 (Vision)」整合概念，至今仍是企業 AI 系統防禦機制的必備參考。

Fine-tuning

🛠️ LLM 微調技術與實戰指南 (Fine-tuning & Distillation)

在企業應用場景中，開源大模型往往需要經過「微調 (Fine-tuning)」才能成為特定領域的專家。本區塊為開發者梳理了從顯存估算、底層理論、到零程式碼實作的完整「煉丹」路徑。

1. 課前必讀：硬體門檻與顯存估算 (VRAM)

微調模型最常遇到的痛點就是「Out of Memory (OOM)」。在開始訓練前，精準估算所需的顯示卡記憶體是成功的第一步。

大模型所需 GPU 記憶體筆記：快速了解參數規模 (7B, 72B) 對應的硬體需求。
不同微調方法下所需的顯存總結：比較全參數微調 (Full-tuning) 與 LoRA 等不同策略對顯存的實際消耗差異。

2. 理論心法：選擇正確的微調策略

了解底層邏輯，才能選對訓練工具。

主流微調技術全解：適合初學者的概念掃盲，涵蓋 SFT (監督微調)、LoRA、P-tuning v2 與 Freeze 等主流方法。
LoRA vs 完全微調差異解析：進階閱讀。透過 MIT 論文深入探討為何 LoRA 能在大幅降低算力成本的同時，保持極高的模型效能。
大模型微調全生命週期解析：從資料準備到模型評估的宏觀指南。
ProSafePrune [2026] 🔥 [解決過度拒絕] [參數層修剪] [零推論延遲]
- 核心優勢：根治大模型「過度拒絕」的 ICLR 2026 頂會神作，消除對齊稅且零推論延遲！ 研究揭露模型變得「過度謹慎」的病灶在於中間層的過度有害編碼。透過創新的 SVD 奇異值分解與重疊算子，ProSafePrune 能精準分離並「修剪 (Prune)」掉這些冗餘的低秩有害特徵。因為是直接修改模型權重，完全不需要在推論階段外掛任何干預向量，達成推論開銷為零，且通用任務效能（如 MMLU、GSM8K）不降反升。
- 解決痛點 / 推薦場景：完美解決了安全對齊（Alignment）後常見的「對齊稅」痛點——模型看到無害的敏感詞就無腦拒絕回答，嚴重影響使用者體驗。 實測在 LLaMA-2-7B 上，將偽有害指令的合規率從極低的 11.0% 暴增至 73.0%，同時仍能精準防禦真正的惡意攻擊。極度適合用於企業級大模型安全對齊、AI 客服機器人去閹割化，以及對推論速度要求極高的邊緣運算端側模型 (SLM) 最佳化。
- 資源：🐙 GitHub 官方開源 📄 ICLR 論文 (OpenReview)

3. 實戰路徑：DeepSeek-R1 與零程式碼微調教學

想把 DeepSeek-R1 訓練成專屬的領域專家，卻不會寫複雜的訓練代碼？以下是為開發者量身打造的「從零到一」 LLaMA Factory 實戰路徑：

資料集準備：如何建立高品質的微調資料集？ (垃圾進，垃圾出，這是最重要的一步)
參數設定與優化：微調參數設置與顯存最佳化技巧
訓練觀測與部署：如何觀測微調過程？模型如何合併與匯出部署？
領域專家實戰：完整案例：如何把 DeepSeek-R1 微調為領域專家從0到1微調安全大模型

4. 必備微調與蒸餾開源框架 (Frameworks)

依據您的算力資源與技術背景，挑選最適合的訓練武器：

LLaMA Factory (地表最強零代碼微調)

適用場景：企業快速導入、無深度 AI 背景的開發者。

特色亮點：提供直覺的 WebUI 介面，支援海量開源模型與多卡平行運算，輕鬆完成 LoRA、SFT 與 RLHF 微調。👉 中文文檔

👉 單卡訓練 Agent 實戰

Unsloth / Unsloth Studio (低算力救星)
- 適用場景：算力有限（如單張 RTX 4090）的本地端開發者。
- 特色亮點：極致優化的訓練速度與顯存佔用。提供開源 Web UI，在統一介面中完成訓練與模型匯出。👉 官方微調技巧
EasyDistill (模型落地與端側部署必備)
- 適用場景：需大幅降低雲端推論成本，或實現手機端 AI 部署的企業。
- 特色亮點：阿里開源的知識蒸餾管線。能將千億參數巨獸的能力，無損轉移到微型模型上，解決大模型「算力成本過高」的致命痛點。
Torchtune (PyTorch 官方原生架構)
- 適用場景：PyTorch 生態系重度使用者、底層研究人員。
- 特色亮點：程式碼極度乾淨、高度模組化，適合進行深度魔改與客製化訓練。👉 Llama3.1 知識蒸餾實戰

資料集準備 (Datasets)

Infinity-Doc2-5M (500萬頁多模態文件解析訓練底座) [持續更新] 🔥
- 核心優勢：打破視覺大模型微調的「資料荒」，高達 564GB 的中英雙語全場景文件解析彈藥庫！ 徹底超越單純的圖文配對，提供 ShareGPT 風格的指令微調 (SFT) 對話標註。其最大的亮點在於「區塊級 (Block-level) 語意解構」，單一資料集內即涵蓋了版面分析、表格轉 HTML、數學公式轉 LaTeX、圖表轉 Code 乃至化學式解析 (SMILES) 等 8 大核心任務軌道，開發者可依需求靈活抽樣。
- 解決痛點 / 推薦場景：完美解決了企業在自研或微調 VLM/MLLM 用於文檔理解時，面臨「缺乏高品質結構化標註、真實版式覆蓋率不足」的致命痛點。 無需再耗費鉅資建立人工標註團隊，極度適合企業算法團隊進行 Infinity-Parser2 等大模型的垂直領域續訓、RAG 私有知識庫高精度前處理管線優化，以及多模態文件問答 Agent 的底層智力訓練。
- 資源：🤗 HuggingFace 官方資料集 | 🐙 GitHub 相關專案 (INF-MLLM) | 🤖 Parser2-Pro 模型權重 [多模態資料集] [RAG前處理] [VLM微調必備] [版面分析]
Universal Data Tool (開源全模態 AI 數據標註神器) [持續更新] 🔥
- 核心優勢：打破商業標註平台高昂成本，一站式搞定圖、文、音、影全模態標註的開源協作神作！ 基於 MIT 協議完全免費。它內建 WebAssembly 加速的 AI 智能預標註與圖像分割引擎，不僅能讓人工標註效率暴增 5-10 倍，更針對 LLM 時代進行了深度優化，支援一鍵導出符合大語言模型微調規範的指令數據集與多模態資料集。
- 解決痛點 / 推薦場景：完美解決了企業在準備微調資料時「商業平台太貴、自研工具難以進行團隊協作與品管」的致命痛點。 提供極其靈活的部署方式（支援 Docker 一鍵私有化本地部署與網頁端免註冊即時協作），並內建自動化 AI 質量校驗機制。極度適合企業算法團隊快速量產微調語料、專業數據標註公司進行百人級別的任務分發與進度管控，以及學術科研單位零成本建構跨模態 AI 知識庫。
- 資源：🐙 GitHub 官方開源 | 🌐 官方網站與線上體驗 [全模態標註] [微調資料準備] [私有化部署] [AI智能預標註]
微調資料集實戰
- 資源：📝 資料集怎麼搞？ 📝 LLaMA Factory 資料集建立
Easy Dataset
- 說明：大模型微調資料集生產工具
- 資源：📝 知乎專欄
OpenDeepWiki
- 說明：根據現有檔案產生微調資料集
- 資源：📝 知乎專欄
COIG-CQIA
- 說明：零一萬物發布高品質中文指令微調數據
- 資源：📝 知乎專欄

AI-Agent

🧩 AI Agent 開源框架

概念說明請見：避開 AI 代理 (AI Agents) 與代理式人工智慧 (Agentic AI) 開發陷阱

🧠 核心概念與必讀文章：看懂 AI Agent 與 Agentic AI

在開發智能代理之前，理解底層邏輯與安全邊界至關重要。以下文獻涵蓋了從概念釐清、工作流設計到資安防護的必備知識：

Agentic AI 與 AI Agents 的概念差異解析
- 必讀原因：釐清業界最容易混淆的兩個名詞。探討「AI 代理 (AI Agents)」作為單一執行體，與「代理式人工智慧 (Agentic AI)」作為系統性架構的分類學、應用場景與未來挑戰。
Agentic AI 的資安威脅與緩解策略 (OWASP 官方指南)
- 必讀原因：AI 失控怎麼辦？國際資安權威 OWASP 針對代理式 AI 可能面臨的 Prompt Injection (提示詞注入) 與權限濫用，提供了系統性的防禦與緩解架構 (Mitigations)。
AI 搜尋引擎的致命傷：引用來源問題 (Citation Problem)
- 必讀原因：當 AI 代理負責搜尋與總結時，如何避免侵權與幻覺？本文評測了八大 AI 搜尋引擎，揭露其在新聞與來源引用上的缺陷，是開發檢索代理 (Search Agent) 的重要借鏡。

🔄 Agent 工作流 (Workflow) 入門指南

AI Agent 的強大不在於單打獨鬥，而在於流程設計。以下精選教學幫助您從零建構多智能體系統：

基礎掃盲：萬字長文綜觀 Agent 發展史 Agentic AI 的核心區別
實戰架構：從單一 Agent 到複雜 Workflow 的演進什麼是 Agentic 工作流程？

💼 領域專用 Agent 實戰案例 (Finance & Coding)

FinRobot (開源金融 AI 代理)
- 應用場景：專為金融分析打造的 Agent 框架，支援最新 Gemini 2.5 模型，能自動化執行財報分析、市場預測等量化任務。👉 AlphaXiv 論文解析
Jupyter-AI (程式碼編寫代理)
- 應用場景：將生成式 AI 原生接入 Jupyter Notebook，支援 Gemini 2.5，能理解您的數據上下文並自動生成、除錯 Python 程式碼，是數據科學家的最強副駕。

🧩 2026 必備 AI Agent 開源框架與開發工具 (依據應用場景分類)

在 Agentic AI 時代，選擇正確的框架能讓開發事半功倍。以下依據「應用場景」精選目前 GitHub 上最活躍、最具生產力的 AI Agent 開源專案：

1. 個人全自動化助理與通用 Agent (Personal & General Assistants)

OpenClaw (原 Moltbot/Clawdbot) [2026-01-20] 🔥 (2026現象級專案)
- 特色：你電腦上的全天候數位管家。可直接串接 Line、Telegram、WhatsApp 等通訊軟體，接收指令並實際操作你的電腦（如整理信箱、操作網頁）。
- 必讀資源：
Gemini CLI [2025-06-25]：將 Google Gemini 轉化為終端機 (Terminal) 開源代理，開發者日常指令輔助利器。
Agent Zero [2025-06-01]：主打全能 AI 代理，涵蓋 APP 生成、程式碼編寫與 RAG 應用。
Lemon AI [2025-05-28]：全球首款全端開源通用 AI Agent 框架。
smolagents (Hugging Face 出品) [2025-01-03]：主打「程式碼即工具」，只需極少 Python 程式碼就能將任何開源 LLM 轉化為智能體。

2. 複雜工作流與多智能體編排 (Workflow & Multi-Agent)

DeerFlow 2.0 (字節跳動) [2026-03-26]：從 Deep Research 升級的 Super Agent Harness，將 sub-agents、memory 和 sandbox 有機組織，能處理極度複雜任務。
Agno [2025-11]：專注於高效能的多智能體 (Multi-agent) 系統框架。
Microsoft Agent Framework [2025-08-29]：微軟官方開發套件，專為 .NET 和 Python 開發者設計的企業級工作流。
Agent-Squad (AWS Labs) [2025-05-18]：輕量級的開源多智能體框架。
FlowGram (字節跳動) [2025-05-10]：開源版的 Coze 核心視覺化工作流引擎。
Agent Development Kit (ADK) [2025-04-03]：Google 官方釋出的智能體開發工具包。

3. 深度研究與開源知識庫 (Deep Research & RAG)

AnySearch (AI Agent 專屬跨域搜尋基礎設施) [2026-05] 🔥
- 核心優勢：打破大模型「表層網路」的資訊盲區，專為 AI Agent 打造的真實世界搜尋基礎設施！ 徹底拋棄傳統面向人類的網頁搜尋引擎 (SERP)。AnySearch 透過統一的 API、MCP Server 或 Agent Skill 介面，讓 AI 能直接穿透「深網 (Deep Web)」。它內建強大的智慧意圖路由 (Intent Classifier)，精準跨域抓取 GitHub 生產級程式碼、即時金融數據、法院裁決書與威脅情報等異質資料；並透過 RRF 融合與多維品質重排序過濾雜訊，直接回傳高資訊密度的結構化 Markdown，實測可大幅省下 60~70% 的 Token 消耗。
- 解決痛點 / 推薦場景：完美解決了傳統 RAG 與 AI 搜尋「充斥 SEO 垃圾農場、無法穿透專業資料庫」，以及「多源 API 串接維護成本過高與 Token 嚴重浪費」的致命痛點。 具備零保留 (Zero Retention) 隱私保護架構，查詢即焚、不留痕跡。極度適合企業開發者與資安/金融分析團隊打造高可靠性的 Deep Research Agent (深度調研智能體)、跨域威脅情報 (IOC) 分析大腦，以及自動化競品與法務盡職調查副駕。
- 資源：🌐 官方網站 | 🐙 GitHub 官方組織
  [Agent基礎設施] [DeepResearch] [MCP原生支援] [穿透深網]
LLM Wiki (自主學習的個人知識庫) [持續更新] 🔥
- 核心優勢：將 Andrej Karpathy 的 AI 知識庫理念完美落地的神作！從被動 RAG 檢索進化為具備「深度研究 (Deep Research)」與「視覺化知識圖譜」的自主學習大腦。 徹底顛覆傳統 RAG 每次查詢都要重新檢索比對的低效模式。透過獨創的「兩步鏈式思考錄入（先分析後生成）」機制，大語言模型會先完整「吃透」您的文件，再自動提煉並建構出具備交叉引用的 Wiki 頁面與動態知識圖譜。內建 SHA256 增量快取與持久化佇列，確保海量文件處理不中斷，且檔案結構完全相容於 Obsidian。
- 解決痛點 / 推薦場景：完美解決了傳統 RAG 系統「跨文件推理能力極差」、「無法察覺知識盲區」的致命痛點。 最強大的殺手鐧在於其「知識缺口洞察」功能，能透過圖譜演算法找出孤立頁面，並自動觸發 Deep Research (深度研究) 機制，自主呼叫網路搜尋引擎 (如 Tavily API) 抓取資料來補全知識庫。極度適合研究人員、學術界與重度知識工作者用來打造專屬的第二大腦 (Second Brain)、企業級私有化本地知識庫，或是進行長篇文獻的深度整理與洞察。
- 資源：🐙 GitHub 官方開源 | 📦 軟體安裝包下載 (v0.3.13) [第二大腦] [Deep Research] [視覺化知識圖譜] [Obsidian相容]
Academic-Search (科研智能體專屬文獻檢索技能) [2026-05] 🔥
- 核心優勢：打破大模型學術檢索的資訊孤島，專為 AI Agent 打造的跨平台文獻調研「外掛技能 (Skill)」！ 由中科大 (USTC) 認知智能全國重點實驗室開源。它將文獻檢索從粗糙的「網頁爬蟲」升級為結構化的智慧工作流，一鍵整合 arXiv、Google Scholar、Semantic Scholar 等七大主流學術平台。內建「查詢自動擴展」與貼近人類閱讀節奏的「兩遍精讀策略」，能自動過濾冗餘並優先呈現 SOTA 論文，直接輸出完美適配 LLM 閱讀的 JSON/Markdown 格式（含 BibTeX 與開源程式碼連結）。
- 解決痛點 / 推薦場景：完美解決了傳統 RAG 系統在進行學術調研時，因檢索源單一、關鍵字過窄導致「文獻漏檢」，以及「大模型難以解析非結構化網頁」的致命痛點。 採用標準化封裝，原生支援無縫接入 AutoGPT、LangChain 等 Agentic AI 框架。極度適合學術機構與企業研發團隊打造全自動文獻綜述大腦 (Deep Research Agent)、前沿技術熱點追蹤系統，以及論文 Baseline 自動對比與彙整副駕。
- 資源：🐙 GitHub 官方開源 [科研 Agent] [DeepResearch] [跨平台檢索] [Agent Skill]
DeepXiv (科研 Agent 的文獻基建) [2026-05] 🔥
- 核心優勢：終結 AI 硬啃 PDF 的低效窘境，將 2 億篇科技文獻轉化為 Agent「隨插即用」的結構化數據基建！ 智源研究院 (BAAI) 領銜開源，徹底顛覆依賴 GUI 搜尋引擎與 PDF 爬蟲的傳統流程。首創「分層數據消費」機制，Agent 可透過 --brief (摘要速覽)、--head (章節概覽) 到 --section (章節精讀)，像人類學者一樣將運算資源 (Tokens) 集中在關鍵實驗數據上，並直接輸出原生 JSON 或 Markdown 格式。
- 解決痛點 / 推薦場景：完美解決了傳統 RAG 系統「強行塞入整份 PDF 導致上下文溢出、幻覺嚴重與算力浪費」的致命痛點。 內建專屬搜索引擎與深度調研 Agent，更原生支援 CLI、Python SDK 與 MCP 協議。極度適合學術機構與企業研發團隊打造全自動深度調研大腦 (Deep Research Agent)、Baseline 對比數據自動彙整副駕，以及前沿技術熱點追蹤流水線。
- 資源：🐙 GitHub 官方開源 | 📄 官方技術報告 | 🌐 API 開發文檔 [科研 Agent] [DeepResearch] [MCP支援] [文獻解析自動化]
Tongyi DeepResearch [2025-10-28]：阿里通義全面開源的深度研究框架，對標並試圖超越 OpenAI 閉源能力。
DeepAgent [2025-10-28]：業界首個全自主的深度推理智能體。
SurfSense [2025-05-11]：萬星開源王炸，能完美整合並檢索 Slack、Notion、Jira 等四散的企業知識庫。
MiroThinker [2025-08-29]：針對學術研究和趨勢預測進行最佳化的深度研究代理。
開源 Perplexity 替代方案 [2025-06-03]：包含 Gemini Fullstack LangGraph 與 Perplexica，適合自建 AI 搜尋引擎。
PandaWiki [2025-06-06]：新一代 AI 大模型驅動的開源知識庫系統。
AutoAgent [2025-04-03]：港大打造的強大 Deep Research 開源框架。
DeepSearcher [2025-03-20]：私有資料庫結合 DeepSeek 打造的本地研究智能體。

4. 電腦操作與軟體工程師 (Computer Use & Coding)

[google-colab-cli] [2026-06-05] 🔥

核心優勢：Google 官方重磅發布！將 Colab 雲端算力原生注入本地終端機與 AI Agent 核心工作流的破局神作！ 徹底擺脫瀏覽器 GUI 的笨重束縛，透過極簡的 CLI 命令，即可直接調度遠端 T4/L4/H100 GPU 與新一代 TPU 算力資源。其最驚豔的 Shebang 魔法寫法 (#!/usr/bin/env -S colab run --gpu L4)，能讓任何普通的本地 Python 腳本瞬間退化為「自帶 L4 GPU 的可執行檔」，實現本地撰寫、遠端核心（Kernel）狀態持久化執行的絲滑體驗。
解決痛點 / 推薦場景：完美解決了傳統網頁版 Colab「網頁重新整理狀態全毀」、「CI/CD 自動化難以非互動式租借 GPU」，以及「Claude Code/Gemini CLI 等終端 AI Agent 無法跨越 GUI 點擊連接 runtime」的致命痛點。內建背景 keep-alive 守護行程，且異常退出碼（Exit Code）與標準輸出（stdout）皆能完美對齊。是 Mac 本地缺乏獨顯的 ML 實驗工程師、需要自動化進行 QLoRA 微調的技術團隊，以及打造全自動化終端 Agentic 運作管線的工業級必備基建。(⚠️ 註：目前僅原生支援 Linux 與 macOS，不支援 Windows。)

資源：🐙 GitHub

Hugging Face ml-intern [2026-04] 🔥
- 核心優勢：重新定義「AI 幫我做研究」！能自主讀論文、找資料、寫腳本並提交 GPU 訓練的開源 ML 實習生。 建立在 smolagents 框架之上，它打破了傳統 AI 只能「寫程式碼」的局限。透過內建的三階段閉環迭代（Research -> Plan & Validate -> Implement），它能自主爬取 arXiv 論文、追溯引用圖譜、篩選或合成 Hugging Face 數據集，甚至在遇到 reward collapse 時自主排查問題並重新訓練，完成真正意義上的端對端機器學習研究工作流。
- 解決痛點 / 推薦場景：完美解決了 AI 研究員在進行模型微調或 RLHF 時，需要耗費數天在環境配置、數據清洗與反覆調整參數的「煉丹」苦工。 實測在 PostTrainBench 基準上，僅用 Qwen3-1.7B 模型就能在 10 小時內達成 32% 的驚人成績，甚至超越了 Claude Code。極度適合AI 實驗室/研究員進行模型後訓練探索，或開發者用來自動化合成邊緣案例資料集。支援 CLI 與具備視覺化進度的 Web UI 雙重部署。
- 資源：🐙 GitHub 官方源碼 | 🌐 線上立即體驗 (Spaces) | 📖 smolagents 底層文件 [自主ML代理] [自動化微調] [HuggingFace生態] [取代煉丹師]
Phi-Ground-Any-4B (微軟) [2025-07] 🔥
- 核心優勢：專為 AI Agent 打造的「精準點擊」視覺定位神作，徹底打通電腦控制的最後一哩路！ 微軟重磅釋出的 40 億參數輕量級 GUI Grounding 模型，採 MIT 完全開源。它打破了傳統視覺模型在螢幕截圖上容易「眼花」的缺陷，首創 Text-first 輸入架構（先給指令再看圖，帶著目標掃描），能將自然語言直接轉化為精確的螢幕像素座標。在難度極高的 ScreenSpot-Pro 基準測試中強勢刷新 10B 以下模型 SOTA，其底層核心技術更已被整合進 Windows Copilot 之中。
- 解決痛點 / 推薦場景：完美解決了傳統 AI Agent 能理解工作流，卻經常因為「點不準按鈕」而導致任務全面崩潰的致命痛點。 由於擁有極低的運算延遲與高達 1680×1008 的螢幕解析度支援，極度適合開發者用來打造高可靠性的電腦操作智能體 (Computer Use Agent)、自動化 RPA 軟體測試腳本，以及複雜網頁導航副駕 (Web Agent)，是讓矽基生命真正具備精確動手能力的工業級視覺感知模組。 [ComputerUse] [GUI定位] [Agent視覺核心] [微軟開源]
OpenCLI (網頁與私域數據 CLI 化神器) [持續更新] 🔥
- 核心優勢：終結 Agent 視覺解析的高昂成本，將全網與本地應用直接化為 AI 專屬的「命令行 API」神作！ 徹底顛覆傳統 Browser-use 依賴大模型「看截圖、猜座標」的笨重模式。OpenCLI 透過自動化適配器，將 Bilibili、小紅書等百大網站，甚至是微信 (WeChat)、Notion、Cursor 等本地 Electron 應用程式，直接封裝成標準、確定性的 CLI 指令。
- 解決痛點 / 推薦場景：完美解決了傳統 AI Agent 網頁自動化「Token 消耗極大、極易點錯」，以及「難以無縫提取私有通訊紀錄」的致命痛點。 由於操作指令直接在本地瀏覽器或系統環境執行，達成了驚人的「零 Token 消耗」與 100% 執行確定性。極度適合開發者用來打造極低成本的自動化 RPA 智能體、私域知識庫 (如微信對話/飛書) 的 RAG 語料抓取，或是作為取代純視覺 Web Agent 的高效底層控制中樞。
- 資源：🐙 GitHub 官方開源 [Agent自動化] [零Token消耗] [私域數據提取] [Web-to-CLI]
Awesome-Design-MD (AI 視覺設計說明書) [2026-03-31] 🔥
- 核心優勢：終結 AI 生成 UI「千篇一律」的痛點，用純文字 Markdown 讓 AI 秒懂大廠級設計規範的開源神作！ 徹底拋棄繁瑣的 Figma 匯出與複雜的 JSON 設定檔。基於 Google Stitch 提出的全新標準，只要將一個 DESIGN.md 檔案放入專案根目錄，AI 程式設計助手（如 Cursor、Claude Code、v0 等）就能直接讀取包含色彩、字體、元件樣式與陰影深度的完整設計系統，並輸出視覺高度統一的精緻前端程式碼。
- 解決痛點 / 推薦場景：完美解決了傳統 AI 寫扣時「懂語法卻不懂美學」、反覆微調前端樣式導致開發效率低下的致命痛點。 專案內建超過 60 款全球頂尖科技與消費品牌（如 Stripe、Linear、Vercel、Apple、Claude 等）的開箱即用設計規範。極度適合全端工程師、獨立開發者 (Indie Hacker) 與 新創團隊，在缺乏專業 UI/UX 設計師的場景下，利用 Agentic Workflow 零成本、極速打造具備商業級質感的現代化 Web 應用介面。
- 資源：🐙 GitHub 官方開源 | 📝 Tenten 深度解讀與實戰 [前端生成神器] [DESIGN.md] [Agent開發副駕] [UI設計自動化]
ai-website-cloner-template (AI 網頁逆向與生成神器) [持續更新] 🔥
- 核心優勢：徹底顛覆前端切版與逆向工程的繁瑣流程，一鍵將任何網站轉化為生產級 Next.js 程式碼！ 它不僅僅是暴力的 HTML 爬蟲，而是一個結合了 AI 代理（支援 Cursor、Claude Code、Windsurf 等十餘種工具）的全自動化前端產線。透過獨創的「五階段工作流」（偵察設計系統、初始化配置、撰寫元件規格、平行建置、組裝與視覺品檢），能精準還原目標網站的互動邏輯與響應式佈局，並輸出高品質的 TypeScript + Tailwind CSS 專案。
- 解決痛點 / 推薦場景：完美解決了開發者在看到精美網站想「致敬學習」、或是需要極速構建 MVP (最小可行性產品) 時，手刻前端介面極度耗時的痛點。 讓 AI 代理接管繁瑣的 CSS 數值計算與元件切割，開發者只需專注於後端架構與業務邏輯。極度適合全端工程師、獨立開發者 (Indie Hacker) 進行快速商業點子驗證 (Rapid Prototyping)，或是企業接案團隊打造自動化建站流水線。
- 資源：🐙 GitHub 官方開源 [網頁逆向工程] [Next.js實戰] [Agent前端副駕] [自動化建站]
Skyvern (視覺化網頁自動化 Agent) [持續更新] 🔥
- 核心優勢：顛覆傳統爬蟲與 RPA，用一句自然語言指令搞定全自動網頁操作的視覺智能體！ 徹底拋棄脆弱且易失效的 XPath、CSS 選擇器與 DOM 解析。Skyvern 結合了大語言模型與電腦視覺技術，直接「看懂」並理解網頁佈局，讓 AI 能像真人一樣進行邏輯推斷（如比對不同網站的同款商品）、填寫複雜表單、處理 2FA 雙重驗證，甚至編排多步驟的商業工作流。
- 解決痛點 / 推薦場景：完美解決了傳統網頁自動化腳本「網站一改版，程式碼就報廢」的致命痛點。 由於無需預先適配特定網站結構，極度適合企業與獨立開發者打造跨平台電商價格監控系統、自動化求職與表單填寫機器人，以及建構發票批次下載與報表整理的 RPA 助手。這款開箱即用的開源神器將大幅降低自動化系統的維護成本。
- 資源：🐙 GitHub 官方開源 | 🌐 官方網站 | 📊 WebBench 基準測試論文參考 [視覺Agent] [免寫選擇器] [RPA自動化] [網頁操作]
CLI-Anything (Agent 專屬軟體 CLI 生成器) [2026-05] 🔥
- 核心優勢：徹底終結 GUI 自動化的脆弱惡夢，一鍵將「任何」開源軟體轉化為 AI Agent 可直接驅動的穩定 CLI 工具！ 港大 HKUDS 團隊的革命性專案。透過 Claude Code 插件執行一條指令，即可全自動掃描 GIMP、Blender 或 LibreOffice 等龐大軟體的原始碼庫，並生成包含 REPL 互動模式、標準 JSON 輸出與 100% 測試覆蓋率的生產級命令列介面 (CLI)。它不是模擬滑鼠點擊，而是真實呼叫軟體底層 API。
- 解決痛點 / 推薦場景：完美解決了傳統電腦操作 Agent (如 RPA) 高度依賴截圖辨識，導致「按鈕位置一變就報廢」的致命痛點。 賦予 Agent 像資深工程師一樣精準、穩定控制專業軟體的能力。極度適合企業用來打造自動化影音/3D渲染流水線、文件批次處理 Agent，或是將現有開源專案無痛升級為「Agent-Native (智能體原生)」的基礎設施。
- 資源：🐙 GitHub 官方開源 [電腦操作] [Agent基礎設施] [GUI轉CLI] [零妥協自動化]

Vercel Agent Browser (AI 原生瀏覽器自動化引擎) [2026-05-18] 🔥

核心優勢：專為 AI Agent 量身打造的革命性瀏覽器自動化工具，上下文 Token 消耗暴力銳減 93%！ 傳統 Playwright 框架強制 AI 吞下數萬行的混亂 HTML DOM 樹，一次登入即燒掉 20,000 個 Token。Vercel Labs 另闢蹊徑，透過 Rust CLI 將網頁精簡重構為 AI 專用的「無障礙樹」，自動過濾裝飾性元素，並為每個可互動元件指派穩定的 Ref 編號（如 @e1, @e2）。AI 看到的不再是天書，而是極簡清單，實現「指哪打哪」的極致效能。
解決痛點 / 推薦場景：徹底終結傳統自動化腳本「因前端改版、CSS 選擇器變動而集體報廢」的易碎惡夢，並斬斷高昂的 Token 呼叫成本。 只要網頁互動結構不變，Ref 編號便具備極強的抗改版魯棒性。原生適配 Claude Code 與 Cursor 等 AI 編程代理，是打造工業級智慧網頁爬蟲、自動化資料採集智能體，以及免程式碼快速原型驗證（MVP）的 AI-First 首選基礎設施。

資源：🐙 GitHub 官方開源

🌐 專案主頁 (註：官方源碼與技術說明依據 Vercel Labs 最新發布頁面為準)

OpenHarness (港大 HKUDS) [2026-04] 🔥
- 核心優勢：將 Agent 從「黑盒」變「白盒」的極致輕量框架。僅用 1.1 萬行 Python 程式碼，就完美復刻了 Anthropic 官方 Claude Code（高達 51 萬行 TypeScript）的核心架構。內建引擎循環、MCP 協議支援、多代理協作與三級權限沙箱，並完全相容 Claude 官方的 Skills 與 Plugins 生態。
- 解決痛點 / 推薦場景：完美解決了商業 Agent 框架過於臃腫、開發者難以窺探底層邏輯與二次開發的痛點。無論你是想從零拆解學習 Agent 的運作機制，還是需要一個能直接在終端機 (CLI) 執行檔案讀寫、Bash 腳本、Git 操作與 PR 審查的專屬 AI 開發副駕，這都是目前最具啟發性的開源平替神作。
- 資源：🐙 GitHub
- ⚠️ 關鍵警告 (PR 156, 159 中修復)：[CVE-2026-6819] 遠端插件管理漏洞 (CVSS: 8.8 High)、[CVE-2026-40515] 權限繞過漏洞 (CVSS: 8.7 High)、[CVE-2026-6729] 對話劫持漏洞 (CVSS: 9.x Critical)
  [ClaudeCode平替] [白盒框架] [開發者副駕] [極易擴展]
OpAgent [2026-02-20] 🔥
- 核心優勢：視覺驅動的 Web 智能體霸主，WebArena 成功率 71.6% 榮登榜首。 由螞蟻集團研發，打破傳統對 HTML 代碼的過度依賴，改採網頁截圖直接進行空間佈局理解。結合線上強化學習（Online RL）與「規劃、執行、反思、總結」四位一體的協作架構，賦予 AI 像真人一樣在複雜網頁中試錯與導航的能力。
- 解決痛點 / 推薦場景：完美解決了傳統網頁腳本因 UI 改版就失效、以及無法處理跨頁面複雜邏輯的問題。 無需預設腳本，僅憑一條指令即可在亞馬遜（Amazon）等真實電商平台自主完成搜尋、識別與加購操作，是建構自動化電商助理與 RPA 流程的頂級引擎。
- 資源：🐙 GitHub 🤗 HuggingFace 📄 Technical Report 🌐 線上 Demo
Gemini Computer Use [2025-10]：Google 預覽版框架，讓 AI 直接操作網頁介面。
WebDancer [2025-05-30]：Alibaba 開源的 WebAgent，專精於網頁資料的自主瀏覽與操作。
OpenHands (Devin 平替) [2025-05-25]：具備完整沙盒執行環境，能自主寫 Code、修 Bug。
Deepsite [2025-04-03]：基於 DeepSeek 的網頁開發智能體。
DeepGemini [2025-03-30]：被譽為 AI 界搭積木神器。
autoMate [2025-03-11]：基於 OmniParser 的 AI 自動化 GUI 助手。
OmniParser [2024-10-26]：微軟開源的核心技術，將純視覺輸入轉化為可操作的 UI 元素。

5. Manus 開源平替專區 (Manus Alternatives)

Manus 在 2025 年掀起了全自動代理狂潮，以下為開源社群的最強復刻版本：

AI Manus [2025-05-07]
suna [2025-04-24]：高關注度的輕量級復刻版。
釦子空間 (Coze Space) [2025-04-22]：字節跳動推出的類 Manus 解決方案。
AgenticSeek [2025-03-24]：主打「完全本地化部署」的 Manus 替代品。
OpenManus [2025-03-10]：最知名、基礎的開源版。

6. 特定場景應用 (Domain-Specific Automation)

Claude for Legal (Anthropic) [2026] 🔥
- 核心優勢：Anthropic 官方開源的法律業專屬 Agent 智慧體全家桶，無縫接入 20+ 專業系統的自動化法務大腦！ 採用高度模組化的設計，將法律實務精準拆解為 12 個垂直領域與 70+ 個專業 Agent（定時任務與技能）。最大亮點是內建強大的 MCP (Model Context Protocol) 連接器，能直接打通 iManage、Ironclad、DocuSign 等法務標準資料庫。開發者無需撰寫複雜程式碼，僅透過編輯 Markdown 與 JSON (CLAUDE.md) 即可零門檻定製團隊專屬的法務 Playbook。
- 解決痛點 / 推薦場景：完美解決了傳統法務工作「繁瑣合約比對耗時」、「法規追蹤易漏」與「跨系統資料孤島」的三大致命痛點。 系統能自動執行 NDA 風險分級、供應商合約紅線標註 (Redline) 以及 GDPR 隱私合規 (DSAR) 的標準回應。極度適合大型律師事務所、跨國企業法務部門建構專屬的 AI 法律工作流 (Workflow)，讓律師從重複性的審閱泥淖中徹底解放，專注於高階決策。
- 資源：🐙 GitHub 官方源碼 [法務Agent] [MCP生態系] [工作流自動化] [Anthropic官方]
Remotion Skills (AI 代碼驅動影片框架) [持續更新] 🔥
- 核心優勢：顛覆「黑盒文生影片」，用 AI 寫 React 程式碼來「精確渲染」影片的工程化革命！ 建立在知名的 React 影片框架 Remotion 之上，將影片視為「隨時間變化的 UI」。它內建專為大模型設計的動畫模式庫與 MCP 協議，讓 AI 代理能直接聽懂自然語言指令（如：做一個 30 秒科技風產品介紹），並自動輸出 100% 確定性、可編輯、支援版本控制的 TypeScript/React 影片代碼。
- 解決痛點 / 推薦場景：完美解決了主流生成式 AI 影片無法精確控制排版、無法修改錯字，以及傳統圖形化剪輯軟體無法自動化批量生產的痛點。 告別手動拖曳時間軸，極度適合企業開發者打造自動化 RPA 影片生產工廠 (如每日新聞摘要、電商財報可視化)、社群媒體短影音批量生成，是將影片製作從「手工藝」升級為「軟體工程」的開源首選。
- 資源：🐙 Remotion 主專案 | 🐙 Remotion Skills (AI技能包) [程式碼生影片] [Agent原生支援] [零誤差渲染] [自動化剪輯工廠]
OpenMontage (代理式 AI 影片全自動生產系統) [持續更新] 🔥
- 核心優勢：號稱全球首款開源的「代理式影片製作系統 (Agentic Video Production)」，將影片剪輯從「手工藝」徹底升級為「軟體工程」！ 顛覆傳統 AI 生成影片需反覆人工微調的碎裂流程。它放棄了死板的 Python 狀態機，首創「Agent-First」架構，利用 YAML 定義管線與 Markdown 撰寫高達 500+ 個智能體操作技能 (Skills)。開發者只需在 Claude Code 或 Cursor 中輸入一句自然語言指令，系統便能自主完成調研、寫稿、呼叫生成 API (如 Kling/FLUX)、配樂及字幕合成。
- 解決痛點 / 推薦場景：完美解決了傳統 AI 影片製作中「工具過於碎片化」以及「缺乏敘事邏輯與時間軸管理」的致命痛點。 內建 12 條實戰級生產流水線（涵蓋動畫解說、虛擬主播、播客轉影片、多語言本地化等），且具備斷點續傳 (Checkpoint) 與審批閘門機制。極度適合自媒體與內容創作者以極低成本（實測 60 秒高畫質短片僅需 $1.33）打造全自動化短影音工廠，也是企業與研發團隊研究複雜 Agent 工作流編排的頂級開源教材。
- 資源：🐙 GitHub 官方開源 | 🌐 官方網站與 DEMO | 📝 AISignal 深度架構分析 [Agentic Video] [自動化剪輯工廠] [Markdown技能驅動] [全自動生產線]
HyperFrames (HeyGen 代碼驅動影片渲染框架) [2026-05] 🔥
- 核心優勢：顛覆「提示詞生影片」的盲盒模式，讓 AI Agent 透過編寫 HTML/CSS 來「精準剪輯」影片的工業級神作！ 由全球知名 AI 視覺公司 HeyGen 開源。它徹底拋棄了傳統的圖形化剪輯軟體，底層結合 Node.js、Puppeteer 與 FFmpeg，實現了「Write HTML, Render Video」的新範式。最驚豔的是，它原生內建了專為 Claude、Cursor 等 AI 代理設計的技能包，讓 AI 能直接理解並輸出結構化代碼，達成 100% 確定性、零誤差的影片渲染。
- 解決痛點 / 推薦場景：完美解決了傳統生成式 AI 影片「難以精確控制轉場與排版」、「無法保證每次輸出一致」以及「難以大規模批量自動化生產」的致命痛點。 支援 WebGL Shader 轉場特效、導入 CSV 數據自動生成動態圖表，甚至能輸入 URL 將整個網頁轉化為影片演示。極度適合自媒體團隊打造自動化短影音流水線工廠 (RPA)、企業批量生產數據可視化報表影片，以及開發者建構端到端的全自動影片製作智能體 (Video Agent)。
- 資源：🐙 GitHub 官方開源 | 📝 官方介紹與實作案例 [代碼驅動影片] [Agent原生支援] [自動化剪輯工廠] [HeyGen開源]
Paper2Poster [2025-06-02]：學術利器，自動為 PDF 論文產生精美的發表海報。
MoneyPrinterTurbo [2025-02-28]：自媒體神器，AI 自動生成高清短影音工作流。

Tools

🛠️ 開發工具 (Tools & Protocols)

🔍 RAG 檢索增強生成：從入門到次世代架構 (Retrieval-Augmented Generation)

傳統的 RAG (文本切塊 + 向量檢索) 已無法滿足企業對複雜排版、長文本與精準推理的需求。以下精選 2025-2026 年最具突破性的 RAG 開源框架，依據「技術流派與解決痛點」為您分類：

1. 顛覆傳統：無切塊與 Agentic RAG 架構

放棄傳統向量資料庫，運用 AI 推理能力進行導航，解決長文檔檢索破碎的問題。

PageIndex [2026-03-01] 授權：MIT

技術突破：UCL 團隊開發的 Agentic RAG 革命性開源專案。完全拋棄「向量庫」與「文本切片 (Chunking)」，改用大模型進行推理導航。

解決痛點：在超長文檔檢索中達到 98% 的驚人準確率，徹底重塑 RAG 的底層邏輯。🌐 線上體驗

📝 公眾號教學

📝 深度解讀

[DCI-Agent-Lite (Direct Corpus Interaction)] [2026-05] 🔥
- 核心優勢：拋棄 Embedding 與向量庫，讓 Agent 直接用 Bash 指令「裸搜」語料的 RAG 顛覆神作！ 這篇頂會級別的研究首創 DCI (Direct Corpus Interaction) 範式。它完全省去了傳統 RAG 耗時的文本切片、向量化與 Top-k 固定過濾流程，直接賦予 AI Agent 使用 grep、find 等終端機指令的能力，讓 AI 能像真人工程師一樣與原始文件進行高解析度的自由互動與多步查證。
- 解決痛點 / 推薦場景：完美解決了傳統向量 RAG 「先壓縮再檢索」導致關鍵細節流失、無法處理精確字彙比對與複雜多跳推理 (Multi-hop Reasoning) 的致命痛點。 實測在 BrowseComp-Plus 基準上準確率暴漲 11%，且 API 呼叫成本反降 30%。極度適合企業打造無索引即時檢索 (Zero-index retrieval)、動態程式碼庫/Log 檔分析與高價值的 Agentic Search (代理式檢索) 深度研究大腦。
- 資源：🐙 GitHub 官方開源 | 📄 arXiv 論文 (2605.05242) | 🤗 Hugging Face 討論區 [無索引檢索] [終端互動] [RAG顛覆者] [高解析度介面]
LinearRAG [2025-11-20]
- 技術突破：全新的高效 RAG 框架，主打「無需進行複雜的關係抽取 (Relation Extraction)」，大幅降低構建知識庫的算力與時間成本。📝 知乎解讀

RAG 的成敗取決於資料輸入的品質。這些工具專精於處理複雜表格、圖片與數學公式。

OpenDataLoader [2026-03-20]
- 核心優勢：在極度困難的「表格擷取」任務中拿下 0.93 的超高準確率。主打「不追求極限速度，但精準度無可挑剔」的穩健策略，是企業處理 PDF 財報與數據報表的神兵利器。📝 公眾號解讀

RAG-Anything [2025-07-02]

核心優勢：港大 HKUDS 團隊打造的「全能多模態 RAG 系統」。能一鍵自動解析 PDF、Word、PPT 中的文字、圖片、複雜表格與公式，並無縫映射到知識圖譜 (KG) 中。極度適合金融財報、醫療病歷或科研文獻的深度推理。📄 論文

📝 36Kr 解讀

📝 Milvus 實戰解析

3. 圖譜增強與全局語意 (Graph-RAG)

解決傳統 RAG「只見樹木，不見森林」的問題，強化實體之間的邏輯關聯。

FlowRAG [2026-06] 🔥
- 核心優勢：打破傳統 GraphRAG「實體稀疏」與「噪聲擴散」的致命缺陷，首創四層異構圖與頻率感知加權流的 RAG 新範式！ FlowRAG 放棄了單純的相似度比對，轉而建構「段落 ↔ 摘要 ↔ 句子 ↔ 實體」的四層緊密架構。透過「雙粒度實體激活」（摘要層處理抽象轉述、句子層精確命中）加上「頻率感知加權流」主動剪除低置信度的錯誤關聯。將無序的文本塊升級為一條條「可追蹤的顯式邏輯骨架」，在多跳推理基準 (如 HotpotQA, 2Wiki) 準確率強勢碾壓 LightRAG 與 HippoRAG。
- 解決痛點 / 推薦場景：完美解決傳統 RAG 面對「抽象提問」時找不到檢索入口，以及「複雜多跳推理」時中間證據鏈斷裂、被錯誤資訊帶偏導致嚴重幻覺的痛點。 更驚人的是，其輕量化的抽取式建圖讓索引時間比 LightRAG 狂飆快 14 倍，LLM Token 消耗驟降近 47 倍！極度適合打造企業級高精度多跳問答知識庫、醫療/法律等垂直領域的嚴謹邏輯推理系統，以及需要強可解釋性證據鏈的高階 AI Agent。
Hyper-Extract (開源強類型全場景知識圖譜提取框架) [2026-05-17] 🔥
- 核心優勢：打破「先壓縮再過濾」的黑盒限制，首創「八大強類型結構」與「知識增量演進」的 Graph-RAG 前處理終極神作！ 採用 Pydantic 與強類型驗證機制，能一鍵將雜亂的非結構化文件（如財報、法務合約、醫療病歷）轉化為可序列化、持久化的知識摘要。除了傳統的二元關係圖譜 (AutoGraph) 外，更原生支援多方複雜關係的超圖 (AutoHypergraph)、以及融合時間與地理空間維度的時空圖 (AutoSpatioTemporalGraph)，並內建 GraphRAG、LightRAG 等十餘種開源提取引擎。其最強大的設計在於「知識的增量演進」，允許持續餵入新文件並於原有圖譜上智慧擴展更新，無需每次從頭跑完訓練流程。
- 解決痛點 / 推薦場景：完美解決了傳統 Graph-RAG 在建置知識圖譜時「實體關係容易斷裂、座標漂移」以及「新文件移入必須全量重練導致算力爆表」的致命痛點。 框架內建 80+ 款開箱即用的領域模板（涵蓋金融、法律、醫學等），提供極簡的 CLI 與 Python SDK 雙模式驅動。極度適合企業建構私有化高價值知識管理大腦、算法團隊準備指令微調數據集，以及需要細粒度證據追蹤與時空線索拼接的深度產業研究與智慧體搜尋 (Agentic Search) 場景。
- 資源：🐙 GitHub 官方儲存庫 | 📄 arXiv 技術報告 | 📝 模板設計與決策樹指南 [Graph-RAG] [知識圖譜自動生成] [超圖與時空圖] [零代碼YAML驅動]

LightRAG [2024-12-19]

核心優勢：港大 HKUDS 團隊打造的結合圖結構 (Graph) 與雙層檢索機制，精準提取文件中的實體關聯。極度適合用於建構企業級法律合規知識庫、醫療問答系統等需要「高度準確性」與「防幻覺 (Anti-Hallucination)」的嚴苛場景。📄 EMNLP2025 論文

📝 技術框架解讀

4. 實戰與競賽冠軍方案 (Battle-Tested Solutions)

KohakuRAG [2026-03-14] 授權：Apache-2.0
- 核心優勢：經過頂級賽事淬鍊的實戰架構！這是 Kaggle RAG 競賽 (WattBot 2025) 的冠軍開源方案，適合想要直接抄作業、部署高效能 RAG 的開發者。📝 公眾號教學

🔌 MCP 協議生態與實戰工具 (Model Context Protocol)

MCP (Model Context Protocol) 是賦予大語言模型「使用外部工具」與「讀取本地端資料」的關鍵標準協議。以下精選 2025 下半年最具代表性的 MCP 伺服器建置框架與應用模組，幫助開發者快速打通 AI 與外部系統的任督二脈：

1. 基礎設施與伺服器快速建置 (Infrastructure & Server Setup)

解決傳統手動編寫 MCP 伺服器耗時、繁瑣的痛點，實現快速封裝與部署。

FastAPI-MCP [2025-08-20]
- 核心優勢：將傳統 API 一鍵轉化為 AI 可讀工具！能將現有的 FastAPI 介面無縫、低成本地升級為標準的 MCP 工具服務，極大幅度降低後端開發門檻。📝 公眾號教學
automcp [2025-04-15]
- 核心優勢：主打「秒級設定」的 MCP 伺服器建構工具，讓開發者跳過繁雜的底層通訊協定配置，直接專注於業務邏輯的開發。📝 公眾號介紹

2. 自動化測試與網頁操控 (Automation & Web Control)

賦予大模型「眼睛」與「雙手」，讓 AI 能夠直接與動態網頁互動。

playwright-mcp [2025-03-14]
- 核心優勢：微軟開源的 AI 網頁自動化神器！結合強大且穩定的 Playwright 引擎，讓你的 AI Agent 透過 MCP 具備模擬人類點擊、滾動瀏覽器，以及抓取動態網頁資料的能力。📝 知乎解讀

3. 開發者工具與程式碼理解 (Developer Tools & Codebase)

讓 AI 成為你的最強 Code Reviewer，直接對接龐大的專案架構。

GitMCP [2025-04-05]
- 核心優勢：讓 AI 秒懂 GitHub 龐大專案的利器。不用再辛苦地複製貼上程式碼，透過 GitMCP，AI 能直接存取、檢索並理解整個 Git 儲存庫的架構與歷史紀錄。📝 53AI 報導

將大模型的強大能力，無縫接入日常使用的通訊軟體中。

line-bot-mcp-server [2025-04-10]
- 核心優勢：LINE 官方專案。將 LINE 官方帳號 (LINE Bot) 直接接入 MCP 生態系，讓開發者能輕鬆打造出可以靈活調用外部工具的「超級 LINE 機器人」。

🖱️ 深度聚焦：Browser-use 生態系與實戰路徑 (Browser Automation & Manus Alternatives)

從 2025 到 2026 年，AI Agent 正式從「純文本對話」進化為「代替人類操作電腦 (Actionable AI)」。以下精選目前最強大的開源瀏覽器自動化與 RPA (機器人流程自動化) 框架，它們是商用工具（如 Manus）的最佳免費平替方案：

框架/工具名稱	開發團隊/生態	💡 解決什麼痛點？ (核心優勢)	🚀 推薦適用場景 & 規格標籤
OpenClaw	🌐 開源社群	跑在本地的 AI 助手。強調在地端環境運行，保障隱私與資料安全。	本地端資料處理、隱私優先企業 `[本地部署]` `[隱私安全]`
Browser-use	🌐 國際開源社群	讓 AI 像人一樣上網。支援錄製工作流，一次錄製永久自動操作網頁。	網頁自動化測試、動態網頁爬蟲 `[瀏覽器自動化]` `[可錄製]`
Gemini Computer Use	🇺🇸 Google	直接操控作業系統。Google 官方推出的代理工具，讓 AI 能直接理解並操作你的電腦介面。	跨 APP 自動化操作、系統級 RPA `[Google生態]` `[系統控制]`
OmniParser	🇺🇸 Microsoft	精準解析 UI 元素。微軟開源的強大視覺智能體，能看懂手機與電腦畫面的按鈕與架構。	UI 自動化測試、多模態輸入 `[微軟開源]` `[UI解析]`
OpenManus / suna	🇨🇳/🌐 開源社群	Manus 的開源平替。解決商用 Agent 昂貴的問題，提供高度相似的任務執行能力。	個人開發者、快速概念驗證 `[Manus平替]` `[低成本]`

🔍 深度聚焦：Browser-use 生態系與實戰路徑

在上述框架中，Browser-use 因其極高的開源活躍度，已發展出完整的工具鏈。如果您想讓 AI 幫您自動訂票、抓取動態網頁資料或執行重複性任務，請參考以下學習路徑：

核心底層與原理解析
- Browser-use 官方 GitHub：專案核心庫。
- 原理解析：讓 AI 像人類一樣使用瀏覽器 [2025-01-23]：初學者必讀！深入了解其底層邏輯與 DOM 樹解析技術。
零程式碼 / 視覺化操作 (WebUI)
- 痛點：不想寫複雜的 Python 腳本來啟動 Agent？
- browser-use-webui 部署教學 [2025-02-16]：手把手教你在本地端架設視覺化操作介面。
- 官方 Web-UI 專案 [2025-04-16更新]：提供友善的圖形化介面，點擊即可指派網頁任務。👉 DeepWiki 實操指南
進階自動化：錄製與重複執行 (Workflow)
- 痛點：每次都要重新下 Prompt 指令太麻煩？
- workflow-use (工作流錄製神器) [2025-06-04]：Browser-use 生態系的殺手級應用。主打「一次錄製，永久自動操作」，能將 AI 的執行路徑打包成標準化腳本，是企業打造自動化 RPA 的終極武器。
nanobrowser [2025-04-11]：AI 驅動的瀏覽器自動化神器，透過輕量化架構實現網頁操作自動化。📝 公眾號推薦

🕵️‍♂️ 深度研究 (Deep Research) 與多智能體工作流

面對海量文獻與複雜專案，傳統的單一 AI 已經不夠用。以下精選 2025-2026 年最強大的深度研究與多智能體編排框架，幫助企業與學術界打造自動化的「研究大腦」：

框架/工具名稱	開發團隊/生態	💡 解決什麼痛點？ (核心優勢)	🚀 推薦適用場景 & 規格標籤
Tongyi DeepResearch	🇨🇳 阿里巴巴	開源版深度研究霸主。通義團隊全面開源，標榜其長文本檢索與邏輯梳理效能超越 OpenAI 的閉源研究框架。	學術文獻統整、深度產業報告生成 `[大廠開源]` `[深度研究]`
Agno	🌐 開源社群	高效能 Multi-agent 協作。專注於多個 AI 智能體之間的底層協作、任務分發與記憶體共享。	複雜專案拆解、軟體開發協作 `[多智能體]` `[高效能]`
FlowGram	🇨🇳 字節跳動	Coze 核心引擎開源。提供強大且直覺的視覺化工作流引擎，適合構建具備複雜條件分支的邏輯鏈。	企業級 AI 服務編排、Chatbot 後台 `[工作流引擎]` `[可視化]`
AutoAgent	🇭🇰 香港大學	學術界最強大腦。由港大團隊打造的開源 Deep Research 工具，具備深厚的學術底蘊與嚴謹的文獻引用機制。	大學研究室、論文自動化分析 `[學術開源]` `[文獻分析]`

📊 AI 簡報生成神器 (AI PPT & Slides Automation)

傳統的 PPT 製作耗時且高度依賴排版技巧。隨著生成式 AI 的進步，AI 簡報工具已從初期的「生硬套用模板」，進化到「無模板自由生成」與「像素級逆向還原」。以下為目前 GitHub 上最受關注的開源解決方案：

1. 學術前沿與無模板自由生成 (Advanced & Template-Free)

解決傳統 AI 簡報工具「排版死板、只能套模板」的致命痛點，真正實現高度自由的內容渲染。

PPTAgent V2 [2026-03-03] 🔥

核心優勢：中科院團隊重磅升級！徹底打破傳統套模板的限制，實現無模板自由生成。內建的 DeepPresenter 模組刷新了產業榜單，支援渲染後即時糾錯與修改程式碼，是將長篇論文轉化為高品質 PPT 的學術級首選。📝 公眾號推薦

📝 知乎原理解讀

PaperBanana [2026-02-24]：基於「參考驅動 + 多智能體合作」的 AI 簡報生成器。它不直接生圖，而是先理解、規劃、美化，最後迭代優化出高品質 PPT。📄 論文
Edit-Banana [2026-02-23]
- 核心優勢：北理工與亞利桑那大學聯手打造。具備極強的「像素級逆向還原能力」，不盲目生圖，而是理解、規劃再優化，成功打通 AIGC 繪圖與簡報排版落地的最後一哩路。

2. 快速生成與本地部署方案 (Local Deployment & Quick Gen)

適合企業內部使用，解決雲端生成可能帶來的商業機密外洩風險，或追求極致的生成速度。

presenton [2025-07-26]
- 核心優勢：主打本地部署的開源神器！確保資料絕對不外流的前提下，只需輸入文本即可一鍵生成精美 PPT，企業內網平替首選。📝 公眾號推薦

LangChat Slides [2026-01-04]

核心優勢：提供流暢的生成式 AI 互動體驗與現代化介面。🌐 線上 DEMO

📝 掘金深度解讀

banana-slides [2025-12-13]
- 核心優勢：基於 nanobananapro🍌 的原生應用。專注於打造具備高設計張力的「Vibe PPT」，極度適合行銷提案或創意展示。📝 公眾號推薦

3. 多智能體協同架構 (Multi-Agent Workflows)

MultiAgentPPT [2025-07-03]
- 核心優勢：引入多智能體並發處理機制。透過讓不同的 Agent 分工處理「大綱規劃」、「資料檢索」與「視覺排版」，大幅提升複雜簡報的生成速度與邏輯嚴密性。📝 知乎原理解讀

🌍 知識管理革命：NotebookLM 開源平替生態

Google 的 NotebookLM 改變了我們與長篇文獻互動的方式，但「資料上雲」的資安疑慮也讓許多企業卻步。以下精選 GitHub 上最受矚目的 NotebookLM 開源替代方案，讓您在保障資料隱私的前提下，打造專屬的第二大腦：

📊 核心解決方案比較表

📂 專案下載與部署資源

notebooklm-py [2026-01-20]：將 NotebookLM 完整接入命令列環境，讓 AI 知識處理邁入自動化新紀元。📝 公眾號推薦
Notex [2026-01-04]：一個輕量、開箱即用的 NotebookLM 替代方案實作。🌐 線上 DEMO 📝 公眾號推薦
PageLM [2025-12-12]：把學習材料丟進去，互動式學習內容就出來。📝 知乎解讀 📝 公眾號解讀
Open NoteBook [2025-12-06]：一個開源的、注重隱私的 Google NotebookLM 替代方案。📝 公眾號解讀
Auto-Slides [2025-12-06]：不只是幫你寫，還能幫你講。它讓論文第一次有機會「開口說話」，生成具備沈浸感的有聲討論。📝 知乎解讀

🧹 資料前處理與 AI 爬蟲神器 (Data Parsing & Web Scraping)

「垃圾進，垃圾出 (Garbage In, Garbage Out)」。 在建構 RAG 或微調模型之前，如何將混亂的網頁與 PDF 轉換為 AI 讀得懂的乾淨格式，是決定系統成敗的關鍵。

1. 網頁爬蟲與資訊擷取 (Web Scraping)

Crawl4AI [2025-11-26]
- 核心優勢：對 LLM 最友善的網頁爬蟲工具。能一鍵將網頁內容轉化為乾淨、適合大模型處理的 Markdown 格式，是構建 RAG 與智能代理資料管道的必備神器。📝 公眾號解讀
ScrapeGraphAI [2025-04-16]
- 核心優勢：顛覆傳統爬蟲痛點！透過 LLM 解析網頁結構，只需輸入自然語言指令，就能自動適應網站改版，精準抓取資料。適合用於電商價格監控或收集產業新聞。📝 公眾號推薦
EasySpider [2025-07-30]：無程式碼的可視化網頁爬蟲工具，透過簡單的圖形化介面即可完成複雜抓取。
LangExtract [2025-07-30]：Google 開源，由 Gemini 驅動的高效資訊擷取庫。

2. 文檔解析與 OCR (Document Parsing & OCR)

Logics-Parsing-Omni (阿里通義) [2026-03-12] 🔥
- 核心優勢：阿里最新釋出的「全模態 (Omni)」終極解析框架！打破傳統 OCR 的極限，採用單一模型端對端 (End-to-End) 架構，能將極度複雜的排版、數學公式、甚至是化學結構式 (SMILES)，精準轉化為帶有邏輯標籤的乾淨 HTML。
- 解決痛點：解決傳統 RAG 系統前處理需要串接多個模型的「碎片化」痛點。主打「證據錨定 (Evidence anchoring)」，確保解析出來的結構化知識 100% 溯源，是目前企業對付複雜 STEM (理工科) 文件的最強清洗機。
Agentic-Doc [2025-06-10]
- 核心優勢：吳恩達帶領的 LandingAI 團隊開源，主打「百頁文檔秒變結構化資料」，解決企業 PDF 財報難以解析的問題。📝 知乎解讀
markitdown [2024-12-15]：微軟官方開源的轉換神器，能將各種檔案格式（PDF, Word, Excel）轉化為乾淨的 Markdown。
docext [2025-06-28]：基於阿里 Qwen2.5VL 視覺大模型的文檔解析工具，專治排版混亂的複雜圖表。
DocAligner [2025-01-13]：實體文件數位化救星！專精於拍照文件的逆向還原（校正變形、版面精準定位）。
pdf-craft [2025-03-26]：PDF 秒轉 Markdown/EPUB 的輕量化實用工具。
OCRmyPDF [2025-03-25]：為掃描版 PDF 加上可搜尋的文字層，老牌且強大的 OCR 解決方案。

3. 開發者與個人資訊自動化 (Personal Automation & Dev Tools)

解救你的知識焦慮！這些工具能幫你將四散的資訊聚合，並透過 LLM 轉化為個人生產力。

OneFileLLM [2025-04-16]
- 使用情境：要餵給 AI 的資料太零碎？這款工具能一鍵將多個網頁、GitHub 程式碼與 PDF 論文，全部聚合壓縮到剪貼簿，方便你直接貼給 Claude 或 ChatGPT。
daily-arXiv-ai-enhanced [2025-06-06]：研究員必備。每日自動爬取最新 arXiv 論文，並呼叫 LLM 產生中文摘要推送。
Follow [2025-05-16]：次世代資訊聚合神器，重塑 RSS 閱讀體驗。📝 知乎推薦
news-agents [2025-05-20]：自動化新聞摘要與分析智能體。
DeepMCPAgent [2025-09-11]：教你如何透過 MCP 協議，讓大模型「自己學會找工具」。📝 公眾號解讀
sqlchat [2025-04-06]：讓資料庫管理像聊天一樣簡單，透過自然語言直接下達 SQL 查詢指令。
PySpur [2025-02-25]：拖曳式的視覺化開發介面，輕鬆編排你的專屬 AI 工作流 (Workflow)。
PaperCoder (Paper2Code) [2025-04-28]：黑科技！嘗試直接從學術論文中，自動提取並生成對應的原始碼。
AingDesk [2025-05-22]：主打「零門檻」的本地 AI 模型部署介面。

4. 視覺化畫布與 AI 創作引擎 (Visual Canvas & Creation)

打破傳統 ChatGPT「單線對話框 (Chat UI)」的限制，提供全局鳥瞰的空間思維，適合複雜企劃與長篇寫作。

Refly (畫布式 AI 創作引擎) [持續更新]
- 核心優勢：一款極具創新力的「無限畫布式 (Canvas)」開源 AI 原生創作引擎。內建整合 13+ 主流大語言模型，提供類似 Miro 結合 Notion AI 的白板工作流。
- 解決痛點：解決使用 AI 進行深度寫作或腦力激盪時「上下文容易丟失、邏輯難以串聯」的痛點。開發者與創作者可以在畫布上自由展開節點、對比多個模型的生成結果，是個人與團隊進行複雜 AI 內容協作的完美開源平替方案。📖 官方中文文檔

World Models

🌍 World Models (世界模型)

如果說傳統 LLM 是「文字接龍」，那世界模型 (World Models) 就是讓 AI 具備「物理法則與常識預測能力」。透過預測環境的下一步變化，這是通往通用人工智慧 (AGI) 與具身智能 (Embodied AI) 的關鍵拼圖。

[WorldScape 0.2] [2026-03] 🔥 [具身世界模型] [MoE 架構] [物理可信]
- 核心優勢：打破物理與視覺的次元壁，參數僅競品 10% 卻稱霸全球的世界模型霸主！ 由 Manifold AI (流形空間) 研發，採用突破性的多專家協同 (MoE) 架構。它將幾何拓撲、語意理解與物理規律在統一的隱式元空間中完美對齊，不僅在 3D/4D 視覺生成上保持極高的一致性，更在 WorldArena 與 WorldScore 兩大權威具身智能 (Embodied AI) 基準評測中，強勢擊敗國際巨頭穩居雙榜全球第一。
- 解決痛點 / 推薦場景：徹底終結傳統影片生成模型常見的「空間扭曲」、「穿模」與「無視重力」等不符物理常識的致命缺陷。 憑藉極高的空間智能密度與極速的即時推理能力，它是打造具身智能機器人動作規劃器 (Action Planning)、自動駕駛虛擬模擬環境，以及需要將高階物理 AI 落地至邊緣運算設備 (Edge AI) 的頂級世界大腦。
- 資源：📊 WorldArena 基準榜單 📄 WorldArena 論文 📊 WorldScore 基準榜單
Code World Model (Meta Yann LeCun 團隊) [2025-09-25]
- 核心優勢：AI 教父 Yann LeCun 領軍發布的 320 億參數開源世界模型。有別於生成式 AI，它採用 JEPA (聯合嵌入預測架構)，專注於理解系統的內部邏輯與預測代碼執行的結果，是 AI Agent 進行複雜規劃 (Planning) 的終極大腦。📝 新浪深度報導

MoE

🧠 MoE (Mixture of Experts 混合專家模型)

MoE 架構是目前突破大模型「算力牆」的唯一解方。它的核心概念是「術業有專攻」：模型可能擁有千億參數，但每次回答問題時，只會啟動（激活）最相關的幾個「專家神經網路」，從而在極低的推論成本下，展現出超越稠密模型 (Dense Model) 的極致效能。

📊 頂級開源 MoE 模型比較表

📂 核心模型下載與架構解析

DeepSeek-V3 (震撼全球的開源 MoE) [2024-12-26 更新補充] 🔥
- 必讀原因：徹底改寫開源模型格局的巨獸！總參數高達 671B，但每次推論僅需激活 37B 參數。首創的多頭潛在注意力機制 (MLA) 與負載均衡策略，讓它在程式碼生成與數學邏輯上穩居開源第一。📝 架構深度解析 (註：可補上您部落格或知乎的相關文章)

DeepSeek-VL2 (VLM 邁入 MoE 時代) [2024-12-13]

核心優勢：傳統視覺大模型 (VLM) 運算極度吃力，VL2 成功將混合專家架構引入視覺領域，大幅提升了圖片與文件的解析效率。📝 機器之心解讀

📝 公眾號解析

Hy3-preview [2026-04-23] 🔥 [快慢思考融合] [Agent實用霸主] [超長上下文256K]
- 核心優勢：騰訊混元重建後的首款開源巨獸！總參數 295B (激活 21B) 完美融合快慢思考的 MoE 模型。 徹底拋棄「為刷榜而生」的盲點，主打真實業務場景的「全面實用性」。在複雜邏輯推理（如清華數學博資考）與程式碼生成上表現驚人。其原生支援快思考（直接響應）與慢思考（深度推論）動態切換，首 token 延遲大幅降低 54%，整體推理效率更提升了 40%。
- 解決痛點 / 推薦場景：完美解決了傳統大模型在執行「超長複雜工作流」時容易斷片、忘記指令的致命痛點。 實測可穩定支援高達 495 步的 Agent 自動化腳本（如文件處理、工具鏈編排）。官方提供極其完善的 vLLM / SGLang 部署腳本與 LLaMA-Factory 微調指南，是企業打造高併發複雜智能體 (Agentic AI)、超長文本檢索 (RAG) 以及程式碼開發副駕 (Code Copilot) 的工業級基礎模型首選。
- 資源：🐙 GitHub 官方開源 🤖 ModelScope 模型下載

Hunyuan-Large (騰訊混元最大 MoE) [2024-11-06]

核心優勢：在中文互聯網資料的理解上具備極大優勢，且針對 RAG 檢索任務進行了深度最佳化。🤗 線上 DEMO

🤗 模型下載

📝 機器之心報導

SLM

📱 SLM (Small Language Models 小型語言模型)

🧠 次世代 LLM：小型語言模型，邊緣運算首選：Small Language Models (SLM)

隨著端側算力提升，2025 年的 AI 戰場已從雲端燒向邊緣設備。小型語言模型 (SLM) 通常指參數在 8B 以下的模型，主打「低功耗、保護隱私、無網連線」。以下是專為手機與物聯網 (IoT) 設計的開源王者：

📊 端側 SLM 快速比較表

📂 核心模型下載與資源

[ELF (Embedded Language Flows)] [2026-05] 🔥 [擴散語言模型] [何愷明團隊] [非自迴歸]
- 核心優勢：打破 GPT 自迴歸霸權的連續擴散語言模型神作，僅 105M 參數達成驚人生成品質！ 由何愷明團隊重磅推出，徹底捨棄傳統 Next-token prediction 路線，首創將文字 Token 映射為連續 Embedding 並採用 Flow Matching 技術進行去噪。它完美融合了圖像生成領域的 CFG (Classifier-Free Guidance) 技術，在僅需 45B 訓練 Token 與 32 步極速採樣的條件下，生成困惑度壓低至 24，效能強勢輾壓傳統離散擴散模型。
- 解決痛點 / 推薦場景：完美解決了傳統大模型「逐字生成延遲高」與「極度依賴海量訓練資料 (通常需 500B+)」的致命痛點。 透過「連續到底、最後一步離散化」的極簡架構，大幅降低了訓練算力與推論開銷。極度適合部署於資源受限的邊緣運算設備 (Edge AI)，並在機器翻譯與文本摘要等條件生成 (Conditional Generation) 任務中，作為低算力、高效能的次世代微型語言模型 (SLM) 首選。
- 資源：🐙 GitHub 📄 論文
Phi-4 [2024-12-13]：微軟 Phi-4 正式發表，以小博大效能驚人。📝 公眾號解析
SmolLM2 [2024-11-04]：Hugging Face 官方推出的手機執行小型語言模型。📝 iThome 報導
Llama 3.2 (1B/3B) [2024-09-25]：Meta 震撼開源的端側邊緣運算 (Edge AI) 專屬模型。

🤔 Reasoning Models (深度推理模型)

自從 OpenAI 的 o 系列問世後，「Chain of Thought (思考鏈)」與「強化學習 (RL)」成為激發大模型數理運算與邏輯推理的標準配備。以下精選具備頂尖思考能力的開源推理模型：

📊 邏輯推理模型快速比較表

📂 核心模型下載與原理解析

gpt-oss (120B) [2025-08-05]：OpenAI 重新開源的歷史性時刻，具備 o4-mini 水平的推理能力。📝 官方 Blog 📝 機器之心解讀

Llama 3.3 Nemotron Super 49B v1.5 [2025-07-29]：NVIDIA 開源，主打三倍吞吐量且單卡可跑的企業級推理模型。📝 知乎解讀
OpenReasoning-Nemotron 1.5B [2025-07-27]：NVIDIA 打造的數學核武，以 1.5B 極小參數秒殺 o3 部分數理指標。📝 公眾號解讀
Llama-Nemotron [2025-05-06]：NVIDIA 高效推理系列基礎模型。📄 論文解析 📝 知乎解讀
Video-R1 [2025-04-16]：Reinforcing Video Reasoning in MLLMs，開啟多模態影片推理新紀元。📄 論文解析 | 📝 36Kr 報導

LLM

🏛️ Large Language Models (大型語言模型)

🌟 2026 主流大語言模型 (LLM) 推薦與比較指南

編者按： 隨著 AI 技術迭代，目前市場已明確分為「頂尖閉源商業模型」、「國際開源標竿」以及「專精中文語境的生態系」。以下整理了較具代表性的大語言模型，並解析其適用場景。

📊 主流模型快速比較表

模型系列	開源狀態	開發機構	核心優勢與亮點	最佳適用場景
Gemini 3.1	閉源 (API)	Google	原生多模態、超長上下文處理	企業級複雜數據分析、跨模態整合
Claude Opus 4.1	閉源 (API)	Anthropic	業界頂尖的邏輯推理與極少幻覺	進階代碼生成、深度學術論文分析
Llama 3.2	開源模型	Meta	支援視覺能力，涵蓋 90B/11B 規模	本地端多模態應用、邊緣運算 (Edge)
Ai2 Tülu 3	真・開源	Allen AI	連同「後訓練 (Post-training)」過程全公開	深度 AI 訓練研究、微調 (Fine-tuning) 實驗
Qwen (通義千問)	開源為主	阿里雲	開源界最強中文能力，提供全場景尺寸	中文 RAG 知識庫、端側部署、語音交互
文心一言	閉源 (API)	百度	中文互聯網資料庫龐大，外掛生態完整	針對中國市場的企業級應用
混元 (Hunyuan)	閉源 (API)	騰訊	與騰訊雲、社群平台深度整合	微信小程式開發、多模態內容生成

🏢 頂級閉源商業模型 (Closed-Source LLM)

適合追求極致性能、需要強大邏輯推理與穩定 API 服務的企業級開發者。

Gemini 3.1 (Google) * 發布時間：2026-02-19
- 技術亮點：Google 世代的最強模型，具備原生的圖、文、音、影多模態理解能力，並支援極長的上下文窗口。
- 資源：🌐 Gemini API 官方文件
Claude Opus 4.1 (Anthropic)
- 發布時間：2025-08-05
- 技術亮點：在程式碼編寫與深度邏輯分析上常被評為最強王者，以其安全性和極低的幻覺率著稱。
- 資源：📝 機器之心解析

🌍 國際開源標竿模型 (Open-Source LLM)

適合需要將資料留在本地端（Data Privacy）、或者需要自行微調模型以符合特定業務邏輯的技術團隊。

Llama 3.2 90B/11B (Meta)
- 發布時間：2024-09-25
- 技術亮點：Meta 首次在開源主線模型中加入強大的視覺能力 (Vision)，並針對邊緣設備 (Edge/Mobile) 進行了輕量化優化。
- 資源：📝 Meta 官方 Blog
Ai2 Tülu 3 (Allen AI)
- 發布時間：2024-11-23
- 技術亮點：被譽為「真・開源模型」。不僅開源權重，更史無前例地公開了完整的「後訓練」配方與數據，對 AI 研究社群貢獻巨大。
- 資源：🐙 GitHub 源碼 🌐 Playground 測試 🤗 HuggingFace 模型

🐉 中文生態系主流模型 (Chinese LLM Ecosystem)

針對繁體/簡體中文語境優化，理解中文成語、文化背景與特定領域知識的表現遠超多數西方開源模型。

通義千問 Qwen (阿里雲) —— 開發者首選的中文開源全家桶

技術亮點：目前開源界中文能力最強的模型系列。從單張顯卡就能跑的 7B 模型，到超越 GPT-4 基準的 72B 巨獸，甚至包含可以直接聽懂人話的語音多模態版本。

資源連結：

🌐 官方網站體驗

Qwen3.6-Plus [2026-04-02] 🔥

核心優勢：定義「代理式編碼 (Agentic Coding)」新高度，支援百萬級超長上下文。 阿里雲 2026 年旗艦力作，在 SWE-bench 與 Claw-Eval 等權威評測中展現出接近 Claude 的編碼實力，原生多模態推理讓 AI 能真正理解複雜的開發環境。
解決痛點 / 推薦場景：解決了傳統 AI 難以處理「倉庫級」複雜專案與自動化 Debug 的痛點。 實現了「一句話驅動寫代碼」的氛圍編碼，能自主在虛擬環境中拆解任務、測試並修改至完成，是企業打造「AI 程式設計代理」的理想核心。

資源：🌐 阿里雲百煉控制台

📝 技術深度解析：Qwen3.6 代理能力評測

🚀 立即體驗

🤗 Qwen3.5-Omni (輸入支持圖、影片、文字。輸出支援音訊、文字)

Qwen發表Qwen3.5-Omni，支援最長10小時語音輸入

🤗 Qwen-72B (企業級推理下載)
🐙 Qwen-7B (本地部署首選)

延伸閱讀：開源語音大語言模型 Qwen-Audio 原理最小 18 億參數模型端側實戰

文心一言 Wenxin (百度)
- 技術亮點：依託百度龐大的中文搜尋數據庫，對中國在地化的知識庫理解極深。
- 資源：🌐 文心一言官網
混元 Hunyuan (騰訊)
- 技術亮點：主打多模態生成與企業級整合，適合需要與騰訊生態系（如微信小程式）對接的開發者。
- 資源：🌐 騰訊雲混元

Embedding

🔎 Embedding & Reranker (向量嵌入與重排序模型)

在構建 RAG 系統時，如果檢索到的參考資料不準，再強的 LLM 也會產生幻覺 (Hallucination)。目前業界的黃金標準是採用「雙層檢索架構」：先用 Embedding 模型進行海量初篩，再用 Reranker 模型進行精準的二次排序。以下精選目前最具代表性的表徵模型：

1. 網頁級巨量檢索與搜尋引擎架構 (Web-Scale Retrieval)

想要打造媲美 AI 搜尋引擎的檢索準確度？直接使用目前地表最強搜尋引擎團隊的底層技術。

[Jina Embeddings V5 Omni] [2026-05] 🔥
- 核心優勢：打破模態孤島的全模態向量化霸主，真正實現圖、文、音、影「大一統」且完全相容舊有文字索引！ 創新採用凍結文字主幹、僅訓練 0.35% 輕量跨模態投影層的黑科技。它不僅單一模型就能原生支援四種模態的混合編碼（如：一句話+一張圖生成單一向量），更做到與前代 v5-text 逐位一致 (bit-identical)，讓老用戶升級時完全免重建龐大的向量資料庫。
- 解決痛點 / 推薦場景：完美解決傳統多模態 RAG 系統必須同時維護 CLIP (處理圖片) 與 Text Embedding 兩套獨立編碼器及向量空間的致命痛點，大幅降低硬體與維運成本。 內建 4 種任務 LoRA 適配器（檢索、分類、聚類、匹配），並支援 MRL (Matryoshka) 動態降維技術，允許開發者實作「低維粗篩 → 高維精排」的極致省流管線。是打造企業級全模態 RAG 知識庫、電商跨模態搜圖/搜片系統，以及支援高併發 vLLM 部署的工業級大腦。
- 資源：🐙 HuggingFace 模型權重 | 📄 arXiv 官方論文 [全模態向量化] [免重建索引] [Matryoshka降維] [vLLM原生支援]
pplx-embed-v1 系列 (Perplexity 出品) [2026-02-28]
- 核心優勢：Perplexity AI 官方釋出的尖端文本嵌入模型。包含 pplx-embed-v1 與 pplx-embed-context-v1。
- 解決痛點：專為「真實世界、充滿雜訊的 Web 級別檢索任務」所最佳化。如果您需要處理極度龐大、非結構化的網路抓取資料，這是目前最推薦的 RAG 檢索底座。🤗 HuggingFace 權重

2. 中文生態系與私有化開源首選 (Chinese & Open Source)

針對繁簡中文語意理解優化，適合需要將資料留在本地端（Data Privacy）的企業內部知識庫。

Qwen3 Embedding & Reranker (阿里通義) [2025-06-05]

核心優勢：阿里雲開源的新一代文本表徵與排序模型「黃金組合」。

解決痛點：一次開源了 Embedding 與 Reranker，讓開發者可以直接在本地端部署完整的雙層檢索管線。其中文語意檢索的準確率大幅領先同級別的西方模型。🤗 Embedding 下載

🤗 Reranker 下載

3. 企業雲端全託管服務 (Enterprise Cloud API)

適合已經建立在三大公有雲生態系，追求穩定性、免維護基礎設施的企業開發者。

Gemini Embedding (Google Cloud) [2025-07-14]
- 核心優勢：整合於 Google Vertex AI 平台。
- 解決痛點：提供極高併發與穩定的 API 呼叫，無縫銜接 Google Cloud 的 Vector Search (向量搜尋) 服務，適合大型企業建構雲端原生的 RAG 應用。

Speech

🔊 Speech-to-Speech LLM (端對端語音大模型)

2026 年是「全雙工 (Full-Duplex)」語音交互的元年。新一代的 Speech-to-Speech (S2S) 模型徹底淘汰了傳統 ASR-LLM-TTS 的高延遲串聯架構，實現了「可隨時打斷、具備情緒感知、超低延遲」的真人級對話體驗。以下依據開發框架與底層模型進行深度分類：

1. 語音智能體開發框架與中介層 (Voice Agent Frameworks)

解決傳統 WebRTC 串接困難、音訊流處理複雜的痛點，幫助開發者快速搭建即時語音應用。

TEN Agent [持續更新]

核心優勢：王炸級開源端對端多模態智能體框架！極度適合用來打造低延遲的語音通話 AI，底層優化極佳。📝 公眾號解析

📝 開發者入坑記

📖 搭建教學

pipecat [持續更新]
- 核心優勢：開源的即時語音/視訊 AI 框架。完美支援 ChatGPT 即時語音 API (Realtime API) 與各大開源模型，是建構 AI 客服與虛擬陪伴的底層神器。📝 機器之心解讀 (2025-01-10)
HuggingFace Speech-to-Speech
- 核心優勢：HuggingFace 官方推出的開源 S2S 實作管線，提供標準化的語音模型對接範例。

2. NVIDIA 企業級語音與全雙工模型 (Enterprise Voice AI)

針對企業級高併發推論與精準語意理解，NVIDIA 生態系提供了強大的底層支援。

PersonaPlex-7B-V1 [2026-01-15]

核心優勢：NVIDIA 開源重塑實時語音交互的「全雙工」黑科技！具備極強的抗干擾能力與人類情緒模擬，完美解決語音 AI 常見的「搶話」問題。👉 本站深度技術分析

🤗 HuggingFace

📄 官方論文

Audio Flamingo Next (AF-Next) [2026-04-13] 🔥
- 核心優勢：NVIDIA 次世代全開源語音大模型，首創「時間錨定推理鏈 (Temporal Audio CoT)」。 採用 Qwen-2.5-7B 為語言骨幹，透過百萬小時網際網路規模數據訓練。其最大創舉是捨棄傳統 RoPE，改用 RoTE (旋轉時間嵌入) 來直接建模音訊時間語意，將上下文一舉擴展至 128K。在長音訊理解與多模態推理指標上，強勢擊敗 Gemini-2.5-Pro 與 Phi-4-mm。
- 解決痛點 / 推薦場景：徹底終結傳統模型「無法跨時間段聚合證據」與「長音訊泛化力差」的痛點。 官方貼心釋出三大特化變體：Instruct (適合通用對話 QA)、Think (適合高難度音訊邏輯推理，能精準給出推理時間戳) 以及 Captioner (適合精細字幕與長摘要)。是企業建構 Podcast 深度分析系統、智慧會議大腦、與複雜音樂/聲學事件理解 Agent 的最強開源底座。
- 資源：🐙 GitHub 📄 論文 🌐 專案主頁 🤗 HF 權重 (Instruct版)
- Audio Flamingo 3 [2025-07-21]
  - 核心優勢：NVIDIA 開源的強大多模態音訊模型，不僅能聽懂人話，還能進行複雜的音頻事件理解與推理。

3. 端對端開源語音基礎模型 (End-to-End S2S Models)

FlashLabs-Chroma 4B [2026-01-24]：新一代輕量級 Speech-to-Speech (S2S) 開源模型。
Fun-Audio-Chat-8B [2025-12-24]：阿里 FunAudioLLM 團隊推出的強效對話語音模型。
LongCat-Flash-Omni [2025-11-03]：美團技術團隊釋出，宣告開啟全模態即時互動時代的里程碑之作。📝 知乎解讀
Xiaomi-MiMo-Audio [2025-09-19]：小米開源的首個原生端對端語音大模型，專為硬體與 IoT 設備深度優化。📝 知乎解讀
Voila [2025-05-08]：主打 195ms 超低延遲，引領全雙工對話流暢度極限的開源實作。📝 知乎解讀

Vision

👁️ 👁️ Vision-Language Model (視覺多模態大模型)

視覺大模型 (VLM) 正在從龐大的雲端叢林，逐步走向邊緣運算 (Edge AI) 與行動裝置。

Seed1.5-VL (ByteDance) [2025-05-20]

解決痛點：具有視覺增強多模態能力的高階語言模型。在處理複雜圖表、多圖對比等高難度視覺推理任務上表現優異。📄 AlphaXiv 論文

📝 知乎解讀

nanoVLM (HuggingFace) [2025-05-12]
- 解決痛點：解決 VLM 難以在端側部署的痛點。專為邊緣運算與 IoT 裝置設計的微型視覺模型，具備極低的運算資源門檻。

Multimodal

🌌 多模態大模型與語音硬體終端 (Multimodal & Edge AI)

2025 至 2026 年，大語言模型正式長出「眼睛」與「嘴巴」。本區塊不僅收錄了能看懂複雜圖表的多模態基礎模型 (Vision-Language Models)，更為創客與物聯網 (IoT) 開發者整理了最齊全的語音硬體開源解決方案。> 隨著模型能力的進化，單一模態（純文字、純視覺）已無法滿足複雜的應用場景。新一代的基礎大模型原生支援視覺、語音與工具呼叫，是開發自動化 AI Agent 的核心大腦。

1. 頂尖多模態與視覺推理 (Vision & Complex Parsing)

需要讓 AI 看懂工程圖紙、財報表格或進行深度邏輯推理？這些是目前的開源王者：

Qwen3.5-Omni [2026-04] 🔥
- 核心優勢：首款實現「視聽直覺編程」的原生全模態統一體。採用 Hybrid Attention MoE 架構，支援 256k 超長上下文，能一次吞下 10 小時音訊或 400 秒影片。
- 解決痛點 / 推薦場景：打破了傳統 Agent 「只能看文字」或「音畫不同步」的限制。模型能邊看影片邊聽需求，直接寫出對應的自動化程式碼，是開發工業級多模態自主代理程式的首選。
- 資源：🐙 ModelScope 📄 論文 📝 官方解讀

InternVL (OpenGVLab) [2026 最新持續更新]

核心優勢：不斷刷新開源多模態大模型效能新紀錄的霸主！在視覺辨識精準度與圖文交錯理解上，是許多企業構建自研多模態應用的底座首選。📄 論文解析

📝 知乎深度解讀

Vision-R1 [2025-03-14]
- 核心優勢：將類似 DeepSeek-R1 的強大「思考鏈 (Chain of Thought)」推理能力引入視覺領域，真正激發多模態大模型的邏輯推理極限。📝 原理解讀
Dolphin (ByteDance) [2025-05-24]
- 核心優勢：字節跳動開源的複雜文件解析模型。專門對付排版混亂的 PDF、掃描檔與學術論文，是構建多模態 RAG 系統的絕佳前處理工具。📄 論文
HumanOmni (阿里通義) [2025-02-28]
- 核心優勢：業界首個「第一視角 (Egocentric)」大模型！專為穿戴式設備（如 AI 眼鏡）與機器人視覺設計，能理解人類第一視角的操作意圖。📝 公眾號解讀

2. 輕量化巨獸與端側部署 (SLM & Edge-side LLM)

記憶體有限，但又需要強大效能？這些模型能在消費級顯卡、甚至手機上流暢運行。

Mistral Small 3.1 [2025-03-18]
- 核心優勢：歐洲 AI 巨頭的逆襲！具備 128K 超長上下文，在 24B 的輕量級體積下，各項基準測試效能直接碾壓 GPT-4o Mini，是性價比極高的商用 API 替代品。
Phi-4 Family (Microsoft) [2025-02-27 更新]
- 核心優勢：「小身材大智慧」的代名詞。最新的 Phi-4 Multimodal 版本以僅 56 億的參數規模，在多項任務中展現越級打怪的實力，是微軟在端側 AI 佈局的核心武器。📝 效能評測
MiniCPM 家族 (面壁智能) [2025-01-16 更新]
- 核心優勢：端側開源模型的驕傲！最新發布的 MiniCPM-o 2.6 與 3.0 版本，不僅支援 Ollama 一鍵部署，更是少數能真正在手機端流暢運行並具備優秀視覺能力 (MiniCPM-V) 的模型。📝 魔改教學

3. 全球化與泛用生態 (Global & Versatile)

Gemma 4 [2026-04-02]🔥
- 說明：Google DeepMind 重磅發布，號稱目前「每單位參數智力最高」的開源模型家族！這次一口氣推出 E2B、E4B、26B MoE 與 31B Dense 四種規格。其中 31B 版本在 Arena AI 文字排行榜殺入開源前三，甚至「越級打怪」擊敗了參數量大它 20 倍的對手，性價比（CP 值）突破天際。
- 核心優勢：
  1. 為 Agent 工作流而生：不再只是純聊天機器人！它原生支援 Function Calling（工具呼叫）、結構化 JSON 輸出與系統指令，讓開發者能輕鬆打造自主呼叫 API 的 AI Agent。
  2. 全能多模態輸入：直接吃下影像、影片甚至「語音」輸入。具備高達 256K 的超大上下文窗口，並涵蓋全球 140+ 種語言。
- 資源：🤗 HuggingFace Collections
T5Gemma 2 (Google) [2025-12-20]：Google 開源的重磅模型，首創「140種語言 + 多模態 + 超長上下文」三位一體，是開發跨國多語系應用的殺手鐧。
Gemma 3n Preview [2025-05-21]：Google DeepMind 的次世代輕量模型預覽版。

🎙️ 語音助手與 IoT 開源硬體生態 (Voice AI & ESP32)

不想只在螢幕上打字？以下開源專案教你如何用最低廉的成本（如 ESP32 開發板），親手打造出媲美《鋼鐵人》J.A.R.V.I.S 的實體 AI 語音伴侶。

🌟 爆紅創客專案：小智 AI (Xiaozhi ESP32) 生態系

在中文開源硬體圈掀起狂潮的 AI 陪伴機器人解決方案，涵蓋從硬體燒錄到伺服器架設的全套開源工具：

硬體與韌體核心：xiaozhi-esp32 (基於 ESP32 的終端代碼) 🛒 官方硬體購買指南
後端伺服器建置：xiaozhi-esp32-server (快速架設設備控制後台，確保語音資料私有化)
無硬體體驗版：py-xiaozhi (手邊沒開發板？用 Python 直接在電腦上體驗小智功能)
多平台控制端：Web 用戶端 Android 用戶端
📖 必讀手冊：小智 AI 聊天機器人百科全書

🛠️ 通用開源語音作業系統與框架

適合進階開發者，用來打造車載語音、智慧家庭中樞的底層架構：

ESP-AI：專為 ESP 系列晶片打造的 AI 語音互動框架，文件齊全且高度模組化。
OpenVoiceOS (OVOS)：致力於隱私優先的開源語音作業系統，Mycroft AI 的精神繼承者。
fast-voice-assistant：主打極致回應速度的語音助理開發框架。
gptspeaker：將 GPT 能力快速封裝進智能音箱的實作專案。