Deep Learning 101, Taiwan’s pioneering and highest deep learning meetup, launched on 2016/11/11 @ 83F, Taipei 101

AI是一條孤獨且充滿惶恐及未知的旅程，花俏絢麗的收費課程或活動絕非通往成功的捷徑。
衷心感謝當時來自不同單位的AI同好參與者實名分享的寶貴經驗；如欲移除資訊還請告知。
由 TonTon Huang Ph.D. 發起，及其當時任職公司(台灣雪豹科技)無償贊助場地及茶水點心。

去 YouTube 訂閱 | Facebook | 回 GitHub Pages | 到 GitHub 點星 | 網站 | 到 Hugging Face Space 按愛心

白話文手把手帶你科普 GenAI

淺顯介紹生成式人工智慧核心概念，強調硬體資源和數據的重要性。

作者：TonTon Huang Ph.D.
日期：2024年10月10日
原文網址：https://blog.twman.org/2024/08/LLM.html

🌟 生成式人工智慧（GenAI）是什麼？

生成式人工智慧是指能夠根據輸入資料自動產生內容的人工智慧技術，例如：文字、圖像、語音或程式碼等。本文將帶你快速理解 GenAI 的核心技術、應用與挑戰。

💸 訓練 GenAI 的硬體成本有多高？

以 Llama 3.1 405 模型為例：

• 訓練耗時：54 天
• 使用硬體：16,384 張 Nvidia H100 80GB GPU
• GPU 成本（每小時每卡）：$3
• 其他硬體成本（CPU、記憶體、磁碟、網路等）：$5/小時
• 預估總硬體成本：約 1 億美金

這顯示出 硬體與資源 是 GenAI 發展的重要門檻。

🧠 核心技術概念介紹

🔡 大型語言模型（LLM）

“If you are a student interested in building the next generation of AI systems, don’t work on LLMs.”
— Yann LeCun

LLM 是 GenAI 的基礎，能理解與生成自然語言。

📌 延伸資源：

• LLM 中文資源整理 - Awesome List

✍️ 提示詞設計（Prompt）

• 是輸入給 LLM 的文字指令或上下文。
• 用來引導模型產生特定輸出。
• 良好的 prompt 設計可以大幅提升輸出品質與準確性。

🔍 檢索增強生成（RAG）

• 將資料檢索與文本生成結合的技術。
• 允許模型存取原本訓練資料中沒有的知識。
• 適用於：需要即時資訊或私有/垂直資料的場景。

比較： | 技術 | 優點 | 限制 | |——|——|——| | RAG | 實時性強，可接收外部知識 | 運算架構較複雜 | | 微調 | 表現佳，定制化強 | 不擅應對動態或即時資訊 |

🔧 微調（Fine-Tuning）

• 在原本的預訓練模型基礎上，進一步使用特定資料集訓練。
• 能讓模型專精某個領域或任務。
• 據李沐分享，微調模型的成本約為 GPT 系列的 十分之一。

🛠️ 功能調用（Function Calling）

• 模型可以根據語義理解決定 是否需要執行某個函數。
• 接收函數名稱與參數 → 執行 → 回傳結果。

📌 適合應用於：

• 天氣查詢
• 資料庫查詢
• 自動化工作流程

🔄 工作流程（Workflow）

• 串連多個 function calling，完成一系列任務。
• 讓模型能自動規劃步驟、邏輯與任務執行流程。

🧠 代理人（Agentic）

• 結合多個工具與策略，自主決策、規劃與執行任務的 AI 系統。
• 特點：
  • 多步驟任務處理
  • 決策能力與執行靈活性

🖼️ 多模態（Multimodal）

• 能理解與生成 多種資料類型：
  • 文本
  • 圖像
  • 音訊
  • 影片等
• 提升 AI 的綜合感知與交互能力

📚 延伸閱讀

• 🔗 白話文介紹 LLM、Prompt、RAG、微調與 Function Calling 的完整文章

想學 GenAI，別只學怎麼用 GPT，從 Prompt 到 Agent，一步步理解背後的技術與原理，才是真正的升級之道！