Deep Learning 101, Taiwan’s pioneering and highest deep learning meetup, launched on 2016/11/11 @ 83F, Taipei 101

AI是一條孤獨且充滿惶恐及未知的旅程，花俏絢麗的收費課程或活動絕非通往成功的捷徑。
衷心感謝當時來自不同單位的AI同好參與者實名分享的寶貴經驗；如欲移除資訊還請告知。
由 TonTon Huang Ph.D. 發起，及其當時任職公司(台灣雪豹科技)無償贊助場地及茶水點心。

去 YouTube 訂閱 | Facebook | 回 GitHub Pages | 到 GitHub 點星 | 網站 | 到 Hugging Face Space 按愛心

大型語言模型 (LLM) 入門完整指南：原理、應用與未來 (2025 版)

作者：TonTon Huang Ph.D.
日期：2024年2月4日
原文網址：https://blog.twman.org/2024/02/LLM.html

文章概述

作者分享了在實作大型語言模型（LLM）過程中遇到的挑戰與優化技巧，並介紹了多種相關工具與應用場景，強調實際操作與落地的重要性。

主要內容摘要

1. 多代理人系統的實作與挑戰

• AutoGen 與 AutoGen Studio：建構多代理人分工合作的交互模式，包括 ReRanker、Function Call 和 Workflow 等。
• AnythingLLM：提供多代理人協作的框架，支援多種應用場景。
• Dify、RAGFlow、LangFlow、Flowise：整合 RAG、Function Call、Agent、Workflow 等功能，提升模型的實用性。
• Ollama 與 Xinference：作為本地端的 LLM 模型使用，降低使用大模型的繁瑣設定。

2. 實際應用案例

• AI 客服自動記錄用戶問答到 Google Sheet：
  • 用戶在 Dify 上輸入問題。
  • Dify 回答後觸發 Webhook，將用戶問題與 AI 回覆傳送到 n8n。
  • n8n 整理資料並寫入 Google Sheet。
• 單據解析 OCR 與 RAG 的 Q&A 整合：結合 OCR 技術與 RAG，實現單據的自動解析與問答。
• 多模態應用：如工地場景照片的分析，判斷可能的缺失與相關法規。

3. 模型與工具的使用

• Ollama 的安裝與設定：
  • 安裝指令：curl https://ollama.ai/install.sh | sh
  • 修改模型儲存路徑與啟動設定。
  • 使用 ngrok 進行服務的公開。
• 下載與使用的 LLM 模型：
  • mixtral:8x22b-instruct-v0.1-q6_K（115 GB）
  • deepseek-v2:236b-chat-q8_0（250 GB）
  • llama3.1:70b-instruct-fp16（141 GB）
  • llama3.1:405b（231 GB）
  • mistral-large:123b-instruct-2407-fp16（245 GB）
• Text Embedding 模型：
  • bge-reranker-large
  • bge-large-zh-v1.5
  • mxbai-embed-large:v1
  • nomic-embed-text:v1.5

4. 建議與反思

• 實際操作的重要性：強調實際操作與落地的必要性，避免僅停留在理論與宣傳層面。
• 資源的合理利用：考量 OpenAI 與 AOAI 的 API 費用，尋求本地端的解決方案。
• 對於 AI 應用的態度：呼籲從業者誠實面對自身的實力與資源，避免過度誇大與虛假宣傳。

結語

大型語言模型的應用與實作充滿挑戰，但透過合適的工具與實際操作，能夠有效地解決實際問題。作者強調，唯有腳踏實地，才能真正實現 AI 的落地應用。

📖 如需進一步了解，請參閱原文：
https://blog.twman.org/2024/02/LLM.html