Deep Learning 101, Taiwan’s pioneering and highest deep learning meetup, launched on 2016/11/11 @ 83F, Taipei 101

AI是一條孤獨且充滿惶恐及未知的旅程，花俏絢麗的收費課程或活動絕非通往成功的捷徑。
衷心感謝當時來自不同單位的AI同好參與者實名分享的寶貴經驗；如欲移除資訊還請告知。
由 TonTon Huang Ph.D. 發起，特別感謝時任職公司台灣雪豹科技無償贊助場地及茶水點心。
這裡匯集了我們歷年的 Meetup 紀錄，還有 AI 演算法與開源資源匯整中心。
🎯企業AI的競爭點，不是做出多少 Agent，而是在可量化的風險、權限、成本與稽核下可靠地執行。🎯
🎯AI Governance (AI 治理) 不能只是一份 SOP 的 PDF；它應該是一組可以執行的 Technical Controls。🎯
「Deep Learning 101」所有內容均屬個人與社群研究心得分享，不代表任何現職或前任雇主之官方立場背書。

👉 Deep Learning 101 歷年 Meetup 📺 🎙️ AI 技術討論交流

🤖 大型語言模型 (LLM) 入門完整指南：原理、應用與未來

本文分享了在實作大型語言模型（LLM）過程中遇到的挑戰與優化技巧，並介紹了多種相關工具與應用場景，強調實際操作與落地的重要性。

作者：TonTon Huang Ph.D.
原文出處：大型語言模型 (LLM) 入門完整指南：原理、應用與未來 (發布於 2024/02/04) —

文章概述

作者分享了在實作大型語言模型（LLM）過程中遇到的挑戰與優化技巧，並介紹了多種相關工具與應用場景，強調實際操作與落地的重要性。

主要內容摘要

1. 多代理人系統的實作與挑戰

AutoGen 與 AutoGen Studio：建構多代理人分工合作的交互模式，包括 ReRanker、Function Call 和 Workflow 等。
AnythingLLM：提供多代理人協作的框架，支援多種應用場景。
Dify、RAGFlow、LangFlow、Flowise：整合 RAG、Function Call、Agent、Workflow 等功能，提升模型的實用性。
Ollama 與 Xinference：作為本地端的 LLM 模型使用，降低使用大模型的繁瑣設定。

2. 實際應用案例

AI 客服自動記錄用戶問答到 Google Sheet：
- 用戶在 Dify 上輸入問題。
- Dify 回答後觸發 Webhook，將用戶問題與 AI 回覆傳送到 n8n。
- n8n 整理資料並寫入 Google Sheet。
單據解析 OCR 與 RAG 的 Q&A 整合：結合 OCR 技術與 RAG，實現單據的自動解析與問答。
多模態應用：如工地場景照片的分析，判斷可能的缺失與相關法規。

3. 模型與工具的使用

Ollama 的安裝與設定：
- 安裝指令：curl https://ollama.ai/install.sh | sh
- 修改模型儲存路徑與啟動設定。
- 使用 ngrok 進行服務的公開。
下載與使用的 LLM 模型：
- mixtral:8x22b-instruct-v0.1-q6_K（115 GB）
- deepseek-v2:236b-chat-q8_0（250 GB）
- llama3.1:70b-instruct-fp16（141 GB）
- llama3.1:405b（231 GB）
- mistral-large:123b-instruct-2407-fp16（245 GB）
Text Embedding 模型：
- bge-reranker-large
- bge-large-zh-v1.5
- mxbai-embed-large:v1
- nomic-embed-text:v1.5

4. 建議與反思

實際操作的重要性：強調實際操作與落地的必要性，避免僅停留在理論與宣傳層面。
資源的合理利用：考量 OpenAI 與 AOAI 的 API 費用，尋求本地端的解決方案。
對於 AI 應用的態度：呼籲從業者誠實面對自身的實力與資源，避免過度誇大與虛假宣傳。

結語

大型語言模型的應用與實作充滿挑戰，但透過合適的工具與實際操作，能夠有效地解決實際問題。作者強調，唯有腳踏實地，才能真正實現 AI 的落地應用。

📖 如需進一步了解，請參閱原文：
https://blog.twman.org/2024/02/LLM.html