Deep Learning 101, Taiwan’s pioneering and highest deep learning meetup, launched on 2016/11/11 @ 83F, Taipei 101
AI是一條孤獨且充滿惶恐及未知的旅程，花俏絢麗的收費課程或活動絕非通往成功的捷徑。
衷心感謝當時來自不同單位的AI同好參與者實名分享的寶貴經驗；如欲移除資訊還請告知。
由 TonTon Huang Ph.D. 發起，特別感謝時任職公司台灣雪豹科技無償贊助場地及茶水點心。
這裡不僅匯集了我們歷年的 Meetup 紀錄，更是 AI 演算法與開源資源匯整中心。
衷心感謝當時來自不同單位的AI同好參與者實名分享的寶貴經驗；如欲移除資訊還請告知。
由 TonTon Huang Ph.D. 發起，特別感謝時任職公司台灣雪豹科技無償贊助場地及茶水點心。
這裡不僅匯集了我們歷年的 Meetup 紀錄，更是 AI 演算法與開源資源匯整中心。
🤖 大型語言模型 (LLM) 入門完整指南：原理、應用與未來
本文分享了在實作大型語言模型（LLM）過程中遇到的挑戰與優化技巧，並介紹了多種相關工具與應用場景，強調實際操作與落地的重要性。
作者：TonTon Huang Ph.D.
原文出處：大型語言模型 (LLM) 入門完整指南：原理、應用與未來 (發布於 2024/02/04) —
文章概述
作者分享了在實作大型語言模型（LLM）過程中遇到的挑戰與優化技巧，並介紹了多種相關工具與應用場景，強調實際操作與落地的重要性。
主要內容摘要
1. 多代理人系統的實作與挑戰
- AutoGen 與 AutoGen Studio：建構多代理人分工合作的交互模式，包括 ReRanker、Function Call 和 Workflow 等。
- AnythingLLM：提供多代理人協作的框架，支援多種應用場景。
- Dify、RAGFlow、LangFlow、Flowise：整合 RAG、Function Call、Agent、Workflow 等功能，提升模型的實用性。
- Ollama 與 Xinference：作為本地端的 LLM 模型使用，降低使用大模型的繁瑣設定。
2. 實際應用案例
- AI 客服自動記錄用戶問答到 Google Sheet：
- 用戶在 Dify 上輸入問題。
- Dify 回答後觸發 Webhook，將用戶問題與 AI 回覆傳送到 n8n。
- n8n 整理資料並寫入 Google Sheet。
- 單據解析 OCR 與 RAG 的 Q&A 整合：結合 OCR 技術與 RAG，實現單據的自動解析與問答。
- 多模態應用：如工地場景照片的分析，判斷可能的缺失與相關法規。
3. 模型與工具的使用
- Ollama 的安裝與設定：
- 安裝指令：
curl https://ollama.ai/install.sh | sh - 修改模型儲存路徑與啟動設定。
- 使用 ngrok 進行服務的公開。
- 安裝指令：
- 下載與使用的 LLM 模型：
- mixtral:8x22b-instruct-v0.1-q6_K（115 GB）
- deepseek-v2:236b-chat-q8_0（250 GB）
- llama3.1:70b-instruct-fp16（141 GB）
- llama3.1:405b（231 GB）
- mistral-large:123b-instruct-2407-fp16（245 GB）
- Text Embedding 模型：
- bge-reranker-large
- bge-large-zh-v1.5
- mxbai-embed-large:v1
- nomic-embed-text:v1.5
4. 建議與反思
- 實際操作的重要性：強調實際操作與落地的必要性，避免僅停留在理論與宣傳層面。
- 資源的合理利用：考量 OpenAI 與 AOAI 的 API 費用，尋求本地端的解決方案。
- 對於 AI 應用的態度：呼籲從業者誠實面對自身的實力與資源，避免過度誇大與虛假宣傳。
結語
大型語言模型的應用與實作充滿挑戰，但透過合適的工具與實際操作，能夠有效地解決實際問題。作者強調，唯有腳踏實地，才能真正實現 AI 的落地應用。
📖 如需進一步了解，請參閱原文：
https://blog.twman.org/2024/02/LLM.html