Deep Learning 101, Taiwan’s pioneering and highest deep learning meetup, launched on 2016/11/11 @ 83F, Taipei 101

AI是一條孤獨且充滿惶恐及未知的旅程，花俏絢麗的收費課程或活動絕非通往成功的捷徑。
衷心感謝當時來自不同單位的AI同好參與者實名分享的寶貴經驗；如欲移除資訊還請告知。
由 TonTon Huang Ph.D. 發起，特別感謝時任職公司台灣雪豹科技無償贊助場地及茶水點心。
這裡匯集了我們歷年的 Meetup 紀錄，還有 AI 演算法與開源資源匯整中心。
🎯企業AI的競爭點，不是做出多少 Agent，而是在可量化的風險、權限、成本與稽核下可靠地執行。🎯
🎯AI Governance (AI 治理) 不能只是一份 SOP 的 PDF；它應該是一組可以執行的 Technical Controls。🎯
「Deep Learning 101」所有內容均屬個人與社群研究心得分享，不代表任何現職或前任雇主之官方立場背書。

👉 Deep Learning 101 歷年 Meetup 📺 🎙️ AI 技術討論交流

🏆 該踩或不該踩的坑都踩完，大型語言模型直接就打完收工？

作者回顧了從 2016 年起在資安與深度學習領域的研究與應用，並分享了在自然語言處理（NLP）、語音處理、以及大型語言模型（LLM）等技術上的實踐經驗與挑戰。隨著 ChatGPT 等生成式 AI 的興起，反思了這些技術的演進，以及未來的發展方向。

作者：TonTon Huang Ph.D.
原文出處：該踩或不該踩的坑都踩完，大型語言模型直接就打完收工？ (發布於 2024/10/10) —

文章概述

作者回顧了從 2016 年起在資安與深度學習領域的研究與應用，並分享了在自然語言處理（NLP）、語音處理、以及大型語言模型（LLM）等技術上的實踐經驗與挑戰。隨著 ChatGPT 等生成式 AI 的興起，作者反思了這些技術的演進，以及未來的發展方向。

主要內容摘要

1. 深度學習開發環境建置

Ubuntu 安裝與設定：建立深度學習開發的基礎環境。
CUDA 與 cuDNN 的安裝：確保 GPU 加速的正確配置。
NVIDIA 驅動程式與 NVIDIA-SMI：檢查 GPU 的運作狀態。
TensorFlow 與 PyTorch 安裝：配置主流深度學習框架。
Docker 與 NVIDIA-Docker：實現環境的隔離與管理。

2. 自然語言處理（NLP）相關挑戰

語料與數據前處理：繁體中文語料的稀缺性。
文本校正與分類：標註數據的重要性。
命名實體識別（NER）：處理繁體中文資料的困難。
模型選擇與應用：BERT 與 Seq2Seq 技術的實踐經驗。

3. 語音處理相關挑戰

語音識別（ASR）：數據集的準備與挑戰。
聲紋識別（Speaker Recognition）：語者辨識的應用場景。
語音去噪：噪聲處理的關鍵技術。
語者分離（Speaker Diarization）：多語者聲音分離的技術難點。
模型選擇與工具：Kaldi 等工具的應用經驗。

4. 大型語言模型（LLM）與相關工具

AutoGen、LangGraph、CrewAI、Dify、RAGFlow：多代理模型合作的應用。
RAG 技術：檢索增強生成的應用與挑戰。
GraphRAG 與知識圖譜：增強 RAG 性能的策略。
Whisper 模型的應用：中文語音識別中的應用與最佳化。
開源工具介紹：WhisperX、faster-whisper 等工具的使用。

5. 中文文本分類與糾錯的演進

文本分類技術的發展：從規則方法到深度學習模型的演進。
中文文本糾錯的挑戰：語境依賴的錯誤處理與生成模型的應用。

結語

作者指出，隨著大型語言模型的出現，許多過去需要大量人工處理的任務變得更加自動化與高效。然而，這也帶來了新的挑戰與學習曲線。技術的快速迭代要求從業者持續學習與適應，才能在這條不歸路上持續前行。

📖 如需進一步了解，請參閱原文：
https://blog.twman.org/2024/09/LLM.html