Deep Learning 101, Taiwan’s pioneering and highest deep learning meetup, launched on 2016/11/11 @ 83F, Taipei 101

AI是一條孤獨且充滿惶恐及未知的旅程，花俏絢麗的收費課程或活動絕非通往成功的捷徑。
衷心感謝當時來自不同單位的AI同好參與者實名分享的寶貴經驗；如欲移除資訊還請告知。
由 TonTon Huang Ph.D. 發起，特別感謝時任職公司台灣雪豹科技無償贊助場地及茶水點心。
這裡不僅匯集了我們歷年的 Meetup 紀錄，更是 AI 演算法與開源資源匯整中心。

👉 查看 Deep Learning 101 歷年所有實體 Meetup 影像與逐字稿 📺

📝 那些自然語言處理 (NLP) 踩的坑：中文場景實戰經驗

相較於英文，中文的自然語言處理 (NLP) 往往會面臨更多如「分詞困難」、「語料庫稀缺（尤其是繁體中文）」等挑戰。本頁面匯集了我們在開發中文 NLP 應用時的實務經驗與避坑策略。

作者：TonTon Huang Ph.D.
原文出處：那些自然語言處理 (Natural Language Processing, NLP) 踩的坑 (發布於 2021/04/17)

🚧 核心挑戰與對策

1. 數據獲取與標註問題

痛點：開源的高品質繁體中文數據集極度匱乏。多數數據集為簡體中文，且直接轉換往往會出現語義偏差。
對策：除了開發自動化標註工具來降低人力成本外，善用開源工具進行簡繁轉換與人工複核是不可避免的基礎工程。

2. 機器閱讀理解 (MRC)

痛點：缺乏如英文 SQuAD 般高質量的中文閱讀理解數據集。直接依賴機器翻譯英文數據集，常因口語和語法結構差異導致模型理解錯誤。
對策：利用基於 Transformer 的預訓練模型（如 BERT）進行微調，並盡可能自行建立或改造更符合中文語境的在地化數據集。

3. 文本糾錯 (Text Correction)

痛點：語音辨識 (ASR) 轉錄出來的文本常伴隨同音錯字或語法錯誤，嚴重影響後續的意圖判斷（尤其在客服場景）。
對策：引入如 PyCorrector 等開源工具進行拼寫修正，或針對特定應用場景使用 Seq2Seq 模型進行微調訓練。

4. 文本分類與情感分析

痛點：語料標註質量不一，且常面臨「類別不平衡 (Class Imbalance)」的問題，導致模型對少數類別的預測能力極差。
對策：在訓練時引入加權損失函數 (Weighted Loss Function) 進行修正，並搭配預訓練模型微調以提升基準表現。

5. 命名實體識別 (NER)

痛點：中文多義詞、歧義詞的邊界難以切分，且訓練資料常受限於特定領域。
對策：結合 CRF（條件隨機場）與 BERT 架構，並透過多輪次的微調來提升實體抽取的精準度。

💡 結語：在中文 NLP 的世界裡，「數據決定了上限，模型只是逼近這個上限」。無論是進行 MRC、NER 還是文本相似度匹配，掌握資料清洗與在地化標註的訣竅，永遠是專案成功的最關鍵因素。