Deep Learning 101, Taiwan’s pioneering and highest deep learning meetup, launched on 2016/11/11 @ 83F, Taipei 101

AI是一條孤獨且充滿惶恐及未知的旅程，花俏絢麗的收費課程或活動絕非通往成功的捷徑。
衷心感謝當時來自不同單位的AI同好參與者實名分享的寶貴經驗；如欲移除資訊還請告知。
由 TonTon Huang Ph.D. 發起，及其當時任職公司(台灣雪豹科技)無償贊助場地及茶水點心。

大語言模型	語音處理	自然語言處理	電腦視覺
Large Language Model	Speech Processing	Natural Language Processing, NLP	Computer Vision

用 AI 懂 AI

AI 技術體驗/分享

手把手帶你一起踩 AI 坑：https://www.twman.org/AI

AI 技術開源/試用

Deep Bilateral Learning for Real-Time Image Enhancement YouTube

2018/08/17 黃俊仁 (Ken Huang)

研究關鍵重點彙整

這是一個利用自然語言處理 (NLP) 技術來分析社群媒體上文字留言情緒的應用 [1, 2]。

研究背景與目標
- 我們觀察到，有些加密貨幣（ICO）在社群網絡上的討論度很高，但在某些評分網站上的分數卻偏低 [1]。這讓我們懷疑現有的評分機制可能沒有充分反映真實的使用者情緒 [1, 2]。
- 因此，研究的目標是希望透過分析 Facebook、Twitter 等社交網絡上的文字留言 [1, 2]，判斷這些文字是表達正面或負面的情緒 [1, 2]，進而計算出整體的社群情緒評分 [1]。這項技術可以被視為一種「威脅情報 (threat intelligence)」，用來判斷特定項目（如 ICO）的公眾情緒是正面還是負面，並監控其隨時間的變化趨勢 [2]。這也被稱為語情監控 (Public Opinion Monitoring) [3, 4]。
核心技術與流程
- 這個項目主要使用了 LSTM (長短期記憶網絡) 和 CNN (卷積神經網絡) 這兩種深度學習模型來進行情緒分析 [1, 2]。對於新手來說，LSTM 擅長處理序列資料（如文字句子的順序），而 CNN 雖然常用於圖像，但在文字處理中也能捕捉詞語的局部關聯，兩者結合能提升情緒判斷的準確性。
- 分析流程包含幾個重要步驟 [1, 5]：
  1. 資料預處理 (Data Preprocessing)：這是 NLP 中非常基礎但關鍵的一步。原始的文字資料往往很「髒」，包含許多符號、錯字、非標準用語等 [1, 4, 5]。預處理的目的是清理和規範化這些數據，例如移除符號、替換常用詞，或濾掉不必要的雜質，以獲得更「純淨」的資料 [1, 4, 5]。這能大幅降低模型處理的難度 [4]。
  2. Tokenization (編碼)：將清理後的文字分解成更小的單元（如單詞或子詞），並將這些文字單元轉換成數字編碼 [1, 5, 6]。神經網絡需要數字輸入，這一步就是將人類可讀的文字轉化為機器可讀的數字表示 [5]。
  3. Embedding (詞嵌入)：這是深度學習處理文字資料中一個非常核心的概念 [1, 5, 6]。Embedding 層會將前面得到的數字編碼轉換成連續的、低維度的特徵向量 (Feature Vector) [1, 5, 6]。這些向量不僅僅是數字，更重要的是它們能夠捕捉詞語之間的語義和語法關係 [6]。簡單來說，意思相似或用法相似的詞語，在嵌入空間中的向量會比較靠近 [5]。Embedding Layer 通常是神經網絡處理文字輸入的第一層 [1, 5]。
  4. 模型訓練與預測：將 Embedding 層輸出的特徵向量輸入到 LSTM 和 CNN 模型中 [1, 2]。模型會根據已有的標註資料集（例如論文或 Kaggle 上的公開數據集）進行訓練 [1, 7]，學習文字模式與情緒之間的關聯 [1, 5]。訓練好的模型就可以用來預測新的文字評論是正面還是負面，並給出一個情緒分數 [1, 5]。分數以 +/- 2.5 作為判斷正面或負面的基準 [1, 7, 8]。
系統建構與展示
- 研究團隊開發了一個網頁應用程式來展示分析結果，這個應用程式被稱為 SOCINT 網站 (未公開) 或簡稱為 sock (Social Intelligence) [1, 3, 7, 8]。
- 系統會收集大量社交網絡數據，目前主要爬取 Facebook 的公開評論，已經收集了約 150 萬筆資料 [1, 4, 7, 8]。Twitter 資料由於 API 限制和變動頻繁等原因，整合遇到較多困難 [1, 4, 8, 9]。
- 根據每日收集到的留言內容計算情緒分數 [1, 7]。
- 提供時間區間選擇（如 3天、7天、10天或 14天）來觀察情緒趨勢 [1, 7, 8, 10]。
- 展示「好的評論」(good comment) 和「壞的評論」(bad comment) 範例供用戶參考 [1, 4, 8]。
- 整合其他 ICO 相關資訊，例如 Facebook 和 Twitter 連結、ing token 上的介紹頁面（主要針對對 ICO 感興趣的用戶，提供白皮書分析、社群媒體成長趨勢、Github commit 次數等資訊）[1, 4, 7, 8]、ICO 基本資訊、社群媒體成長趨勢、Github 資料 [1, 4, 8] 以及合約檢測功能 [4, 8]。
- 設置類似 Help Us 的頁面，展示模型預測的情緒分數，並鼓勵用戶調整評分，以收集更多真實用戶的感受，持續優化模型 [4, 8]。這對於提升模型在真實世界數據上的泛化能力非常重要 [4]。
面臨的挑戰
- 社交網絡數據收集困難重重，尤其是 Twitter 的 API 限制多，爬取規則變動頻繁 [1, 4, 8, 9]。Facebook 爬蟲也容易遇到被暫停帳號或需要額外驗證的問題 [9, 11].
- 確保用於訓練模型的數據集能夠代表真實世界中各種複雜的語言情況和情緒表達 [1].
- 模型的原始輸出結果不一定直接適用，可能需要根據實際應用場景進行調整和優化 [1, 12].
- 模型訓練需要大量的時間和計算資源 [1].
- 文字預處理中的許多邊角情況需要特別處理，例如連續的驚嘆號、表情符號等 [1, 4].
未來發展方向
- 將情緒分析的應用範圍擴展到 ICO 以外的其他領域，例如餐廳評價、旅遊景點評論或網路產品評價等 [1, 10].
- 考慮開放 API 供開發者使用歷史數據進行研究或開發 [1, 10].
- 持續優化模型性能，提高分析的準確性和效率 [1].
- 可能會探索如何處理更加細微或帶有隱喻的情緒表達 [11].

2. 深度推理 (Deep Reasoning / Machine Reasoning)

這項研究的核心目標是讓機器能夠執行類似人類的高階認知行為，而不僅僅是感知層面的任務 [2, 13]。

核心概念
- 深度推理 / 機器推理 指的是機器能夠進行更複雜的邏輯思考，包括演繹 (Deduction) 和歸納 (Induction) [2, 3, 13]。
- 這與現有深度學習在感知 (Perception) 問題上的成功有所不同 [2, 13]。感知任務如圖像識別、語音識別主要依賴於從大量數據中學習模式，例如使用 CNN、RNN、LSTM 等模型 [13]。而推理需要更高的抽象能力和邏輯結構理解 [2, 13]。
- 推理的類型：
  - 歸納法 (Induction)：從具體的、個別的案例或觀察中總結出一般性的規律或原則（Bottom-up 方式） [3, 13, 14]。例如，觀察到許多天鵝是白色的，歸納出「天鵝可能是白色的」或「所有天鵝都是白色的」（這個結論有時不一定完全準確，取決於觀察的完整性） [14, 15]。
  - 演繹法 (Deduction)：從已知的一般原則或前提中推導出具體的、必然的結論（Top-down 方式） [3, 13, 14]。例如，已知「所有人都會死」和「蘇格拉底是人」，可以演繹出「蘇格拉底會死」 [14]. 演繹推理在邏輯上更為嚴謹 [15].
推理與記憶的關係
- 人類進行推理的過程與記憶密切相關 [2, 13, 16, 17]。我們需要將接收到的信息存儲到大腦的記憶中，並在需要時讀取、運用這些信息來進行思考和推導 [2, 13, 16, 17]。
- 大腦的額葉 (Frontal Lobe) 被認為與高階認知和推理能力有關 [13, 17]。神經科學研究認為，額葉的功能機制可能涉及一個類似控制器 (Controller) 的部分，它控制著如何處理和存取記憶緩衝區 (Memory Buffer) 中的信息 [13, 17]。
- 研究人員希望能夠將人類大腦中處理記憶和控制的機制應用到神經網絡模型中，藉此增強模型的推理能力 [2, 17]。具有更強記憶能力的模型被認為可能更能進行推理 [16, 17].
相關研究與數據集
- bAbI 數據集 (bAbI Dataset)：由 Facebook AI Research 提出的數據集 [2, 3, 13, 18]，專門用於測試機器的推理能力 [2, 3, 13]. 這對於新手來說是理解機器推理能力評估的一個重要資源。
  - 它包含 20 種不同類型的推理任務 [13, 18]，例如單步或多步的支持事實推理（需要從故事中找到支持答案的事實）、位置推理、計數、集合操作、路徑尋找等 [13, 18]。
  - 數據集是由機器生成的 [13, 14]，結構化程度較高 [13]。每個任務通常包含一個簡短的故事或描述，以及一個相關的問題，目標是從故事中推導出答案 [13, 18]。答案往往是明確的 [17]。
  - 測試的準確性通常以 100 分為滿分 [13, 18]。目前大多數模型在 bAbI 數據集上的表現看似不錯（例如 RNN 可以達到 100 分，但這是針對訓練集中出現過的實體） [13, 18]。
  - 然而，bAbI 這類數據集由於是結構化的合成數據，與真實世界的自然語言推理有所不同 [13]。一個重要的挑戰在於處理未出現過的實體名稱 (entity) 的推理 [13, 19]。如果模型在訓練時沒有見過某個實體，但在測試時出現了，它能否對其進行正確推理？這比在訓練集中出現過的實體推理更困難 [13, 19]。
- 記憶增強的神經網絡 (Memory-Augmented Neural Networks)：研究正在探索將神經網絡與外部記憶體結合的模型，例如 神經圖靈機 (Neural Turing Machine, NTM) 和 可微分神經計算機 (Differentiable Neural Computer, DNC) [2, 3, 16, 17].
  - NTM 的核心思想是將神經網絡（作為控制器）與可讀寫的外部記憶體（Memory Matrix）結合 [2, 3, 16, 17]，旨在模仿傳統電腦的 CPU 和記憶體架構 [2, 3, 19, 20]. LSTM 雖然有內部記憶單元 (Cell state)，但 NTM 和 DNC 的外部記憶體更大、更靈活，並且控制器可以學習如何精確地讀取和寫入記憶體的特定位置 [18-20].
  - NTM 提供了兩種主要的記憶體定址方式 (Memory Addressing)：基於內容 (Content-based) 定址（根據輸入內容與記憶體中存儲內容的相似度來決定讀寫位置）和基於位置 (Location-based) 定址（通過在現有位置上進行移位或結合歷史位址信息來確定位置）[3, 21]。這使得模型可以學習更複雜的數據結構和存取模式，處理需要記憶和推理的任務 [2, 16, 17].
  - 這些記憶增強模型在理論上具有處理更複雜推理問題的潛力 [16]。然而，目前的挑戰在於訓練難度較高 [16, 22]，模型可能不穩定 [22]，離實際應用還有一定距離 [16, 22]。研究正在探索更簡化且有效的記憶增強模型 [16].
  - NTM 的 IO（輸入/輸出）與傳統 RNN/LSTM 類似 [22]。雖然 NTM 的記憶能力理論上更強且能處理更長的序列 [22]，但實際應用不普及的主要原因是訓練困難且結果不穩定 [22]。
- 其他相關研究：與語言學（特別是語義學）的結合被認為可以幫助理解自然語言的邏輯結構 [16]，這對於設計推理模型非常有指導意義 [15, 16].
總結與未來方向
- 推理能力是機器邁向更高層次智能的關鍵 [2, 13]。
- 記憶增強模型為實現機器推理提供了潛在的方向 [2, 16]。
- 未來的研究可能包括將這些模型應用於更自然的推理任務 [16]，提高模型的訓練穩定性和泛化能力 [16]。
- 如何處理非結構化或邏輯不那麼嚴謹的自然語言中的推理問題仍然是重要的挑戰 [15, 17].

3. 深度學習應用於即時圖像處理 (Real-time Image Processing with Deep Learning)

這部分主要探討了如何利用深度學習加速圖像處理演算法，使其能在移動裝置上達到即時 (Real-time) 性能 [12, 23]。核心技術圍繞著 雙邊濾波器 (Bilateral Filter) 及其加速方法展開 [23, 24]。