Deep Learning 101

Taiwan’s pioneering and highest deep learning meetup, launched on 2016/11/11 @ 83F, Taipei 101

AI是一條孤獨且充滿惶恐及未知的旅程，花俏絢麗的收費課程或活動絕非通往成功的捷徑。
衷心感謝當時來自不同單位的AI同好參與者實名分享的寶貴經驗；如欲移除資訊還請告知。
由 TonTon Huang Ph.D. 發起，及其當時任職公司(台灣雪豹科技)無償贊助場地及茶水點心。

深度學習進階訓練技巧與應用

探討資料正規化、標籤平滑、資料擴增及自監督學習等關鍵技術

影片強調，許多近期有效的模型訓練方法的核心思想並非傳統上直接對模型權重進行正規化，而是在 資料本身 或透過操作資料來約束模型的學習過程，使其學到的表示更魯棒和通用。這被視為從傳統模型正規化轉變為數據正規化 (Data Regularization)的趨勢。

神經網路內部存在一種「隱生 (Emergent Properties)」特性，若善用，能有效處理大量資料。資料擴增可被視為從不同視角看待原始數據。

Label Smoothing 是一種正規化技術，用於修改分類問題的目標標籤。傳統 One-Hot Encoding 將正確類別機率設為 1，其他為 0；Label Smoothing 則將正確類別的一小部分機率 ($\alpha/k$) 分攤到其他類別。

優勢： 防止模型對訓練資料過度自信，考慮其他類別可能性，提升泛化能力。其效果類似於知識蒸餾中的「溫度」，使模型能從較低機率分佈中學習額外資訊。

資料擴增是提升模型性能的「共識」方法，特別是在有限標記資料時。它透過對現有資料进行變換，增加訓練樣本多樣性，迫使模型學習更魯棒、更具泛化能力的特徵。

混合兩張圖片及其標籤。

將一張圖片的部分區域替換為另一張圖片的區域，並混合標籤，鼓勵模型關注關鍵部分。

在圖片中隨機遮擋一個區域，提高對遮擋的魯棒性。

在神經網路中間層對多個樣本的特徵表示進行混合，旨在學習更平滑的特徵空間。

當標記資料有限但未標記資料豐富時，半監督學習變得重要。

偽標籤 (Pseudo-labeling)： 用已訓練模型預測未標記資料，將預測結果作為「偽標籤」訓練或微調模型。
Unsupervised Data Augmentation (UDA)： 結合有標記資料的監督學習和未標記資料上的資料擴增。核心思想是對未標記資料擴增後，模型輸出應與原始未擴增的未標記資料輸出保持一致或相似，鼓勵模型對資料擴增保持「不變性」。

自監督學習 (Self-Supervised Learning) 是一種無需人工標記，透過設計輔助任務來學習資料表示的方法。

對比學習 (Contrastive Learning) 核心思想是學習區分「相似」和「不相似」的樣本對，希望「自己跟自己」的表示很像，「自己跟別人」的表示很不一樣。

學習一種編碼表示，使模型能區分時間或空間上相鄰的數據樣本（正樣本對）與隨機抽取的數據樣本（負樣本）。它希望模型能將不同視角下的同一個物體或同一時間序列中的相鄰部分映射到相似的表示空間。

當模型訓練在一個領域但應用於不同領域時會遇到挑戰。利用未標記資料和資料擴增的技術有助於模型學習對資料分佈變化更魯棒的特徵，從而更好地適應新的領域。

概念發展順序： 傳統模型正規化 → 開始利用未標記數據 → 知識蒸餾/溫度概念受重視 → 各式資料擴增技術 (Mixup, CutMix等) → UDA 等一致性訓練方法 → 對比學習與 CPC 方法興起。

提及人物： 演講者 (Mark Liou)、金馬克、郭大佬、CP 論文作者 ("M 的那位人") 等。

總而言之，影片深入探討了如何透過巧妙的資料處理和訓練目標設計，利用未標記資料、增強模型魯棒性，進而在有限標記數據情況下提升模型性能，並指出資料正規化和自監督/半監督學習是重要的發展方向。