Deep Learning 101

Taiwan’s pioneering and highest deep learning meetup, launched on 2016/11/11 @ 83F, Taipei 101

AI是一條孤獨且充滿惶恐及未知的旅程，花俏絢麗的收費課程或活動絕非通往成功的捷徑。
衷心感謝當時來自不同單位的AI同好參與者實名分享的寶貴經驗；如欲移除資訊還請告知。
由 TonTon Huang Ph.D. 發起，及其當時任職公司(台灣雪豹科技)無償贊助場地及茶水點心。

Deep Learning 101 Buy Me A Coffee

YouTube | Facebook | 回 GitHub Pages | 網站 | Hugging Face Space

2017/04/14, Convolutional Neural Networks @ Deep Learning Book Chapter 9

卷積神經網路

一份關於卷積神經網路的整理匯總

概述 Overview

卷積神經網路 (CNN) 是一種專為處理網格狀數據（如圖像、時間序列）設計的深度學習模型，通過 卷積操作、池化操作 和 參數共享 高效提取特徵。本章探討 CNN 的核心概念、架構設計、訓練策略及神經科學啟發，介紹其在圖像識別、語音處理等領域的應用，並回顧其發展歷程與實務挑戰。

CNN 的重要性在於其對圖像數據的適應性，特別是其 3D 結構（寬、高、深度）。它通過局部連接和權重共享大幅減少參數量，降低計算成本並增強泛化能力。挑戰包括高效利用 GPU、配置深度學習框架（如 TensorFlow、Caffe）以及滿足大量標註數據的需求。

卷積操作 Convolution

卷積是一種數學運算，將 濾波器 在輸入數據上滑動，計算點積以提取局部特徵。在機器學習中，通常使用 互相關，不翻轉濾波器。

核心特性 Key Features

  • 局部連接： 僅與輸入的局部區域交互，減少參數。
  • 參數共享： 同一濾波器在不同位置重複使用，增強效率。
  • 等變表示： 對平移保持一致性，適合圖像處理。

“Convolution involves sliding a filter over the input to compute feature maps.” (Source: Deep Learning Book)

池化操作 Pooling

池化層 通過降採樣（如最大池化）減少空間尺寸，增強模型對微小平移的 不變性，並降低計算量。

“Pooling provides invariance to local translations.” (Source: Deep Learning Book)

架構設計

典型 CNN 包含 卷積層、激活函數（如 ReLU）、池化層 和 全連接層。小濾波器多層設計提升非線性與效率。

“Smaller filters with more layers enhance expressiveness.” (Source: Deep Learning Book)

神經科學啟發 Neuroscience Inspiration

CNN 設計受 視覺皮層 啟發，模仿 簡單細胞（局部特徵檢測）和 複雜細胞（平移不變性）。Gabor 濾波器 模擬簡單細胞感受野。

簡單細胞 Simple Cells

檢測局部邊緣或圖案，對特定位置敏感。

複雜細胞 Complex Cells

對特徵位置變化不敏感，提供平移不變性。

“Simple cells detect edges; complex cells provide invariance.” (Source: Deep Learning Book)

訓練策略 Training Strategies

CNN 訓練包括以下策略：

  • 隨機特徵： 使用隨機初始化的濾波器，成本低但性能有限。
  • 無監督特徵： 利用無標註數據學習特徵，減少標註需求。
  • 端到端訓練： 監督學習優化所有層，性能最佳但需大量數據。

“Unsupervised features leverage unlabeled data.” (Source: Deep Learning Book)

發展歷程

  • 1980: Neocognitron 奠基。
  • 1989: LeNet 應用反向傳播。
  • 2012: AlexNet 突破 ImageNet。

“AlexNet marked the rise of deep learning.” (Source: Deep Learning Book)

實務挑戰 Practical Challenges

CNN 實務挑戰包括：

  • GPU 性能： 高效利用 GPU 加速訓練。
  • 框架配置： 需熟悉 TensorFlow、Caffe 等框架。
  • 數據需求： 大量標註數據，遷移學習可緩解。

“Data is critical for high-performing models.” (Source: Deep Learning Book)

常見問答匯總 FAQ

為何 CNN 適合圖像數據？

因圖像為 3D 結構（寬、高、深度），CNN 透過 局部連接 與 權重共享 提取特徵，減少參數並增強泛化。

物理角度的卷積是什麼？

訊號透過通道傳輸，疊加延遲與衰減版本，形成特徵圖。

數學角度的卷積是什麼？

濾波器翻轉後滑動，與輸入計算點積，生成特徵映射。

研讀指南 - 測驗 Quiz

請用 2-3 句話簡短回答：

  1. 為何 CNN 適合圖像數據？
  2. 卷積操作的核心特性是什麼？
  3. 池化層的作用是什麼？
  4. 什麼是參數共享？如何降低計算成本？
  5. CNN 架構中的激活函數有何作用？

研讀指南 - 詞彙 Glossary

  • 卷積： 濾波器滑動計算點積，提取局部特徵。
  • 感受野： 輸出單元對應的輸入區域。
  • 池化： 降採樣，增強不變性。