表示學習的核心思想與理想屬性 Core Ideas & Ideal Properties

表示學習 (Representation Learning) 的核心思想是學習數據的良好表示或特徵，以便更容易解決後續的學習任務，例如分類或回歸。一個好的表示能夠捕捉數據中的本質結構和有用信息。

理想的表示應捕捉數據的潛在成因 (latent factors of variation)。基於潛在成因的表示具有更高的可解釋性、泛化能力和魯棒性。

Autoencoder 及其變體 Autoencoders & Variants

Autoencoder 是一種神經網路，訓練目標是使輸出與輸入相似。它包含將輸入映射到隱藏層 (Code Layer) 的編碼器 (Encoder) 和將隱藏層映射回輸出的解碼器 (Decoder)。

欠完備自編碼器 Undercomplete AE

隱藏層維度比輸入維度小，強迫模型捕捉輸入數據的最顯著特徵。

稀疏自編碼器 Sparse AE

在隱藏層輸出上施加稀疏性懲罰，鼓勵學習更多特徵。

去噪自編碼器 Denoising AE

訓練目標是從帶有雜訊的輸入中重構出原始的乾淨數據。

收縮自編碼器 Contractive AE

懲罰表示對輸入微小變化的敏感度，助於學習數據分佈結構。

深度 Autoencoder Deep AE

相較淺層具更高表示效率，可能需更少數據和訓練時間。

參數化稀疏編碼 (PSC) Parametric Sparse Coding

結合 Autoencoder 與稀疏編碼，預測輸出並推斷稀疏潛在表示。

深度學習中的預訓練與遷移學習 Pre-training & Transfer Learning

貪心逐層無監督預訓練 Greedy Layer-wise Unsupervised Pre-training

一種早期訓練深度網路的方法，逐層獨立地無監督訓練網路，為後續監督學習（精調）提供更好參數初始值。有助於緩解梯度消失/爆炸等優化困難。

有效性因素： 標註數據稀少但有大量未標註數據時特別有效；可作正則化；助於解決優化困難；任務相關性重要。

實際應用與挑戰 Practical Applications & Challenges

APP通知推薦 App Notification Recommendation

利用多種用戶和設備特徵預測用戶點擊通知的可能性，提升點擊率及收益，減少打擾。

病毒檢測 Virus Detection

將二進位數據轉換成圖像，使用 CNN (如 Inception V3) 分析，可能識別未知病毒，避免複雜特徵工程。