表現學習，也稱為特徵學習，是一組機器學習技術，允許系統自動發現從原始數據中進行特徵檢測或分類所需的表示。這取代了手動特徵工程，使機器既能學習特徵，又能使用這些特徵來執行特定任務。其動機在於，許多機器學習任務（例如分類）需要數學上且計算上方便的輸入，但真實世界的數據（如圖像、視頻和傳感器數據）並不能直接產生易於算法處理的特徵。相反，表示是通過檢查數據本身來發現的，而無需依賴明確的算法。
特徵學習可以分為監督式、非監督式或自監督式。在監督式特徵學習中，特徵是使用帶有標籤的輸入數據來學習的，其中每個輸入都有一個真實標籤。在非監督式特徵學習中，特徵是從未標籤的數據中通過分析數據點之間的關係來學習的。在自監督式特徵學習中，輸入-標籤對是從每個數據點本身構造的，從而可以通過監督式方法（如梯度下降）進行學習，這在詞嵌入和自編碼器中可以看到。
監督式特徵學習
監督式特徵學習使用帶有標籤的數據來計算誤差項，該誤差項衡量系統未能產生正確標籤的程度。此誤差作為反饋來調整學習過程。方法包括監督式字典學習和神經網絡。
監督式字典學習
字典學習開發一組代表性元素（即字典），使得每個數據點都可以表示為這些元素的加權和。字典和權重通過最小化平均表示誤差來找到，通常使用L1正則化來鼓勵稀疏性。在監督式字典學習中，數據結構和標籤都用於優化字典。對於分類任務，目標函數包括分類誤差、表示誤差、權重的L1正則化以及分類器參數的L2正則化。
神經網絡
神經網絡是一系列受動物神經系統啟發的學習算法，由多層相互連接的節點（神經元）和邊（突觸）組成，並帶有相關權重。網絡定義了從輸入層到輸出層傳遞輸入數據的計算規則。多層神經網絡在隱藏層學習表示，然後用於輸出層的分類或回歸。一個著名的架構是孿生網絡，它通過共享權重來學習比較輸入。
非監督式特徵學習
非監督式特徵學習在沒有標籤的情況下發現高維輸入數據中的低維特徵。這些特徵隨後可以以半監督方式用於改善監督任務。常見方法包括k均值聚類和主成分分析。
K均值聚類
K均值聚類將n個向量分組為k個聚類，每個向量屬於均值最近的聚類。該問題是NP困難的，但存在貪婪算法。在特徵學習中，k均值可以通過為最近的質心添加二進制指示符或使用到質心的距離（可能經徑向基函數轉換）來生成特徵。Coates和Ng的研究發現，某些k均值變體在行為上類似於稀疏編碼。在一項比較評估中，Coates、Lee和Ng發現，經過適當轉換的k均值在圖像分類上優於自編碼器和受限玻爾茲曼機。K均值還改善了自然語言處理中的命名實體識別，可與布朗聚類和神經詞嵌入相媲美。
主成分分析
主成分分析（PCA）是一種降維技術，生成與數據矩陣的p個最大奇異值相對應的p個右奇異向量。這些向量定義了一個捕獲最大方差的低維子空間，為後續任務提供了緊湊的表示。
自監督式特徵學習
自監督式特徵學習從未標籤的數據中構造輸入-標籤對，從而使監督訓練方法能夠學習數據結構。經典例子包括詞嵌入和自編碼器。詞嵌入（例如大型語言模型中使用的）將詞映射到捕捉語義關係的密集向量。自編碼器通過瓶頸層學習重建其輸入，迫使網絡學習高效的表示。自監督學習已應用於許多模態，使用卷積神經網絡和Transformer等深度架構。
應用與影響
表示學習是現代深度學習和生成式AI的基礎。它使系統能夠直接從原始數據中學習特徵，減少了手動特徵工程的需求。這導致了計算機視覺、自然語言處理和語音識別方面的突破。在人工智慧中，表示學習支撐了許多最先進的模型，包括由OpenAI、Google DeepMind和Anthropic等組織開發的模型。自動學習有用表示的能力是神經網絡成功的關鍵因素，並推動了從醫療保健到自動駕駛等領域的進步。
挑戰與未來方向
儘管表示學習取得了成功，但它仍面臨可解釋性、數據效率和泛化能力等挑戰。學習到的表示通常難以解釋，且模型可能需要大量數據。研究人員正在探索使表示更加穩健和可遷移的方法。截至2020年代初，自監督學習和多模態學習是活躍的研究領域，有潛力進一步減少對標籤數據的依賴，並提高在各種任務上的表現。