注意力可視化涵蓋了一系列技術，用於將基於Transformer的模型的內部注意力權重轉化為人類可理解的形式，例如熱力圖、對齊矩陣或圖結構。在機器學習中，注意力是一種機制，它為輸入序列的每個組件分配一個軟權重，反映其在處理過程中與其他組件的相關性。與訓練期間學習的硬權重不同，這些軟權重在前向傳播中動態計算，並隨每個輸入而變化。可視化這些權重使研究人員和從業者能夠檢查模型在做出預測時關注輸入的哪些部分，為深度學習系統原本不透明的決策過程提供了一扇窗口。
隨著2017年引入的Transformer架構的興起，這種實踐獲得了顯著地位，該架構完全依賴注意力機制而非循環結構。在Transformer中，注意力權重被組織成矩陣，通常跨越多個頭和層，使得直接檢查不切實際。注意力可視化方法將這些高維數據壓縮為可訪問的格式，例如圖像的顯著性圖或文本的對齊網格。這些工具已成為模型調試、可解釋性研究和教育場景中的標準手段，有助於彌合抽象數學運算與直觀理解之間的差距。
歷史背景
注意力可視化的根源可追溯至早期神經機器翻譯系統。2014年，Bahdanau式注意力（也稱為加性注意力）被嫁接到編碼器-解碼器序列到序列模型上。研究人員很快發現，這些模型產生的注意力權重可以繪製為矩陣，其中行對應解碼器輸出，列對應編碼器輸入。這個矩陣被稱為對齊矩陣，揭示了模型如何將源語言中的詞與目標語言中的詞對齊。例如，在將英語短語「I love you」翻譯成法語時，模型在生成「je」時將94%的注意力權重分配給第一個詞「I」，在生成「t'」時將88%分配給第三個詞「you」，在生成「aime」時將95%分配給第二個詞「love」。此類可視化表明，注意力不僅僅是數學上的奇蹟，而是語言對齊的有意義反映。
2017年Transformer的引入，詳見Google DeepMind等機構研究人員發表的論文《Attention Is All You Need》，將注意力從輔助機制轉變為核心計算原語。自注意力（每個token關注序列中所有其他token）實現了並行處理並捕獲全局依賴關係。由於多頭結構（每個頭學習不同的注意力模式），可視化自注意力權重變得更加複雜。早期可視化通常分別顯示每個頭，揭示諸如句法依賴追蹤或指代消解等專門角色。
核心可視化技術
注意力矩陣與熱力圖
注意力可視化最直接的形式是注意力矩陣，這是一個二維網格，其中單元格強度表示兩個token之間的權重。對於文本，行和列對應輸入位置，較深的單元格表示較強的注意力。在實踐中，這些矩陣通常使用顏色漸變渲染為熱力圖，使模式立即可見。例如，主導的對角線表明模型主要關注附近的token，而對角線外的峰值則指示長距離依賴。在翻譯任務中，對角線外的優勢通常反映語言之間的重排，如英語「look it up」與法語「cherchez-le」之間的對齊所示，其中多個源詞映射到多個目標詞。
注意力展開
對於具有多層的深度Transformer，來自單個層的原始注意力矩陣僅提供部分洞察。注意力展開是一種遞歸算法，通過計算連續注意力圖的乘積來組合所有層的注意力權重。這項技術最初在視覺Transformer的背景下引入，產生一個單一的聚合圖，近似從輸入到輸出的總信息流。注意力展開已成為可視化信息如何通過網絡傳播的標準工具，儘管它假設注意力頭是線性混合的，這在實踐中可能不完全成立。
視覺Transformer的顯著性圖
在計算機視覺中，注意力可視化通常採用顯著性圖的形式，突出模型認為重要的圖像區域。原始視覺Transformer（ViT）論文證明，任何層和頭的注意力分數都可以投影回輸入圖像作為熱力圖。較深的層往往產生更具語義意義的圖，捕捉物體邊界和場景結構。然而，由於視覺Transformer通常以自監督目標訓練，這些圖本質上不具類別敏感性。類別判別注意力圖（CDAM）通過將注意力權重與相對於類別token的梯度相結合來解決此限制，產生突出特定分類決策相關區域的圖。
解讀注意力權重
解讀注意力權重需要謹慎，因為該機制並不總是直接對應於人類直覺。在翻譯中，注意力權重通常反映對齊，但它們也可以編碼其他語言屬性，如句法或話語結構。注意力的軟性質意味著權重分佈在許多token上，單個輸出token可能依賴於多個輸入的加權組合。這與硬注意力形成對比，後者僅選擇一個輸入，通常表現較差，因為它丟棄了潛在有用的上下文信息。
研究人員提出了幾種解讀注意力的框架。一種方法將注意力視為對齊模型，其中權重指示源元素與目標元素之間的對應關係。另一種觀點將注意力視為路由機制，信息沿加權路徑通過網絡流動。可視化工具通常支持這兩種視角，允許用戶在原始權重、聚合展開和基於梯度的歸因之間切換。儘管取得了這些進展，注意力權重與模型行為之間的關係仍是一個活躍的研究領域，一些研究表明注意力可能具有對抗性，或者多種注意力模式可以產生相似的預測。
在模型調試與可解釋性中的應用
注意力可視化是基於Transformer模型的主要調試工具。當模型產生意外輸出時，檢查注意力圖可以揭示其是否關注虛假相關性（如標點或停用詞）而非有意義的內容。例如，在問答中，注意力圖可以顯示模型在提取答案時是否關注正確的段落區域。在摘要生成中，它們可以指示模型是否不成比例地依賴文檔開頭。
在大型語言模型的背景下，注意力可視化已被用於研究諸如上下文學習、事實檢索和幻覺等現象。Anthropic和OpenAI等機構的研究人員發表了使用注意力圖的分析，以追蹤模型如何從上下文或內部知識中檢索信息。這些可視化為可解釋性研究提供了信息，儘管它們通常輔以更複雜的技術，如激活修補或探測分類器。
計算考量與優化
可視化非常長序列中的注意力會帶來計算挑戰。注意力矩陣的大小隨token數量呈二次增長，使得存儲和計算對於數萬個token的輸入而言成本高昂。Flash Attention是一種將注意力計算劃分為適合更快片上內存的塊的實現，減少了內存使用並提高了效率，而不犧牲準確性。這種優化使得在更長上下文中可視化注意力成為可能，儘管生成的矩陣可能仍然太大而無法直接顯示，需要聚合或降採樣。
Meta開發的FlexAttention提供了一個靈活的注意力內核，允許用戶在softmax之前修改注意力分數並動態選擇最優算法。此類工具促進了注意力變體的實驗，並支持自定義可視化流程。對於實際可視化，庫和框架通常提供內置函數來從訓練模型中提取注意力權重，抽象掉底層實現細節。
局限性與未來方向
注意力可視化具有顯著的局限性。權重不一定是因果性的，意味著它們並不直接指示哪些輸入以反事實方式影響了輸出。基於梯度的方法（如結合梯度的注意力展開）試圖解決此問題，但依賴於近似。此外，多頭注意力產生許多圖，選擇可視化哪些頭可能使解讀產生偏差。一些研究人員認為，注意力圖應被視為假設而非確定性解釋，並應通過干預實驗進行驗證。
未來方向包括交互式可視化工具，允許用戶實時探索跨層和跨頭的注意力，以及將注意力與其他可解釋性技術相結合的方法。隨著模型變得更大且輸入變得模態化，可視化文本、圖像和音頻之間的注意力將需要新的表示形式。儘管存在這些挑戰，注意力可視化仍然是理解基於Transformer模型的最可訪問且廣泛使用的方法之一，彌合了複雜數學與人類推理之間的差距。