李宏毅 2025 年 Transformer 課程是其人工智能課程體系中的重要組成部分，在臺大李宏毅 2025 人工智能課程合集中有所涵蓋。以下是該課程的簡介：

課程內(nèi)容

Transformer 架構(gòu)基礎：從 Sequence-to-sequence（Seq2seq）模型的工作原理及其局限性講起，介紹如何利用自注意力機制改進傳統(tǒng) Seq2seq 模型，引入 Transformer 模型。講解 Transformer 采用的 Encoder - Decoder 框架，包括編碼器如何接收輸入序列并將其轉(zhuǎn)換成一系列特征表示，解碼器如何基于編碼后的信息逐步生成目標序列。

核心機制詳解：深入剖析 Self - Attention 的基本原理與具體過程，包括輸入如何通過乘上不同的變換矩陣產(chǎn)生不同的向量。介紹 “多頭” 注意力（“multi - headed” attention）機制，進一步完善自注意力層。為解決 Self - Attention 中詞的順序信息問題，講解 Position Encoding 操作。

模型細節(jié)與優(yōu)化：介紹 Transformer 內(nèi)部的子層，如自注意力機制（Multi - Head Attention）和前饋神經(jīng)網(wǎng)絡（Feed Forward），以及每個子層處理之后如何使用殘差連接和層歸一化（Add&Norm）對結(jié)果進行處理得到最后的輸出。探討 Transformer 架構(gòu)的一些變形，以及如何根據(jù)不同的設計思路，將 Decoder 部分設計為自回歸（Autoregressive）模型和非自回歸（Non - Autoregressive）模型。

實際應用與案例：展示多個真實世界的例子，說明 Transformer 如何應用于自然語言處理等領域，如語音翻譯、Text - to - Speech（TTS）Synthesis 等。

課程資料

課程資料豐富，不僅有視頻講座，還包括配套的幻燈片和筆記。

學習目標

通過該課程的學習，學生能夠深入理解 Transformer 的工作原理、內(nèi)部組件的功能，掌握 Transformer 在自然語言處理等領域的應用，為進一步研究和應用 Transformer 模型，以及從事相關的人工智能研究和開發(fā)工作打下堅實的基礎。