台灣大學電機工程學系 李宏毅教授 ～專文推薦～
很高興看到Datawhale的王琦、楊毅遠、江季等同學將我的線上錄影轉化為可閱讀的教材，他們的努力使我的教學內容能接觸更多學子。希望這本書能幫助更多人探索深度學習領域，激發更多學子對這個領域的興趣和熱情。

■ 名師授課精華，一本掌握深度學習核心觀念
台灣大學電機工程學系李宏毅教授開設的「機器學習」與「生成式AI」課程在YouTube上廣受歡迎，累積超過30萬訂閱，影響力橫跨學界與業界。
本書依據李宏毅教授「機器學習」課程中與深度學習相關的內容編寫，並融合近年課程更新重點，為AI學習者提供最完整、最系統化的深度學習知識架構。

■ 從基礎到進階，完整呈現深度學習關鍵知識
內容包括了深度學習的基礎知識、類神經網路的訓練技巧、生成模型、自監督學習（包括 BERT 和 GPT）、擴散模型、元學習、神經網路壓縮等。此外，還探討了如何解決類神經網路訓練中的常見問題，如局部最小值、鞍點、批次與動量、自動調整學習速率等。

■ 理論實務兼具，打造易懂又實用的學習體驗
在理論嚴謹的基礎上，本書保留了課程中大量生動有趣的例子，幫助讀者從生活化的角度瞭解深度學習的概念、建模過程與核心演算法細節。適合對深度學習感興趣，想要入門深度學習的讀者閱讀，更可作為深度學習相關課程的教材。

王琦
上海交通大學人工智能教育部重點實驗室博士研究生，碩士畢業於中國科學院大學。Datawhale成員，《Easy RL：強化學習教程》作者，英特爾邊緣計算創新大使，Hugging Face社區志願者，AI TIME成員。主要研究方向為強化學習、計算機視覺、深度學習。曾獲「中國光谷．華為杯」第十九屆中國研究生數學建模競賽二等獎、中國大學生計算機設計大賽二等獎、亞太地區大學生數學建模競賽（APMCM）二等獎，並發表多篇SCI/EI論文。

楊毅遠
牛津大學計算機系博士研究生，碩士畢業於清華大學。Datawhale成員，《Easy RL：強化學習教程》作者。主要研究方向為時間序列、資料探勘、智能傳感系統及深度學習。曾獲中國國家獎學金、北京市優秀畢業生、清華大學優秀碩士學位論文及中國大學生智能汽車競賽總冠軍等榮譽，並發表多篇SCI/EI論文。

江季
網易高級算法工程師，碩士畢業於北京大學。Datawhale成員，《Easy RL：強化學習教程》作者。主要研究方向為強化學習、深度學習、大模型及機器人等。曾獲中國國家獎學金、上海市優秀畢業生等榮譽，並取得多項強化學習與遊戲AI相關專利。

李宏毅教授 推薦序！

這本書是由王琦、楊毅遠、江季三位同學共同編寫，很高興碁峰資訊能夠出版繁體中文版。雖然我並非這本書的作者，也沒有參與書籍的撰寫過程，但由於本書內容是根據我在 YouTube 頻道上的影片所整理編寫而成，由我來撰寫推薦序再適合不過了。

我從 2014 年起開始任教，並於 2015 年在台灣大學首次開設以深度學習為主軸的課程，至今 2025 年撰寫此推薦序之時，已經走過十個年頭。這些年來，我一直持續將課程內容錄製下來。2015 年時，我只是將影片放在個人網頁上，自 2016 年起，因為一些機緣巧合，我開始將課程影片公開在 YouTube 平台上。在這十年間，我不斷更新並豐富課程的內容，每一年的講授內容都有所不同。感謝廣大網友的熱烈支持，目前該頻道的訂閱人數已經達到 30 萬。

本書主要是依據我 2021 年的課程內容所撰寫，但也融合了其他年度的重要主題，例如第 19 章的內容是來自於 2023 年的課程。2021 年那時，在學校的大力支持下，我開設了一堂近 1400 位學生修習的課程。我當時希望從深度學習最基礎的觀念開始講起，逐步涵蓋我認為深度學習領域重要的各種主題。雖然本書的核心內容來自於 2021 年，但所涉及的都是深度學習的核心基礎概念，即使放在今天來看也依然具有高度的時效性。

本書的內容還是需要一些線性代數和微積分的基本概念才能看懂，如果是完全沒有理工背景的讀者，建議可以先到我的 YouTube 頻道觀看我在 2024 年所講授的《生成式人工智慧導論》。觀看後若對機器學習的技術有更進一步深入研究的興趣，可以考慮再進一步閱讀本書，或參考 2021 年的機器學習課程影片。

chapter 1 機器學習基礎
1.1 案例學習
1.2 線性模型

chapter 2 實踐方法論
2.1 模型偏差
2.2 最佳化問題
2.3 過擬合
2.4 交叉驗證
2.5 不匹配

chapter 3 深度學習基礎
3.1 局部最小值與鞍點
3.2 批次和動量
3.3 自適化學習率
3.4 學習率排程
3.5 最佳化總結
3.6 分類
3.7 批次正規化

chapter 4 卷積神經網路
4.1 觀察 1：檢測模式不需要整幅圖片
4.2 簡化 1：感知域
4.3 觀察 2：同樣的模式可能出現在圖片的不同區域
4.4 簡化 2：共用參數
4.5 簡化 1 和簡化 2 的總結
4.6 觀察 3：降取樣不影響模式檢測
4.7 簡化 3：池化
4.8 卷積神經網路的應用：下圍棋

chapter 5 遞迴神經網路
5.1 獨熱編碼
5.2 什麼是 RNN
5.3 RNN 架構
5.4 其他 RNN
5.5 LSTM 網路原理
5.6 RNN 的學習方式
5.7 如何解決 RNN 的梯度消失或梯度爆炸問題
5.8 RNN 的其他應用

chapter 6 自注意力機制
6.1 輸入是向量序列的情況
6.2 自注意力機制的運作原理
6.3 多頭自注意力
6.4 位置編碼
6.5 截斷自注意力
6.6 對比自注意力與卷積神經網路
6.7 對比自注意力與遞迴神經網路

chapter 7 Transformer
7.1 序列到序列模型
7.2 Transformer 結構
7.3 Transformer 編碼器
7.4 Transformer 解碼器
7.5 編碼器—解碼器注意力
7.6 Transformer 的訓練過程
7.7 序列到序列模型訓練常用技巧

chapter 8 生成模型
8.1 生成對抗網路
8.2 生成器與判別器的訓練過程
8.3 GAN 的應用案例
8.4 GAN 的理論介紹
8.5 WGAN 演算法
8.6 GAN 訓練的困難點與技巧
8.7 GAN 的效能評估方法
8.8 條件型生成
8.9 CycleGAN

chapter 9 擴散模型
9.1 擴散模型產生圖片的過程
9.2 降噪模組
9.3 訓練雜訊預測器

chapter 10 自監督學習
10.1 BERT
10.2 GPT

chapter 11 自動編碼器
11.1 自動編碼器的概念
11.2 為什麼需要自動編碼器
11.3 降噪自動編碼器
11.4 自動編碼器應用之特徵解離
11.5 自動編碼器應用之離散隱性表徵
11.6 自動編碼器的其他應用

chapter 12 對抗式攻擊
12.1 對抗式攻擊簡介
12.2 如何進行網路攻擊
12.3 快速梯度符號法
12.4 白箱攻擊與黑箱攻擊
12.5 其他模態資料被攻擊案例
12.6 現實世界中的攻擊
12.7 防禦方式中的被動防禦
12.8 防禦方式中的主動防禦

chapter 13 轉移學習
13.1 領域偏移
13.2 領域自適應
13.3 領域概化

chapter 14 增強式學習
14.1 增強式學習的應用
14.2 增強式學習框架
14.3 評價動作的標準

chapter 15 元學習
15.1 元學習的概念
15.2 元學習的三個步驟
15.3 元學習與機器學習
15.4 元學習的實例演算法
15.5 元學習的應用

chapter 16 終身學習
16.1 災難性遺忘
16.2 終身學習的評估方法
16.3 終身學習問題的主要解法

1chapter 17 網路壓縮
17.1 網路修剪
17.2 知識蒸餾
17.3 參數量化
17.4 網路架構設計
17.5 動態計算

chapter 18 可解釋性機器學習
18.1 可解釋性人工智慧的重要性
18.2 決策樹模型的可解釋性
18.3 可解釋性機器學習的目標
18.4 可解釋性機器學習中的局部解釋
18.5 可解釋性機器學習中的全局解釋
18.6 擴充與小結

chapter 19 ChatGPT
19.1 ChatGPT 簡介和功能
19.2 對 ChatGPT 的誤解
19.3 ChatGPT 背後的關鍵技術—預訓練
19.4 ChatGPT 帶來的研究問題