前言

【第一部分 利用開放模型】

第一章 生成媒體導論
生成圖像
生成文本
產生一段聲音
倫理與社會影響力
我們的過去與現狀
生成式AI模型是怎麼創造出來的？
總結

第二章 transformer
語言模型的實際運作
transformer區塊
transformer模型的發展譜系
預訓的威力
transformer回顧
專案時間：使用語言模型來生成文本
總結
練習題
挑戰題
參考文獻

第三章 壓縮資訊與表示資訊
AutoEncoders
Variational AutoEncoders
CLIP
CLIP的替代方案
專案時間：語義圖像搜尋
總結
練習題
挑戰題
參考文獻

第四章 擴散模型
關鍵洞察：逐步修正
訓練擴散模型
深入探討：雜訊排程
深入探討：UNet與替代方案
深入探討：擴散目標
專案時間：訓練你的擴散模型
總結
練習題
挑戰題
參考文獻

第五章 穩定擴散和條件生成
加入控制手段：條件擴散模型
提升效率：Latent Diffusion
Stable Diffusion：深入瞭解組件
綜合所有內容：註解採樣迴圈
開放資料，開放模型
專案時間：使用Gradio 建立互動式ML Demo
總結
練習題
挑戰題
參考文獻


【第二部分 運用遷移學習來建構生成模型】

第六章 微調語言模型
文本分類
生成文本
指令
適配器簡介
量化簡介
綜合所有內容
深入探討模型評估
專案時間：檢索增強生成
總結
練習題
挑戰題
參考文獻

第七章 微調Stable Diffusion
完整的Stable Diffusion微調
DreamBooth
訓練LoRA
賦予Stable Diffusion新能力
專案時間：自己訓練一個SDXL DreamBooth LoRA
總結
練習題
挑戰題
參考文獻


【第三部分 進一步探索】

第八章 文字轉圖像模型的創意應用
圖像轉圖像
圖像修補
提示詞加權與圖像編輯
透過反轉來編輯真實圖像
ControlNet
圖像提示與圖像變體
專案時間：你的創意畫布
總結
練習題
參考文獻

第九章 音訊生成
音訊資料
使用transformer-based 構來將語音轉為文字
從文字轉語音到音訊生成
評估音訊生成系統
下一步呢？
專案時間：完整的對話系統
總結
練習題
挑戰題
參考文獻

第十章 生成式AI的快速發展領域

偏好優化
極長的前後文
Mixture of Experts
優化與量化
資料
One Model to Rule Them All
電腦視覺
3D電腦視覺
影片生成
多模態
社群


附錄 A 開源工具
附錄 B LLM記憶體需求
附錄 C 全流程檢索增強生成
索引