>>> 系列 · Python for Laos
生成式深度学习
教计算机绘画、写作、作曲和想象:从 VAE、GAN、扩散模型、Transformer 一直到 DALL·E 和 Stable Diffusion。共 14 课,附可在普通电脑上运行的 PyTorch 代码。
- 14
- 课程
- 13
- 示例代码
- 3
- 部分
- 中高级
- 级别
关于本系列: 本系列按照 David Foster 所著《Generative Deep Learning》(第 2 版,O'Reilly,2023)的章节顺序,用我们自己的话重新总结和讲解。所有讲解和代码均为原创,并用 PyTorch 编写,并非摘自原书。运行代码前请先安装:pip install numpy torch scikit-learn gymnasium
第 1 部分 · 入门
第 2 部分 · 六大核心方法
第 03 课 · 六大核心方法
变分自编码器(VAE)
把图像压缩成潜在空间中的点,再从随机点画出新图像。
阅读本课 第 04 课 · 六大核心方法生成对抗网络(GAN)
伪造者对抗侦探:两个网络相互竞争,直到都变得很强。
阅读本课 第 05 课 · 六大核心方法自回归模型:LSTM 与 PixelCNN
一次生成一个 token 的文本或图像。
阅读本课 第 06 课 · 六大核心方法标准化流(RealNVP)
可逆函数:把噪声变成数据,还能精确地变回去。
阅读本课 第 07 课 · 六大核心方法基于能量的模型
给真实数据打低“能量”分,然后沿着能量下坡生成新样本。
阅读本课 第 08 课 · 六大核心方法扩散模型
一点点加噪声,再学会去除它——当今图像 AI 的核心。
阅读本课第 3 部分 · 应用
第 09 课 · 应用
Transformer 与 GPT
注意力机制:让每个词自己决定该关注哪些词。
阅读本课 第 10 课 · 应用进阶 GAN:StyleGAN 与 VQ-GAN
从 ProGAN 到 VQ-GAN:通往高清图像之路。
阅读本课 第 11 课 · 应用AI 作曲
音符也是 token:像预测下一个词那样预测下一个音符。
阅读本课 第 12 课 · 应用世界模型
让 agent 做梦:把世界学成模型,再在梦中训练。
阅读本课 第 13 课 · 应用多模态模型:DALL·E 2、Imagen、Stable Diffusion
输入文字,得到图像:把语言和视觉连接起来。
阅读本课 第 14 课 · 应用总结:生成式 AI 的未来
回顾六大家族,展望未来方向。
阅读本课