第 07 课 · 六大核心方法

基于能量的模型

给真实数据打低“能量”分，然后沿着能量下坡生成新样本。

基于能量的模型学习一个函数 E(x)：真实数据能量低，伪造数据能量高。p(x) ∝ exp(−E(x))，但归一化常数无法计算，所以用两个技巧：用对比散度训练，用朗之万动力学采样。

示例从随机噪声出发，沿 E 的梯度下坡，直到样本落在真实数据 (2, −1) 附近。

p(x) = exp(−E(x)) / Z （Z 无法计算）训练: loss = E(x_real) − E(x_fake) 采样: x ← x − η·∇ₓE(x) + noise （朗之万）

要点

训练：压低真实数据的能量，抬高伪造数据的能量（对比散度）
采样：从噪声出发一步步下坡——这一思想引出了扩散模型

generative-ai-ep07-energy-based.py

import torch, torch.nn as nn

torch.manual_seed(0)
real = lambda n: torch.randn(n, 2) * 0.3 + torch.tensor([2.0, -1.0])   # data near (2, -1)
E = nn.Sequential(nn.Linear(2, 64), nn.SiLU(), nn.Linear(64, 64), nn.SiLU(), nn.Linear(64, 1))
opt = torch.optim.Adam(E.parameters(), lr=1e-3)

def langevin(x, steps=30, step_size=0.05):
    """Walk downhill on the energy, plus a little noise."""
    x = x.clone().requires_grad_(True)
    for _ in range(steps):
        grad = torch.autograd.grad(E(x).sum(), x)[0]
        x = (x - step_size * grad + 0.01 * torch.randn_like(x)).detach().requires_grad_(True)
    return x.detach()

for step in range(501):
    fake = langevin(torch.rand(128, 2) * 8 - 4)      # start from uniform noise
    # contrastive divergence: real -> low energy, fake -> high energy
    loss = E(real(128)).mean() - E(fake).mean() + 0.1 * (E(real(128)) ** 2).mean()
    opt.zero_grad(); loss.backward(); opt.step()
    if step % 250 == 0:
        print(f"step {step:3d}  fake samples centred at {fake.mean(0).numpy().round(2)}")

输出结果

step   0  fake samples centred at [0.02 0.3 ]
step 250  fake samples centred at [ 1.98 -0.98]
step 500  fake samples centred at [ 2.02 -0.98]

#GenerativeAI
#DeepLearning
#PythonສຳລັບຄົນLaos
#AI
#ບອກຕໍ່ຄວາມຮູ້

主菜单

切换语言

货币

基于能量的模型

要点