机器学习中的正则化技术

正则化是防止模型过拟合的重要手段。

L1 和 L2 正则化

L2 正则化（权重衰减）

损失函数：$L = L_0 + \lambda \sum w_i^2$

特点：

• 权重趋向于小但非零
• 对异常值不敏感

L1 正则化（Lasso）

损失函数：$L = L_0 + \lambda \sum |w_i|$

特点：

• 产生稀疏解
• 可用于特征选择

Dropout

训练时随机丢弃神经元：

dropout = nn.Dropout(p=0.5)

防止神经元间的共适应。

数据增强

• 图像：旋转、翻转、裁剪
• 文本：同义词替换、回译

Early Stopping

监控验证集性能，适时停止训练。

---

经验法则：

• 从简单模型开始
• 逐步增加正则化强度
• 交叉验证选择超参数