Normalization
批标准化（Batch Normalization, BN）
批标准化的主要步骤如下：
- 计算每个特征在整个批次中的平均值和标准差。
- 使用这些平均值和标准差对每个特征进行标准化。
- 应用可学习的比例和偏移参数。
层标准化（Layer Normalization, LN）
层标准化的主要步骤如下：
- 对于每个样本，计算每个特征的平均值和标准差。
- 使用这些平均值和标准差对每个特征进行标准化。
- 应用可学习的比例和偏移参数。
- Title: Normalization
- Author: Kaleido
- Created at : 2024-04-16 10:57:07
- Updated at : 2024-05-30 19:18:16
- Link: https://redefine.ohevan.com/2024/04/16/DL-标准化/
- License: This work is licensed under CC BY-NC-SA 4.0.
Comments