虽然直观上看dropout是ensemble在分类性能上的一个近似，然而实际中，dropout毕竟还是在一个神经网络上进行的，只训练出了一套模型参数。那么他到底是因何而有效呢？
首先分析一个小故事
在自然界中，在中大型动物中，一般是有性繁殖，有性繁殖是指后代的基因从父母两方各继承一半。但是从直观上看，似乎无性繁殖更加合理，因为无性繁殖可以保留大段大段的优秀基因。而有性繁殖则将基因随机拆了又拆，破坏了大段基因的联合适应性。但是自然选择中毕竟没有选择无性繁殖，而选择了有性繁殖，须知物竞天择，适者生存。我们先做一个假设，那就是基因的力量在于混合的能力而非单个基因的能力。不管是有性繁殖还是无性繁殖都得遵循这个假设。为了证明有性繁殖的强大，我们先看一个概率学小知识
基本思想: 有性繁殖的方式不仅仅可以将优秀的基因传下来，还可以降低基因之间的联合适应性，使得复杂的大段大段基因联合适应性变成比较小的一个一个小段基因的联合适应性
dropout也能达到同样的效果，它强迫一个神经单元，和随机挑选出来的其他神经单元共同工作，达到好的效果。消除减弱了神经元节点间的联合适应性，增强了泛化能力
1 | import torch |
本文从梯度下降(Gradient Descent， GD)开始，讲述深度学习中的各种优化算法（优化器，Optimizer）
参考文章:【干货】深度学习必备：随机梯度下降（SGD）优化算法及可视化
Adam with Weight decay是Adam的一种优化
（1）正因为梯度下降法 容易收敛到局部最优，所以大家几乎从来不用梯度下降做非凸优化，包括 训练神经网络
（2）正因为随机梯度下降法 容易逃离鞍点 和泛化不好的 minima（主要是 sharp minima），所以 随机梯度下降（SGD）和它的变种（比如 Momentun、Adam）才是训练神经网络最流行的方法
torch.randn()：从标准正态分布采样torch.rand()：从均匀分布采样1 | import torch.nn as nn |
He初始化是专为 ReLU 激活函数设计，可保持每一层的方差一致
适用于 ReLU 及其变种（LeakyReLU、PReLU 等）网络
He初始化的公式 ：
He初始化的PyTorch实现 ：
1 | import torch.nn as nn |
mode：’fan_in’（保持输入方差）或’fan_out’（保持输出方差）nonlinearity：激活函数类型（如’relu’或’leaky_relu’）在模型越来越大的今天，常常使用在大规模数据集上预训练的模型参数初始化当前模型
预训练初始化适用于迁移学习场景
从远程下载并加载 ResNet-18 模型（17 个卷积层 + 1 个全连接层）的示例：
1 | import torchvision.models as models |
pretrained=True 时，PyTorch 会自动下载并加载远程预训练权重参数正交初始化确保权重矩阵正交，有效缓解梯度消失/爆炸
常常适用于循环神经网络（RNN、LSTM、GRU）中，强化学习中（如 PPO）网络的初始化也常用
正交初始化的 PyTorch 实现：
1 | nn.init.orthogonal_(weight) |
对于简单网络（如浅层 MLP），正交初始化的优势可能不明显，有时标准正态分布或 Xavier初始化 也能满足需求
相关参数: Weight decay(权重衰减)
添加L2或L1正则化, 详情可参考: ML——模型的方差与偏差
参考文档：
L1正则化:
L2正则化:
weight_decay, 默认为0PyTorch中的weight_decay参数说明
weight_decay (float, optional): weight decay (L2 penalty) (default: 0)
我之前的实现代码:
1 | # zero the parameter gradients |
# L1 regularization后面是添加的L1 正则化就整体而言，对比加入正则化和未加入正则化的模型，训练输出的loss和Accuracy信息，我们可以发现，加入正则化后，loss下降的速度会变慢，准确率Accuracy的上升速度会变慢，并且未加入正则化模型的loss和Accuracy的浮动比较大（或者方差比较大），而加入正则化的模型训练loss和Accuracy，表现的比较平滑。并且随着正则化的权重lambda越大，表现的更加平滑。这其实就是正则化的对模型的惩罚作用，通过正则化可以使得模型表现的更加平滑，即通过正则化可以有效解决模型过拟合的问题
Soft Weight Sharing
(auxiliary classifiers)
以下内容主要参考自重参数化技巧（Gumbel-Softmax）以及其中的回复讨论
1 | logits = model(x) |
1 | def sample_gumbel(shape, eps=1e-20, tens_type=torch.FloatTensor): |
1 | logits = model(x) |
1 | logits = model(x) |
r_hard(r_hard - r).detach()使得梯度为0，所以回传的实际是r的反向梯度pip install accelerateaccelerator.prepare() ：核心函数，用于包装模型、优化器、数据加载器等组件，自动适配分布式和混合精度设置accelerator.backward() ：替代传统的 loss.backward()，在分布式环境中确保梯度正确同步train.py）如下： 1 | import torch |
可简单通过 Accelerate 命令行工具配置训练环境并启动：
1 | accelerate launch --num_processes=2 train.py # 使用 2 个进程（如 2 个 GPU） |
--num_processes：指定进程数（通常等于 GPU 数量）python train.py，Accelerator 会自动适配环境更多启动命令参见下文
accelerate launch 命令详细说明accelerate launch 是 HuggingFace Accelerate 库的核心命令，用于启动分布式训练脚本，它能自动处理多卡、多机等复杂分布式环境的配置
accelerate launch 的核心作用是：
Accelerator 实例，使其能正确处理模型、数据的分布式适配accelerate launch 命令基本语法
1 | accelerate launch [启动参数] your_script.py [脚本参数] |
[启动参数]：控制分布式训练的配置（如使用的 GPU 数量、分布式策略等）[脚本参数]：传递给你的训练脚本（your_script.py）的自定义参数（如 --epochs 10、--batch_size 32 等）--num_processes N：指定总进程数（通常等于参与训练的 GPU 总数）--num_processes 4 表示使用 4 个 GPU--num_machines N：指定机器数量（多机分布式训练时使用），默认值为 1（单机器）--machine_rank N：当使用多机时，指定当前机器的序号（从 0 开始）--machine_rank 0，从节点用 --machine_rank 1--main_process_ip IP地址：多机训练时，主节点的 IP 地址（供从节点连接）--main_process_port 端口号：主节点的通信端口（默认 29500，需确保端口未被占用）nn.DataParallel 或 DistributedDataParallel（数据并行）--use_fsdp：--fsdp_fully_shard：完全分片参数、梯度和优化器状态（最大程度节省内存）--fsdp_transformer_layer_cls_to_wrap "类名"：指定 Transformer 层的类名（如 GPT2 的 GPT2Layer、BERT 的 BertLayer），用于自动分片模型层--fsdp_sharding_strategy 策略：分片策略，可选 FULL_SHARD（完全分片）、SHARD_GRAD_OP（梯度和优化器分片）等--use_deepspeed：deepspeed）--deepspeed 配置文件路径 指定--mixed_precision [mode]：指定混合精度策略[mode] 为：no：不使用混合精度（默认）fp16：使用 FP16 混合精度bf16：使用 BF16 混合精度（需 GPU 支持，如 A100、RTX 3090 等）fp8：使用 FP8 混合精度（需 PyTorch ≥ 2.0 且 GPU 支持）--config_file 配置文件路径：通过 YAML 配置文件指定所有参数（推荐复杂场景使用），无需在命令行逐个输入--debug：启用调试模式，打印详细的分布式初始化日志，便于排查问题--gradient_accumulation_steps N：指定梯度累积步数（等价于在代码中设置，但通过命令行更灵活）对于复杂配置（如 FSDP/DeepSpeed 细节），建议使用 YAML 配置文件，步骤如下：
第一步：生成默认配置文件 ：
1 | accelerate launch --config_file accelerate_config.yaml --generate_config |
--generate_config 表示运行后会交互式提问，自动生成配置文件accelerate_config.yaml 文件第二步：示例配置文件（FSDP 场景） ：：
1 | compute_environment: LOCAL_MACHINE # 本地机器环境 |
第三步：使用配置文件启动 ：
1 | accelerate launch --config_file accelerate_config.yaml your_script.py --epochs 10 |
示例一：单机器多卡基础数据并行示例
1 | accelerate launch --num_processes 4 train.py --batch_size 32 |
示例二：启用 FSDP 训练大模型
1 | accelerate launch \ |
示例三：启用 DeepSpeed 与 ZeRO-3 优化（其中 ds_config.json 为 DeepSpeed 配置文件，定义 ZeRO 阶段、梯度裁剪等）
1 | accelerate launch \ |
nn.NLLLoss()：输入必须是 对数概率 （通常需先过nn.LogSoftmax(dim=1)）nn.CrossEntropyLoss()：输入是 logits，内部等价于 nn.LogSoftmax(dim=1) + nn.NLLLoss()用 CrossEntropyLoss（直接输入 logits）
1 | import torch |
用 NLLLoss（需先过LogSoftmax）
1 | # 先将logits转为对数概率 |
1 | # 直接用logits输入NLLLoss（会报错或结果错误） |
二分类任务时，CE Loss 常被称为 二元交叉熵（BCE Loss） ，与 NLL Loss 的关系同样成立：
nn.BCEWithLogitsLoss()：输入是 logits（单输出，如 \(s\)），内部先做 Sigmoid（\(\sigma(s) = 1/(1+e^{-s})\)），再计算BCE Loss：BCELoss 还可以直接使用
1 | torch.nn.BCELoss() |
BCELoss 对应的网络只有一个输出值CrossEntropyLoss 对应的网络有两个输出值BCELoss 与 CrossEntropyLoss等价CrossEntropyLoss 的计算公式中的 softmax 函数分子分母同时除以 shift（\(\text{shift} = max (x_i)\)）， 即可得到为下面的定义，进一步可得到 BCELoss 的计算公式使用
1 | torch.nn.MultiLabelMarginLoss() |
用于多标签分类的损失函数
CrossEntropyLoss 即可nn.BCELossnn.BCELoss 的话，输入的 input和target维度都为 (n, 1) 的维度CrossEntropyLoss 则输入的 input 为 (n x 2) 的维度NLLLoss 则一定记得在输出层最后加一层 log_softmax 层log 指的是以 e 为底的对数函数，而不是以10为底的log 是以 10 为底的，ln 才是以 e 为底的torch.utils.data.DataLoader 用于加载数据集，实现批量读取、多线程加载、数据 Shuffle等功能用法简单示例：
1 | from torch.utils.data import DataLoader, Dataset |
关键参数说明：
dataset：必须传入的数据集对象，这个类需实现 __len__/__getitem__batch_size：批次大小，控制每次返回的样本数，当存在 Global Batch Size 和 Micro Batch Size，一般是 Micro Batch Sizeshuffle：训练时建议设为 True，验证/测试时设为 False， 默认为 NoneTrue 时，每个 epoch 开始时会重新打乱数据drop_last：数据量无法被batch_size整除时，是否丢弃最后不足一个批次的样本num_workers：多线程加载数据，可根据 CPU 核心数调整pin_memory：若使用 GPU 训练，设为 True 可减少数据拷贝耗时，默认为 False注意事项
tensor 类型（若数据集返回 numpy 或 列表 类型的数据，会自动转换）；shuffle=True 会在每个 epoch 开始时会重新打乱数据，保证训练随机性；len(dataloader) 表示单个 epoch 的批次数量（计算规则：ceil(总数据量/batch_size) 或 floor，取决于 drop_last）一般的 Global Batch Step 计算实现如下：
1 | total_global_step = len(dataloader) * epoches // (global_batch_size / micro_batch_size) |
len(dataloader)：数据集中包含的 Micro Batch 数量(global_batch_size / micro_batch_size)：一个 Global Batch 中包含的 Micro Batch 数量有趣的问题：假定 drop_last=False, micro_batch_size = 8, global_batch_size = 128, epoch=1
2040 时，total_global_step = 152041 时，total_global_step = 16问题出现的原因：
2040 时，len(dataloader) = 2552041 时，len(dataloader) = 256global_batch_size = 128 的整除边界，但是造成了 Global Step 多了 1，这很反直觉切不容易排查