主流数据网站,自己做企业网站,wordpress 更新网站,想设计一个公司的网站文章目录 1. 模型训练过程划分1.1. 定义过程1.1.1. 全局参数设置1.1.2. 模型定义 1.2. 数据集加载过程1.2.1. Dataset类#xff1a;创建数据集1.2.2. Dataloader类#xff1a;加载数据集 1.3. 训练循环 2. 优化分析2.1. 定义过程2.2. 数据集加载过程2.3. 训练循环2.3.1. 训练… 文章目录 1. 模型训练过程划分1.1. 定义过程1.1.1. 全局参数设置1.1.2. 模型定义 1.2. 数据集加载过程1.2.1. Dataset类创建数据集1.2.2. Dataloader类加载数据集 1.3. 训练循环 2. 优化分析2.1. 定义过程2.2. 数据集加载过程2.3. 训练循环2.3.1. 训练模型2.3.2. 评估模型 1. 模型训练过程划分
主过程在__main__下。
if __name__ __main__:...主过程分为定义过程、数据集加载过程和训练循环。
1.1. 定义过程
1.1.1. 全局参数设置
参数名作用learning_rate控制模型参数的更新步长device指定模型训练使用的设备CPU或GPUnum_epochs指定在训练集上训练的轮数batch_size指定每批数据的样本数num_workers指定加载数据集的进程数prefetch_factor指定每个进程预加载的批数
1.1.2. 模型定义
组件作用writer定义tensorboard的事件记录器net定义神经网络结构net.apply(init_weights)模型参数初始化criterion定义损失函数optimizer定义优化器
1.2. 数据集加载过程
1.2.1. Dataset类创建数据集
作用定义数据集的结构和访问数据集中样本的方式。定义过程中通常需要读取数据文件但这并不意味着将整个数据集加载到内存中。如何创建数据集 继承Dataset抽象类自定义数据集TensorDataset类通过包装张量创建数据集
1.2.2. Dataloader类加载数据集
作用 数据批量加载将数据集分成多个批次batches并逐批次地加载数据。数据打乱可选在每个训练周期epoch开始时DataLoader会对数据集进行随机打乱以确保在训练过程中每个样本被均匀地使用。 主要参数 参数作用dataset指定数据集batch_size指定每批数据的样本数shuffleFalse指定是否在每个训练周期epoch开始时进行数据打乱samplerNone指定如何从数据集中选择样本如果指定这个参数那么shuffle必须设置为Falsebatch_samplerNone指定生成每个批次中应包含的样本数据的索引。与batch_size、shuffle 、sampler and drop_last参数不兼容num_workers0指定进行数据加载的进程数collate_fnNone指定将一列表的样本合成mini-batch的方法用于映射型数据集pin_memoryFalse是否将数据缓存在物理RAM中以提高GPU传输效率drop_lastFalse是否在批次结束时丢弃剩余的样本当样本数量不是批次大小的整数倍时timeout0定义在每个批次上等待可用数据的最大秒数。如果超过这个时间还没有数据可用则抛出一个异常。默认值为0表示永不超时。worker_init_fnNone指定在每个工作进程启动时进行的初始化操作。可以用于设置共享的随机种子或其他全局状态。multiprocessing_contextNone指定多进程数据加载的上下文环境即多进程库generatorNone指定一个生成器对象来生成数据批次prefetch_factor2控制数据加载器预取数据的数量默认预取比实际所需的批次数量多2倍的数据persistent_workersFalse控制数据加载器的工作进程是否在数据加载完成后继续存在
1.3. 训练循环
外层循环控制在训练集上训练的轮数
for epoch in trange(num_epochs):...循环内部主要有以下模块 训练模型 for X, y in dataloader_train:X, y X.to(device), y.to(device)loss criterion(net(X), y)optimizer.zero_grad()loss.mean().backward()optimizer.step()评估模型 每轮训练后在数据集上损失 每轮训练损失每轮测试损失 def evaluate_loss(dataloader):评估给定数据集上模型的损失metric d2l.Accumulator(2) # 损失的总和, 样本数量with torch.no_grad():for X, y in dataloader:X, y X.to(device), y.to(device)loss criterion(net(X), y)metric.add(loss.sum(), loss.numel())return metric[0] / metric[1]2. 优化分析
2.1. 定义过程
特点每次程序运行只需要进行一次。优化思路将模型转移到GPU同时non_blockingTrue。
2.2. 数据集加载过程
特点只是定义数据加载的方式并没有加载数据。优化思路合理设置数据加载参数如 batch_size一般取能被训练集大小整除的值。过小则每次参数更新时所用的样本数较少模型无法充分地学习数据的特征和分布同时参数更新频繁模型收敛速度提高CPU到GPU的数据传输次数增加CPU和内存的消耗总量增加过大则每次参数更新时所用的样本数较多模型性能更稳定对GPU、CPU和内存的单次消耗增加对硬件配置要求更高同时参数更新缓慢模型收敛速度下降。num_workers一般取CPU内核数。过小则数据加载进程少数据加载缓慢过大则数据加载进程多对CPU要求高。pin_memory当设置为True时它告诉DataLoader将加载的数据张量固定在CPU内存中使数据传输到GPU的过程更快。prefetch_factor决定每次从磁盘加载多少个batch的数据到内存中预先加载batch越多在处理数据时不会因为数据加载的延迟而影响整体的训练速度同时可以让GPU在处理数据时保持忙碌从而提高GPU利用率过大则会导致CPU和内存消耗增加。
2.3. 训练循环
优化思路 训练和评估过程分离或者减少评估的次数模型从训练到评估需要进行状态切换模型评估过程开销很大。尽量使用非局部变量减少变量、对象的创建和销毁过程
2.3.1. 训练模型
特点训练结构固定优化思路 将数据转移到GPU同时non_blockingTrue。优化训练结构比如使用自动混合精度AMP要求pytorch1.6.0通过将模型和数据转换为低精度的形式如FP16可以显著减少内存使用即 from torch.cuda.amp import autocast, GradScalergrad_scaler GradScaler()
for epoch in range(num_epochs):start_time time.perf_counter()for X, y in dataloader_train:X, y X.to(device, non_blockingTrue), y.to(device, non_blockingTrue)with autocast():loss criterion(net(X), y)optimizer.zero_grad()grad_scaler.scale(loss.mean()).backward()grad_scaler.step(optimizer)grad_scaler.update()2.3.2. 评估模型
特点评估结构固定优化思路 将数据转移到GPU同时non_blockingTrue。减少不必要的运算比如梯度计算即 with torch.no_grad():...
