《机器学习 Machine Learning》课程教学资源（实践资料）MNIST手写体识别实验.pdf_大学文库

定义数据集及数据操作我们定义一个函数create_.dataset来创建数据集。在这个函数中，我们定义好需要进行的数据增强和处理操作： 1.定义数据集。 2.定义进行数据增强和处理所需要的一些参数。 3.根据参数，生成对应的数据增强操作。 4.使用map映射函数，将数据操作应用到数据集。 5.对性成的数据集进行处理。 #根据数据集存储地址，生成数据集 def create_dataset(data_dir,training=True,batch_size=32,resize=(32,32) rescale:=1/(255*0.3081),shit=-0.1307/0.3081,buffer size:=64: 生成训练集和测试集的路径 data_train os.path.join(data_dir,'train')#train set data test=os.path.join(data_dir,'test')#test set 利用MnistDataset方法读取mnist数据集，如果training是True则读取训练集 ds ms.dataset.MnistDataset(data_train if training else data_test) map方法是非常有效的方法，可以整体对数据集进行处理，resize改变数据形状， rescale进行归一化，HWC2CHW改变图像通道 ds=ds.map(input_columns=["image"],operations=[CV.Resize(resize),CV.Rescale(rescale, shift),CV.HWC2CHW()]) #利用map方法改变数据集标签的数据类型 dsds.map(input_columns=["label"],operations=C.TypeCast(ms.int32)) #shuffle是打乱操作，同时设定了batchsize的大小，并将最后不足一个batch的数据抛 dsds.shuffle(buffer size=buffer size).batch(batch size,drop_remainder=True) return ds 其中， batch size:每组包含的数据个数，现设置每组包含32个数据。先进行修改图片尺寸，归一化，修改图像频道数等工作，再修改标签的数据类型。最后进行shuffle操作，同时设定batch_.size,设置drop_remainder为True,则数据集中不足最后一个batch的数据会被抛弃。 MindSpore支持进行多种数据处理和增强的操作，各种操作往往组合使用，具体可以参考数据处理与数据增强章节。步骤三. 定义网络我们选择相对简单的LeNet网络。LeNet网络不包括输入层的情况下，共有7层：2个卷积层、2个下采样层（池化层）、3个全连接层。每层都包含不同数量的训练参数，如下图所示： LeNet-5

定义数据集及数据操作我们定义一个函数 create_dataset 来创建数据集。在这个函数中，我们定义好需要进行的数据增强和处理操作： 1. 定义数据集。 2. 定义进行数据增强和处理所需要的一些参数。 3. 根据参数，生成对应的数据增强操作。 4. 使用 map 映射函数，将数据操作应用到数据集。 5. 对生成的数据集进行处理。 #根据数据集存储地址，生成数据集 def create_dataset(data_dir, training=True, batch_size=32, resize=(32, 32), rescale=1/(255*0.3081), shift=-0.1307/0.3081, buffer_size=64): #生成训练集和测试集的路径 data_train = os.path.join(data_dir, 'train') # train set data_test = os.path.join(data_dir, 'test') # test set #利用 MnistDataset 方法读取 mnist 数据集，如果 training 是 True 则读取训练集 ds = ms.dataset.MnistDataset(data_train if training else data_test) #map 方法是非常有效的方法，可以整体对数据集进行处理，resize 改变数据形状， rescale 进行归一化，HWC2CHW 改变图像通道 ds = ds.map(input_columns=["image"], operations=[CV.Resize(resize), CV.Rescale(rescale, shift), CV.HWC2CHW()]) #利用 map 方法改变数据集标签的数据类型 ds = ds.map(input_columns=["label"], operations=C.TypeCast(ms.int32)) # shuffle 是打乱操作，同时设定了 batchsize 的大小，并将最后不足一个 batch 的数据抛弃 ds = ds.shuffle(buffer_size=buffer_size).batch(batch_size, drop_remainder=True) return ds 其中， batch_size：每组包含的数据个数，现设置每组包含 32 个数据。先进行修改图片尺寸，归一化，修改图像频道数等工作，再修改标签的数据类型。最后进行 shuffle 操作，同时设定 batch_size，设置 drop_remainder 为 True，则数据集中不足最后一个 batch 的数据会被抛弃。 MindSpore 支持进行多种数据处理和增强的操作，各种操作往往组合使用，具体可以参考数据处理与数据增强章节。步骤三. 定义网络我们选择相对简单的 LeNet 网络。LeNet 网络不包括输入层的情况下，共有 7 层：2 个卷积层、2 个下采样层（池化层）、3 个全连接层。每层都包含不同数量的训练参数，如下图所示： LeNet-5

优化器：用于最小化损失函数，从而在训练过程中改进模型。定义了损失函数后，可以得到损失函数关于权重的梯度。梯度用于指示优化器优化权重的方向，以提高模型性能。定义损失函数 MindSpore 支持的损失函数有 SoftmaxCrossEntropyWithLogits、L1Loss、MSELoss 等。这里使用 SoftmaxCrossEntropyWithLogits 损失函数。 MindSpore 提供了 callback 机制，可以在训练过程中执行自定义逻辑，这里使用框架提供的 ModelCheckpoint 为例。 ModelCheckpoint 可以保存网络模型和参数，以便进行后续的 fine-tuning（微调）操作。 # 构建训练、验证函数进行模型训练和验证，提供数据路径，设定学习率，epoch 数量 def train(data_dir, lr=0.01, momentum=0.9, num_epochs=3): #调用函数，读取训练集 ds_train = create_dataset(data_dir) #调用函数，读取验证集 ds_eval = create_dataset(data_dir, training=False) #构建网络 net = LeNet5() #设定 loss 函数 loss = nn.loss.SoftmaxCrossEntropyWithLogits(sparse=True, reduction='mean') #设定优化器 opt = nn.Momentum(net.trainable_params(), lr, momentum) #设定损失监控 loss_cb = LossMonitor(per_print_times=ds_train.get_dataset_size()) #编译形成模型 model = Model(net, loss, opt, metrics={'acc', 'loss'}) # 训练网络，dataset_sink_mode 为 on_device 模式 model.train(num_epochs, ds_train, callbacks=[loss_cb], dataset_sink_mode=False) #用验证机评估网络表现 metrics = model.eval(ds_eval, dataset_sink_mode=False) #输出相关指标 print('Metrics:', metrics) 步骤五. 开始训练及验证过程 #main 函数负责调用之前定义的函数，完成整个训练验证过程 if __name__ == "__main__": #argsparse 是 python 的命令行解析的标准模块，可以通过命令行传入参数 import argparse parser = argparse.ArgumentParser() #设定训练数据路径 parser.add_argument('--data_url', required=False, default='./FCN/MNIST/', help='Location of data.')