文章目录
要训练AI,大量的数据是基础。就像我们人去学习写作文一样,得先有大量的输入,然后才能有一个不错的输出。AI也一样,需要喂大量的数据以后,才可能有一个不错的预测。
我们产生的数据多种多样 乱七八糟。但计算机容易接受的是格式化的数据,因此数据集是相当必要的。
获取数据,格式化后对数据进行一系列操作。分割迭代,随机访问等等。
mindspore在加载数据是可以配置shuffle=True使得数据随机。或者使用shuffle方法访问数据
# option 1
train_dataset = MnistDataset("MNIST_Data/train", shuffle=True)
# option 2
train_dataset = train_dataset.shuffle(buffer_size=64)
启用随机后,每次访问的数据不一样,避免训练模型时候出现人为因素误差。
此外,mindspore还实现了数据集的生成器迭代器方法,使得在访问数据时候更加灵活方便。
生成器和迭代器具体可以参考python相关文章。这里不在赘述。