在PyTorch中,可以使用torchvision.datasets
模块来加载常用的数据集。该模块提供了对以下常用数据集的支持:
- MNIST:手写数字数据集。
- FashionMNIST:时尚物品数据集。
- CIFAR10/CIFAR100:包含10/100个类别的彩色图像数据集。
- ImageNet:用于图像分类的大型数据库。
- COCO:用于目标检测、图像分割和图像标注的数据集。
加载数据集的一般步骤如下:
- 导入必要的模块:
from torchvision import datasets
- 定义数据集的变换(可选):
from torchvision import transforms transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,))])
这里的变换是将图像转换为张量,并进行归一化处理。
- 加载数据集:
train_dataset = datasets.MNIST(root='./data', train=True, transform=transform, download=True) test_dataset = datasets.MNIST(root='./data', train=False, transform=transform, download=True)
这里的root
参数指定数据集的下载和存储路径,train
参数表示加载训练集还是测试集,transform
参数指定对数据集进行的变换,download
参数表示是否下载数据集(仅在第一次运行时需要下载)。
- 创建数据加载器:
from torch.utils.data import DataLoader train_loader = DataLoader(dataset=train_dataset, batch_size=64, shuffle=True) test_loader = DataLoader(dataset=test_dataset, batch_size=64, shuffle=False)
这里的batch_size
参数指定每个批次的样本数,shuffle
参数表示是否对数据进行随机打乱。
通过上述步骤,就能够加载和使用PyTorch中的数据集进行训练和测试。