用keras进行大数据训练,为了加快训练,需要提前制作训练集。 由于HDF5的特性,所有数据需要一次性读入到内存中,才能保存。 为此,我采用分批次分为2个以上HDF5进行存储。 1、先读取每个标签下的图片,并设置标签 def load_dataset(path_name,data_path): images = [] labels = [] train_images = [] valid_images = [] train_labels = [] valid_labels = [] counter = 0 allpath = os.listdir(path_name) nb