图像分类 – TensorFlow
Amazon SageMaker 图像分类 – TensorFlow 算法是一种有监督学习算法,支持使用 TensorFlow Hub
主题
如何使用 SageMaker 图像分类 – TensorFlow 算法。
您可以使用图像分类 – TensorFlow 算法作为 Amazon SageMaker 的内置算法。以下部分介绍如何将图像分类 – TensorFlow 与 SageMaker Python SDK 结合使用。有关如何从 Amazon SageMaker Studio UI 使用图像分类 – TensorFlow 的信息,请参阅 SageMaker JumpStart。
图像分类 – TensorFlow 算法支持使用任何预先训练的兼容 TensorFlow Hub 模型进行迁移学习。有关所有可用的预先训练模型的列表,请参阅 TensorFlow Hub 模型。每个预先训练的模型都有独特的 model_id
。以下示例使用 MobileNet V2 1.00 224 (model_id
:tensorflow-ic-imagenet-mobilenet-v2-100-224-classification-4
) 对自定义数据集进行微调。预先训练的模型均提前下载自 TensorFlow Hub,并存储在 Amazon S3 存储桶中,这样训练作业就可以在网络隔离的条件下运行。使用这些预先生成的模型训练构件来构造 SageMaker Estimator。
首先,检索 Docker 映像 URI、训练脚本 URI 和预先训练模型 URI。然后,根据需要更改超参数。您可以使用 hyperparameters.retrieve_default
查看包含所有可用超参数及其默认值的 Python 字典。有关更多信息,请参阅 图像分类 – TensorFlow 超参数。使用这些值来构造 SageMaker Estimator。
注意
不同模型具有不同的默认超参数值。对于较大的模型,默认批量大小较小,且 train_only_top_layer
超参数设置为 "True"
。
此示例使用 tf_flowers
.fit
。
from sagemaker import image_uris, model_uris, script_uris, hyperparameters from sagemaker.estimator import Estimator model_id, model_version =
"tensorflow-ic-imagenet-mobilenet-v2-100-224-classification-4"
, "*" training_instance_type ="ml.p3.2xlarge"
# Retrieve the Docker image train_image_uri = image_uris.retrieve(model_id=model_id,model_version=model_version,image_scope="training",instance_type=training_instance_type,region=None,framework=None) # Retrieve the training script train_source_uri = script_uris.retrieve(model_id=model_id, model_version=model_version, script_scope="training") # Retrieve the pretrained model tarball for transfer learning train_model_uri = model_uris.retrieve(model_id=model_id, model_version=model_version, model_scope="training") # Retrieve the default hyper-parameters for fine-tuning the model hyperparameters = hyperparameters.retrieve_default(model_id=model_id, model_version=model_version) # [Optional] Override default hyperparameters with custom values hyperparameters["epochs"] = "5" # The sample training data is available in the following S3 bucket training_data_bucket = f"jumpstart-cache-prod-{aws_region}" training_data_prefix = "training-datasets/tf_flowers/" training_dataset_s3_path = f"s3://{training_data_bucket}/{training_data_prefix}" output_bucket = sess.default_bucket() output_prefix = "jumpstart-example-ic-training" s3_output_location = f"s3://{output_bucket}/{output_prefix}/output" # Create SageMaker Estimator instance tf_ic_estimator = Estimator( role=aws_role, image_uri=train_image_uri, source_dir=train_source_uri, model_uri=train_model_uri, entry_point="transfer_learning.py", instance_count=1, instance_type=training_instance_type, max_run=360000, hyperparameters=hyperparameters, output_path=s3_output_location, ) # Use S3 path of the training data to launch SageMaker TrainingJob tf_ic_estimator.fit({"training": training_dataset_s3_path}, logs=True)
图像分类 – TensorFlow 算法的输入和输出接口
TensorFlow Hub 模型中列出的每个预先训练模型,都可以通过包含任意数量的图像类别的数据集进行微调。请注意如何格式化训练数据,以便输入到图像分类 – TensorFlow 模型中。
-
训练数据输入格式:您的训练数据应该是一个目录,其中具有与类的数量相同的子目录数。每个子目录都应包含属于该类的图像,且格式为 .jpg、.jpeg 或 .png。
以下是输入目录结构的示例。此示例数据集有两个类:roses
和 dandelion
。每个类文件夹中的图像文件可以使用任意名称。输入目录应托管在 Amazon S3 存储桶中,路径类似于如下所示:s3://
。请注意,结尾的 bucket_name
/input_directory
//
是必需的。
input_directory |--roses |--abc.jpg |--def.jpg |--dandelion |--ghi.jpg |--jkl.jpg
经过训练的模型输出标签映射文件,这些文件将类文件夹名称映射到输出类概率列表中的索引。此映射按字母顺序排列。例如,在前面的示例中,dandelion 类的索引为 0,roses 类的索引为 1。
训练完成后,您将得到经过微调的模型,您可以使用增量训练对其进行进一步训练,也可以部署该模型进行推理。图像分类 – TensorFlow 算法会自动将预处理和后处理签名添加到经过微调的模型中,这样模型就可以将图像作为输入并返回类概率。将类索引映射到类标签的文件与模型一起保存。
增量训练
您可以使用以前通过 SageMaker 训练的模型中的构件作为种子来训练新模型。当您想训练具有相同或类似数据的新模型时,这种增量训练可节省训练时间。
注意
您只能将 SageMaker 图像分类 – TensorFlow 模型植入到另一个在 SageMaker 中训练的图像分类 – TensorFlow 模型。
只要类别集合保持不变,就可以使用任何数据集进行增量训练。增量训练步骤与微调步骤类似,但不是使用预先训练的模型开始,而是从现有的微调模型开始。有关通过 SageMaker 图像分类 – TensorFlow 算法进行增量训练的示例,请参阅 SageMaker TensorFlow 简介 – 图像分类
使用图像分类 – TensorFlow 算法进行推理
您可以托管通过 TensorFlow 图像分类训练得到的微调模型,以便用于推理。任何用于推理的输入图像都必须采用 .jpg
、.jpeg
或 .png
格式,并且内容类型为 application/x-image
。图像分类 – TensorFlow 算法会自动调整输入图像的大小。
运行推理会生成概率值、所有类的类标签以及与概率最高的类索引对应的预测标签,这些标签以 JSON 格式编码。图像分类 – TensorFlow 模型的每个请求处理一个图像,并且仅输出一行。以下是 JSON 格式响应的示例:
accept: application/json;verbose {"probabilities": [prob_0, prob_1, prob_2, ...], "labels": [label_0, label_1, label_2, ...], "predicted_label": predicted_label}
如果 accept
设置为 application/json
,则模型仅输出概率。有关通过图像分类 – TensorFlow 算法进行训练和推理的更多信息,请参阅 SageMaker TensorFlow 简介 – 图像分类
图像分类 – TensorFlow 算法的 Amazon EC2 实例推荐
图像分类 – TensorFlow 算法支持使用所有 CPU 和 GPU 实例进行训练,包括:
-
ml.p2.xlarge
-
ml.p2.16xlarge
-
ml.p3.2xlarge
-
ml.p3.16xlarge
-
ml.g4dn.xlarge
-
ml.g4dn.16.xlarge
-
ml.g5.xlarge
-
ml.g5.48xlarge
对于大批量训练,建议使用具有更多内存的 GPU 实例。CPU(例如 M5)实例和 GPU(P2、P3、G4dn 或 G5)实例都可用于推理。
图像分类 – TensorFlow 示例笔记本
有关如何使用 SageMaker 图像分类 – TensorFlow 算法在自定义数据集上进行迁移学习的更多信息,请参阅 SageMaker TensorFlow 简介 – 图像分类
有关如何创建和访问可用于在 SageMaker 中运行示例的 Jupyter 笔记本实例的说明,请参阅 Amazon SageMaker 笔记本实例。创建笔记本实例并将其打开后,选择 SageMaker 示例选项卡以查看所有 SageMaker 示例的列表。要打开笔记本,请选择其使用选项卡,然后选择创建副本。