這篇文章描述了如何在Amazon SageMaker中使用TensorFlow對象檢測模型API來實(shí)現(xiàn)這一點(diǎn)。

首先，基于AWS示例筆記本，將解釋如何使用SageMaker端點(diǎn)在單個圖像上運(yùn)行模型。對于較小的圖像，這種方法可行，但對于較大的圖像，我們會遇到問題。

為了解決這些問題，改用批處理轉(zhuǎn)換作業(yè)。

起點(diǎn)：使用SageMaker TensorFLow對象檢測API進(jìn)行模型推斷

AWS提供了一些關(guān)于GitHub如何使用SageMaker的好例子。

使用此示例使用TensorFlow對象檢測API對對象檢測模型進(jìn)行預(yù)測：

將模型部署為端點(diǎn)時，可以通過調(diào)用端點(diǎn)，使用該模型一次推斷一個圖像。此代碼取自示例筆記本，顯示了如何定義TensorFlowModel并將其部署為模型端點(diǎn)：

import cv2

import sagemaker

from sagemaker．utils import name＿from＿base

from sagemaker．tensorflow import TensorFlowModel

role ＝ sagemaker．get＿execution＿role（）

model＿artefact ＝ ＇＜your－model－s3－path＞＇

model＿endpoint ＝ TensorFlowModel（

   name＝name＿from＿base（＇tf2－object－detection＇），

   model＿data＝model＿artefact，

   role＝role，

   framework＿version＝＇2．2＇，

）

predictor ＝ model＿endpoint．deploy（initial＿instance＿count＝1， instance＿type＝＇ml．m5．large＇）

然后，將圖像加載為NumPy數(shù)組，并將其解析為列表，以便將其傳遞給端點(diǎn)：

def image＿file＿to＿tensor（path）：

   cv＿img ＝ cv2．imread（path，1）．a(chǎn)stype（＇uint8＇）

   cv＿img ＝ cv2．cvtColor（cv＿img， cv2．COLOR＿BGR2RGB）

   return cv＿img

img ＝ image＿file＿to＿tensor（＇test＿images／22673445．jpg＇）

input ＝ ｛

 ＇instances＇： ［img．tolist（）］

｝

最后，調(diào)用端點(diǎn)：

detections ＝ predictor．predict（input）［＇predictions＇］［0］

問題：端點(diǎn)請求負(fù)載大小太大

這在使用小圖像時很好，因?yàn)锳PI調(diào)用的請求負(fù)載足夠小。然而，當(dāng)使用較大的圖片時，API返回413錯誤。這意味著有效負(fù)載超過了允許的大小，即6 MB。

當(dāng)然，我們可以在調(diào)用端點(diǎn)之前調(diào)整圖像的大小，但我想使用批處理轉(zhuǎn)換作業(yè)。

解決方案：改用批處理轉(zhuǎn)換作業(yè)

使用SageMaker批量轉(zhuǎn)換作業(yè)，你可以定義自己的最大負(fù)載大小，這樣我們就不會遇到413個錯誤。其次，這些作業(yè)可用于一次性處理全套圖像。

圖像需要存儲在S3存儲桶中。所有圖像都以批處理模式（名稱中的內(nèi)容）進(jìn)行處理，預(yù)測也存儲在S3上。

為了使用批處理轉(zhuǎn)換作業(yè)，我們再次定義了TensorFlowModel，但這次我們還定義了入口點(diǎn)和源目錄：

model＿batch ＝ TensorFlowModel（

   name＝name＿from＿base（＇tf2－object－detection＇），

   model＿data＝model＿artifact，

   role＝role，

   framework＿version＝＇2．2＇，

   entry＿point＝＇inference．py＇，

   source＿dir＝＇．＇，

）

inference．py代碼轉(zhuǎn)換模型的輸入和輸出數(shù)據(jù)，如文檔中所述。此代碼需要將請求負(fù)載（圖像）更改為NumPy數(shù)組，并將其解析為列表對象。

從這個示例開始，我更改了代碼，使其加載圖像并將其轉(zhuǎn)換為NumPy數(shù)組。inference．py中input＿h(yuǎn)andler函數(shù)更改為以下內(nèi)容：

import io

import json

import numpy as np

from PIL import Image

def input＿h(yuǎn)andler（data， context）：

   ＂＂＂ Pre－process request input before it is sent to TensorFlow Serving REST API

   Args：

       data （obj）： the request data， in format of dict or string

       context （Context）： an object containing request and configuration details

   Returns：

      （dict）： a JSON－serializable dict that contains request body and headers

  ＂＂＂

   if context．request＿content＿type ＝＝ ＂application／x－image＂：

       payload ＝ data．read（）              
       image ＝ Image．open（io．BytesIO（payload））        
       array ＝ np．a(chǎn)sarray（image）
       return json．dumps（｛＇instances＇： ［array．tolist（）］｝）
   raise ValueError（＇｛｛＂error＂： ＂unsupported content type ｛｝＂｝｝＇．format（
       context．request＿content＿type or ＂unknown＂））

注意，在上面的代碼中排除了output＿h(yuǎn)andler函數(shù)。

此函數(shù)需要Python包NumPy和Pillow，它們未安裝在運(yùn)行批處理推斷作業(yè)的機(jī)器上。

我們可以創(chuàng)建自己的鏡像并使用該鏡像（在TensorFlowModel對象初始化時使用image＿uri關(guān)鍵字）。

也可以提供requirements．txt并將其存儲在筆記本所在的文件夾中（稱為source＿dir＝“．”）。該文件在鏡像引導(dǎo)期間用于使用pip安裝所需的包。內(nèi)容為：

numpy

pillow

首先，想使用OpenCV（就像在endpoint示例中一樣），但該軟件包不太容易安裝。

我們現(xiàn)在使用模型創(chuàng)建transformer對象，而不是將模型部署為模型端點(diǎn)：

input＿path ＝ ＂s3：／／bucket／input＂

output＿path ＝ ＂s3：／／bucket／output＂

tensorflow＿serving＿transformer ＝ model＿batch．transformer（

   instance＿count＝1，

   instance＿type＝＂ml．m5．large＂，

   max＿concurrent＿transforms＝1，

   max＿payload＝5，

   output＿path＝output＿path，

）

最后，使用transform：

tensorflow＿serving＿transformer．transform（

   input＿path，

   content＿type＝＂application／x－image＂，

）

圖像由模型處理，結(jié)果將作為JSON文件最終在output＿path bucket中。命名等于輸入文件名，后跟．out擴(kuò)展名。你還可以調(diào)整和優(yōu)化實(shí)例類型、最大負(fù)載等。

最后

這很可能不是最具成本效益的方法，因?yàn)槲覀儗�圖像作為NumPy數(shù)組傳遞給轉(zhuǎn)換器。

此外，我們還可以在inference．py中調(diào)整output＿h(yuǎn)andler函數(shù)壓縮并存儲在S3上的JSON，或僅返回相關(guān)檢測。

       原文標(biāo)題 : SageMaker TensorFlow對象檢測模型