趋动云 | 文档中心
前往控制台 →

初始化推理服务

更新时间：

推理服务可以利用训练好的模型对新数据进行预测和分析，首次创建推理服务需对其进行初始化操作。即配置推理服务的镜像、模型、实例规格、副本个数等信息。

# 操作步骤

  1. 在项目首页或开发环境/训练任务页面顶部浮动导航切换栏中点击 推理 ，进入创建推理服务页面。
    newInference
    此外，也可从以下入口创建推理服务：

    • 项目首页最近保存/导出的镜像、数据集或模型右侧菜单按钮。 entranceSave

    • 开发环境右边栏配置中镜像处 使用它部署推理服务 。
      entranceImage

    • 点击训练任务结果及可视化页面右上方 使用 ，展开 使用它部署推理服务 选项。
      entranceUse

  2. 参考如下说明，配置该页面信息。

    参数 说明
    镜像 将根据此处选择的镜像进行推理。在开发环境调试完成的情况下，推理服务创建时将自动带入调试完成的镜像，您也可以选择自制的镜像。
    模型 勾选推理服务实例使用的模型，最多可挂载 3 个，推理服务启动后，将按勾选顺序挂载到实例的/gemini/pretrain、/gemini/pretrain2、/gemini/pretrain3 目录下，如需在提交推理服务后更换模型或挂载顺序，可 更新 服务版本。
    代码 选择是否挂载代码，默认挂载。
    数据 勾选推理服务要挂载的数据，最多可挂载 3 个，推理服务运行后，上传的数据文件将在实例的 /gemini/data-1、/gemini/data-2、/gemini/data-3 目录下，如需在提交推理服务后更换数据或挂载顺序，可 更新 服务版本。
    实例规格 配置该推理服务资源量，平台为您提供了多种资源规格，您可根据实际需要选择，但资源使用不能超过您的个人配额剩余量和空间配额剩余量，超过后任务会进入排队等待足够配额释放。（您也可联系趋动云小助手提高配额。）
    副本 平台支持创建多个副本，当推理服务请求量大时，多个副本可同时响应请求。
    服务运行中支持修改副本数量。
    每个副本独立占用一份实例规格。
    开放端口 设置推理服务的开放端口，可让外部其他服务对接该推理服务，设置后支持修改。建议填写范围：1025~65535。具体使用方法可参考端口使用。
    注意：用户（一个账号对应一个用户）首次使用平台的开放端口功能，需签署《开放端口使用承诺协议》，以保证开放的端口用于正规研发与业务，而非违法、不良信息传播等。签署后，该用户可在平台中使用开放端口功能，不限于项目、空间，同一账号无需二次签署。开放端口生成的外部访问地址（域名:外部端口）可供外部人员访问。
    启动命令 默认在实例的 / 目录下执行启动命令，最多可输入 10000 个字符，命令之间以换行符分割。命令示例及详情参考启动命令说明

    资源配置 Tips：
    1.尽量选择无 跨云 标识的资源规格，这样任务运行就不涉及跨云。
    2.数据/模型上有与资源规格同色的云标识，则无需同步。因此，如果必须跨云：

    • 数据集偏大，则尽量选择与数据集有同色云标识的规格。
    • 模型偏大，则尽量选择与模型有同色云标识的规格。

  3. 点击右下角 提交 ，完成初始化并等待推理服务运行。

    推理服务创建后即默认启动，启动时，当有第一个副本进入“运行中”状态，服务即进入“运行中”；点击停止时，当所有副本都成功停止，服务才转为“停止”状态。
    注意 ：当您没有推理业务需求时，记得及时关闭服务，以免持续产生计费。

  4. 推理服务启动后，其核心配置（版本配置）无法再次修改，只能通过 更新 操作来更改核心配置，并在更新后生成新的推理服务版本。

    版本配置（跟随版本，无法直接修改） 服务配置（允许修改，即便服务在运行中）
    数据集/模型/镜像、实例规格、设置的开放端口、填写的启动命令。 服务名称、服务描述、服务副本数、扩缩容策略。

# 相关说明

# 启动命令

为方便您能在启动命令中更好地进行推理服务，平台提供了有关于数据集、模型、代码等相关的环境变量。可单击 查看环境变量 查看还有哪些环境变量，并参考 环境变量说明 了解其含义和具体使用方式。
inferenceStartCommand

启动命令示例

 #用户代码路径使用环境变量的启动命令
python3 $GEMINI_CODE/inference_service.py --mode inference --model myModel --batch_size 4 --input_dir $GEMINI_DATA_IN1/input_data

# 创建推理服务的参数配置带入

创建情况 参数配置
项目内没有创建过开发环境、训练任务 不需要带入参数，在推理创建页面自行配置。
项目内已经创建开发环境 自动带入开发环境的参数配置信息，即“代码挂载开关、数据挂载、模型挂载、镜像、资源规格、内部端口及备注”。
项目内未创建开发环境，已创建训练任务 自动带入最新创建的训练任务的参数配置，即“代码挂载开关、数据挂载、模型挂载、镜像、资源规格”。
从项目首页AI资产（镜像/模型/数据集）创建 在带入镜像/模型/数据集的同时，带入已创建的开发环境或训练任务参数配置。

← 升级推理服务 →