在 AI 训练中，推理服务是指利用已经训练好的机器学习模型，根据新的输入数据来生成预测结果的服务。

• 在创建完项目后，您可直接点击 推理 进入推理服务页面，创建提交推理服务。
• 在项目开发环境内完成调试后，可将保存的镜像或制作标准镜像在推理服务中使用。
• 在训练完成后，您也可以将任务结果或手动导出的模型用于部署推理服务，对新的数据进行预测和推断以检验模型的能力。

训练是为了得到一个性能良好的模型，而推理服务则是模型价值的体现。同时，推理服务的反馈也可以帮助指导模型的进一步训练和优化。

优势

• 部署快捷 ：支持从项目内的任意AI资产（镜像、模型、数据集）创建推理服务，交互操作更加便捷高效。
• 高并发 ：支持创建多个副本，满足高并发场景需求。
• 稳定性强 ：支持设置目标副本数，在副本因意外停服时，支持自动拉起副本，保障服务更加稳定。
• 节省资源 ：支持扩缩容，可轻松应对业务请求量的变化，节省资源。

推理服务功能

支持功能	说明
升级推理服务	支持在推理运行中进行升级，即滚动升级推理服务，也可在停止时更新推理服务。
回滚推理服务	平台会将历史配置存为老版本，支持一键点击回滚到老版本。
手动扩缩容	支持在推理服务中手动修改副本数。
定时扩缩容	支持设置定时扩缩容策略来修改副本数。
副本的监控服务	在推理服务概述页面和右侧边栏监控处可选择副本并查看副本状态。
调用推理服务	支持在服务运行时，通过平台提供的外部访问地址，访问推理服务。