创建并上传数据
平台提供 AI 数据管理能力,您可以将任务所需的数据都上传到创建的数据集中,并在项目中挂载该数据集,那么调试或训练时便可以使用数据集中的数据了。
一次任务最多可同时挂载三个数据集,建议您合理分配数据集中应包含的数据。
说明:数据的上传消耗持久化存储,超过免费存储额度将产生费用。
# 前提条件
待上传的数据文件需满足:
- 文件名为 1-64 个字符,不可含
/
,也不可单纯为 “.” 或 “..”。 - 如果是压缩文件,需是 tar、zip、tar.gz、rar 格式的,其他格式建议解压后上传。
# 创建数据集
平台左侧导航栏中选择 数据,随后单击 数据 页右上角的 创建数据。
在 创建数据 页面填写数据集信息。
数据来源:选择数据集。
数据名称:数据集名称在同一空间下唯一。
标签:选择恰当的标签。
公开性:请依据实际情况配置。
单击右下角 创建,数据集创建成功并进入 创建新版本 页。
此时数据集为空,您需在本页选择一种方法上传数据。
# 网页上传
适合轻量小数据的上传,支持各种格式文件。单次上传的总文件数不超过 50、单文件不超过 2G。
选择 网页上传文件,随后按提示上传文件。
支持一次添加 3 个文件,单个文件需小于 2G,且文件名需为 1-64 个字符,不可含/
,也不可单纯为 “.” 或 “..”。
文件上传后,在右侧 文件操作 区域调整(解压/删除/重命名)已上传文件。
文件夹新建后不可删除,文件夹名需为 1-64 个字符,不可含/
,也不可单纯为 “.” 或 “..”。单击 确定,数据保存为版本。
您在训练和调试时可选择该版本,即可使用刚才上传的数据。如需修改数据,需基于该版本新建版本。
# SFTP上传
适合 2G 以上的大数据上传,或对传输环境的稳定与安全性要求较高的。
选择 SFTP传输,随后选择 文件上传,则②中返回文件传输地址信息。
将信息对应填写到 “sftp传输工具” 中,连接通道并上传代码,下图以 XFTP 工具为例介绍信息填写方法。
使用其他工具连接与上传,详细步骤可参考:- cmd:Windows 自带该工具
- mac终端:MacOS 自带该工具
- powershell:Windows 自带该工具
- winscp:需下载并安装 WinScp
- xftp:需下载并安装 Xftp
传输完成后关闭传输通道并手动刷新。
调整(解压/删除/重命名文件和文件夹)上传后的文件及文件夹。
单击底部 确定,数据保存为版本。
您在训练和调试时可选择该版本,即可使用刚才上传的数据。如需修改数据,需基于该版本新建版本。