创建并上传数据

更新时间:

平台提供 AI 数据管理能力,您可以将任务所需的数据都上传到创建的数据集中,并在项目中挂载该数据集,那么调试或训练时便可以使用数据集中的数据了。
一次任务最多可同时挂载三个数据集,建议您合理分配数据集中应包含的数据。

说明:数据的上传消耗持久化存储,超过免费存储额度将产生费用。

# 前提条件

待上传的数据文件需满足:

  • 文件名为 1-64 个字符,不可含 /,也不可单纯为 “.” 或 “..”。
  • 如果是压缩文件,需是 tar、zip、tar.gz、rar 格式的,其他格式建议解压后上传。

# 创建数据集

  1. 平台左侧导航栏中选择 数据,随后单击 数据 页右上角的 创建数据

  2. 创建数据 页面填写数据集信息。

    • 数据来源:选择数据集。

    • 数据名称:数据集名称在同一空间下唯一。

    • 标签:选择恰当的标签。

    • 公开性:请依据实际情况配置。

  3. 单击右下角 创建,数据集创建成功并进入 创建新版本 页。
    此时数据集为空,您需在本页选择一种方法上传数据。

# 网页上传

适合轻量小数据的上传,支持各种格式文件。单次上传的总文件数不超过 50、单文件不超过 2G。

  1. 选择 网页上传文件,随后按提示上传文件。
    支持一次添加 3 个文件,单个文件需小于 2G,且文件名需为 1-64 个字符,不可含 /,也不可单纯为 “.” 或 “..”。

  2. 文件上传后,在右侧 文件操作 区域调整(解压/删除/重命名)已上传文件。
    文件夹新建后不可删除,文件夹名需为 1-64 个字符,不可含 /,也不可单纯为 “.” 或 “..”。

  3. 单击 确定,数据保存为版本。
    您在训练和调试时可选择该版本,即可使用刚才上传的数据。如需修改数据,需基于该版本新建版本。

# SFTP上传

适合 2G 以上的大数据上传,或对传输环境的稳定与安全性要求较高的。

  1. 选择 SFTP传输,随后选择 文件上传,则②中返回文件传输地址信息。

  2. 将信息对应填写到 “sftp传输工具” 中,连接通道并上传代码,下图以 XFTP 工具为例介绍信息填写方法。

    使用其他工具连接与上传,详细步骤可参考:

    • cmd:Windows 自带该工具
    • mac终端:MacOS 自带该工具
    • powershell:Windows 自带该工具
    • winscp:需下载并安装 WinScp
    • xftp:需下载并安装 Xftp
  3. 传输完成后关闭传输通道并手动刷新。

  4. 调整(解压/删除/重命名文件和文件夹)上传后的文件及文件夹。

  5. 单击底部 确定,数据保存为版本。
    您在训练和调试时可选择该版本,即可使用刚才上传的数据。如需修改数据,需基于该版本新建版本。