添加HF和GitHub的模型或数据

更新时间:

本节将介绍如何添加Huggingface、Github上的模型、数据到平台。

# 步骤1:外部数据下载方式

# 1. 从Huggingface下载(同时适用于模型和数据下载):

文件体量 类别 方法 优点 缺点
大文件、小文件均可 专用CLI工具 huggingface-cli(推荐) 官方下载,工具齐全 无多线程
huggingcafa-cli+hf_transfer 官方下载,带加速功能 容错性低
基于URL 多线程下载器-如hfd (推荐)/IDM等 通用性高,鲁棒性好 操作麻烦
Python方法 snapshot_download 官方支持,功能齐全 脚本复杂
推荐小文件(部分不支持断点续传) 基于URL 浏览器网页下载 通用性好 无多线程
CLI工具 git clone命令 操作简单 无断点续传,无多线程,冗余文件
Python方法 from_protrained 官方支持,操作简单 存储不便,功能不全
hf_hub_download 官方支持 不支持全量下载,无多线程

# 2. 从GitHub下载

序号 方法 操作说明
1 直接下载ZIP文件 访问GitHub仓库,点击“Code”按钮,然后选择“Download ZIP”即可下载整个仓库的压缩文件。
2 使用Git克隆 若您已安装Git工具,可以克隆整个仓库到本地,以便获取所有文件及其提交历史。
3 使用GitHub Desktop 若您更倾向于图形化操作,GitHub Desktop提供了一种便捷的方式来管理和下载GitHub仓库。在GitHub Desktop应用中,您可以点击“File”->“Clone repository”并粘贴之前的URL链接,即可下载所需仓库。
4 下载单个文件 如果您只需要仓库中的一个或几个文件,可以直接在网页界面上下载。选择需要的文件,进入文件预览,点击右上角的“Download”按钮,即可下载该文件。
5 使用第三方工具或平台 有些第三方的工具和平台也允许您下载GitHub上的文件或项目,比如DownGit、GitZip等。通过简单的URL输入,您能够下载整个项目或特定的文件和文件夹。

# 步骤2:外部数据上传

目前平台提供网页上传、sftp上传和通过开发环境上传三种方式,上传时请注意保存版本(保存版本后才可挂载)。

# 步骤3:挂载数据到项目

数据/模型保存版本后,即可在初始化开发环境中配置,或在开发环境停止时,在项目详情页进行修改,挂载时请注意所选择的数据版本。