添加HF和GitHub的模型或数据
更新时间:
本节将介绍如何添加Huggingface、Github上的模型、数据到平台。
# 步骤1:外部数据下载方式
# 1. 从Huggingface下载(同时适用于模型和数据下载):
- 具体下载方法参考:huggingface下载
文件体量 | 类别 | 方法 | 优点 | 缺点 |
---|---|---|---|---|
大文件、小文件均可 | 专用CLI工具 | huggingface-cli(推荐) | 官方下载,工具齐全 | 无多线程 |
huggingcafa-cli+hf_transfer | 官方下载,带加速功能 | 容错性低 | ||
基于URL | 多线程下载器-如hfd (推荐)/IDM等 | 通用性高,鲁棒性好 | 操作麻烦 | |
Python方法 | snapshot_download | 官方支持,功能齐全 | 脚本复杂 | |
推荐小文件(部分不支持断点续传) | 基于URL | 浏览器网页下载 | 通用性好 | 无多线程 |
CLI工具 | git clone命令 | 操作简单 | 无断点续传,无多线程,冗余文件 | |
Python方法 | from_protrained | 官方支持,操作简单 | 存储不便,功能不全 | |
hf_hub_download | 官方支持 | 不支持全量下载,无多线程 |
# 2. 从GitHub下载
序号 | 方法 | 操作说明 |
---|---|---|
1 | 直接下载ZIP文件 | 访问GitHub仓库,点击“Code”按钮,然后选择“Download ZIP”即可下载整个仓库的压缩文件。 |
2 | 使用Git克隆 | 若您已安装Git工具,可以克隆整个仓库到本地,以便获取所有文件及其提交历史。 |
3 | 使用GitHub Desktop | 若您更倾向于图形化操作,GitHub Desktop提供了一种便捷的方式来管理和下载GitHub仓库。在GitHub Desktop应用中,您可以点击“File”->“Clone repository”并粘贴之前的URL链接,即可下载所需仓库。 |
4 | 下载单个文件 | 如果您只需要仓库中的一个或几个文件,可以直接在网页界面上下载。选择需要的文件,进入文件预览,点击右上角的“Download”按钮,即可下载该文件。 |
5 | 使用第三方工具或平台 | 有些第三方的工具和平台也允许您下载GitHub上的文件或项目,比如DownGit、GitZip等。通过简单的URL输入,您能够下载整个项目或特定的文件和文件夹。 |
# 步骤2:外部数据上传
目前平台提供网页上传、sftp上传和通过开发环境上传三种方式,上传时请注意保存版本(保存版本后才可挂载)。
# 步骤3:挂载数据到项目
数据/模型保存版本后,即可在初始化开发环境中配置,或在开发环境停止时,在项目详情页进行修改,挂载时请注意所选择的数据版本。
← 任务输出下载 pip&apt安装加速 →