HuggingFace网站是一个人工智能学习的资源库,收集了包括计算机视觉、自然语言处理、语音处理、多模态、等多种任务的模型、数据集,国内外科研人员经常通过此网站下载所需的模型或数据集来开展工作。网站提供了git命令实现Linux系统打包下载,但是国内用户更多使用Windows系统,对我而言,一般也是先使用windows系统本地运行验证后,再放到服务器训练测试。因此,本文将介绍一下如何在Windows系统下打包下载HuggingFace模型(数据集),具体步骤如下:
(1)cmd命令安装huggingface_hub自动化包
pip install -U huggingface_hub
(2)检查是否安装成功
huggingface-cli --help
(3)登录帐号
huggingface-cli login
输入该命令后会要求填写令牌,具体获取步骤如步骤(4)
(4)huggingface官网获取token
登录官网,点头像后点击Access Tokens选项
点击“Create new tokens” 创建新的访问token
复制该token
(5)复制token到cmd命令行中,实现科学上网配置
复制token后,在cmd终端填写时不会显示,可以通过“粘贴快捷键”或者”点击鼠标右键“进行填写,一次即可。
(6)验证登录是否成功
huggingface-cli whoami
输入该命令后,若成功会显示用户名
(7)下载所需的模型/数据集
huggingface-cli download PixArt-alpha/PixArt-Sigma-XL-2-1024-MS --cache-dir ./
"PixArt-alpha/PixArt-Sigma-XL-2-1024-MS"是模型或数据集的官网名称
(8)断点续传
当下载中断后,可以通过如下命令在原有下载文件的基础上继续下载。
huggingface-cli download --repo-type model --token [你的token] --resume-download [数据集名称] --cache-dir [/本地路径] --local-dir-use-symlinks False
总结:通过huggingface-hub工具,Windows用户可快速实现模型/数据集的一键下载与管理,结合令牌配置、断点续传和本地路径优化,大幅提升效率。建议定期清理缓存、使用安全存储管理密钥,并探索hf_transfer加速大文件传输。赶快实践起来吧~(●'◡'●)