Git——管理HuggingFace项目

LFS环境安装

  • 配置HuggingFace环境需要安装git lfs
  • LFS全称Large File Storge，即大文件存储，可以帮助我们管理比较大的文件
  • Ubuntu安装
    1
    2
    3
    curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
    sudo apt-get install git-lfs
    git lfs install

拉取HuggingFace文件

  • 执行拉取操作

    1
    git clone https://huggingface.co/xxx/xxx

  • 该命令可在HuggingFace网站项目首页查找

  • git clone命令可以将整个项目下载下来，但是下载大的文件时可能会特别慢，最佳实践是：

    • 使用git clone xxx下载项目文件，待除大文件外的其他文件下载结束时结束命令
      • 一些未完成的项目会出现在.git/lfs/incomplete文件夹下，结束命令后可以删除该文件夹，该文件夹可能会存储较大的未完成文件，浪费存储
    • 使用网页或其他方式下载模型到指定目录下

其他

  • 如果直接使用transformers包下载Bert等预训练模型时，默认安装在~/.cache/huggingface/hub文件夹下