免费 GPU 或廉价算力
Author: ninehills
Labels: blog
Created: 2025-09-03T14:00:33Z
Link and comments: https://github.com/ninehills/blog/issues/133
免费 GPU 或廉价算力
1. 显卡需求和推荐模型
使用 int4 + QLora 训练（效果并不会比Full-finetuning差多少，lora rank设置较大且应用到所有层）
8K 上下文时，显存16GB的显卡则可以训练 20B 以下模型，显存24GB的显卡则可以训练 32B（含）以下模型。
推荐微调 1-7B 模型。推荐性价比显卡：4090，计算能力和显存带宽都足够好，比L40等商业卡还好用。
2. 服务商
- https://colab.research.google.com/
- https://modelscope.cn/
- 新用户赠送 100h GPU 时间（16G、24G显卡）
- https://aistudio.baidu.com/
- 每日签到可以领取免费 GPU 时间，但是限制框架只能使用 Paddle
- https://console.ebcloud.com/
- https://www.autodl.com/
- 显卡型号众多（适合测试模型在不同显卡上的性能），4090 2-3元/小时
- https://www.suanlix.cn/
- 4090 2-3 元/小时
- 有香港节点，下载模型和安装环境比较方便
- https://www.runpod.io/
- 国外较大服务商，下载模型和安装环境比较方便
- 4090 折约 4元/小时
3. 其他
建议开通对象存储服务（百度云、阿里云等），将打包好的 Docker 训练镜像、训练结果、数据集、工作目录等持久化到对象存储中。
国内节点配置要点：
- pip源：https://mirrors.tuna.tsinghua.edu.cn/help/pypi/
- conda源：https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/
- Huggingface 代理：https://hf-mirror.com/