白嫖分享社
🔥 Soup — 一行 YAML 微调 8B 大模型 📦 AI工具 ｜ Python ｜ 开源项目 ➤ 通过 Layer Streaming 逐层加载模型，降低显存占用 ➤ RTX 3050 Laptop 4GB 实测运行 Llama-3.1-8B-Instruct + NF4 ➤ 实测峰值显存占用 3.32 GB，报告速度达 119.6 tok/s ➤ 支持本地 QLoRA 微调，无需依赖云端 GPU ➤ 通过 YAML 配置训练参数，一条命令启动训练 ➤ 自动检测 GPU、量化及 batch size 等设置 ➤ 严格校验配置字段，避免拼写错误被静默忽略 ➤ 修复 MLX 后端参数静默失效问题 ➤ 记录并展示 validation loss 验证损失 ➤ 提供 Colab T4 测试环境，验证流式与常驻模式结果 📌 简单说：面向大语言模型微调的 Python CLI 工具，通过逐层流式
