by Wsnhg

(4)XTuner 大模型单卡低成本微调实战_哔哩哔哩_bilibili

• LLM的Finetune
  • 对于数据构建对话模版，对话模版将信息分为三部分：
    • System：上下文信息，比如“你是一个医生”
    • User：用户的输入，比如“什么是睡眠呼吸暂停”
    • Assisstant：回答，比如“是一种在睡眠期间，暂停呼吸或呼吸减弱症状导致的睡眠紊乱”
  • 增量预训练
    • 目的：使模型学习到新的知识
    • 方法：System，User信息留空，只计算Assisstant的loss
  • 指令跟随
    • 目的：使模型学会对话模版
    • 方法：只计算Assisstant的loss
• QLoRA: 相比LoRA，base model量化为4-bit；优化器在CPU与GPU之间offload
• XTuner：打包好的LLM微调工具箱