by Wsnhg

书生·浦语大模型全链路开源体系_哔哩哔哩_bilibili

• 背景

  • ChatGPT引爆大语言模型，而大模型目前逐渐成为发展通用人工智能的重要途径

  • 从模型到应用仍有很大的gap

    graph LR
        A[模型选型] --> B{业务场景是否复杂}
        B -- 是 --> C{算力是否足够}
        B -- 否 --> H[模型评测]
        C -- 是 --> D[继续训练/微调]
    		C -- 否 --> E[部分参数微调]
    		E --> F{是否需要环境交互}
        D --> F
    		F -- 是 --> G[构建智能体]
    		F -- 否 --> H
    		G --> H
    		H --> I[模型部署]
    

• 书生·浦语开放工具链

  • 数据 → 书生·万卷
    • 多模态：图像，文本，视频
  • 预训练 → InternLM-Train
  • 微调 → XTuner
    • 多生态，多算法，优化加速
  • 部署 → LMDeploy
    • LLM特点：内存开销大(缓存k/v)，动态shape，模型结构相对简单
    • 技术挑战：普通配置设备，提升推理速度，提升服务效率
  • 评测 → OpenCompass
  • 应用 → Lagent / AgentLego
    • LLM的局限：新知识获取，可靠性，逻辑计算，工具使用与交互
    • LLM → Agent