by Wsnhg

(3)基于 InternLM 和 LangChain 搭建你的知识库_哔哩哔哩_bilibili

• LLM 的局限

  • 知识时效性受限
  • 专业能力有限
  • 定制化成本高

• 大模型开发范式

  • RAG - 外挂知识库
    • 低成本
    • 实时更新
    • 受限于基座模型
    • 单次回答知识有限
  • Finetune - 新数据集微调
    • 成本高
    • 无法实时更新
    • 可个性化微调
    • 知识面广

• RAG：检索增强生成

  flowchart LR
  		A1[用户输入] -- Sentence Transformer --> A2[向量化文本]
  		A2 -- Chroma向量数据库匹配 --> A3[相似文本段]
  		A3 --> A4[Prompt]
  		A1 --> A4
  		A4 -- LLM --> A5[最终输出]
  

  • LangChain - 开源框架，为LLM提供通用接口简化应用开发流程

    flowchart LR
    		A[Local Docs] --> D
    		B[query] --> H
    		M --> C[answer]
    		subgraph ide1 [LangChain]
    			D["`**Text** generated by _UnstructedLoader_`"] --> E & L
    			E["`**Text chunks** generated by _TextSplitter_`"] --> F
    			F["`**Text embedding** generated by _SentenceTransformer_`"] --> G
    			G[(ChromaVectorDB)] --> I & K
    			H["`**Query embedding** generated by _SentenceTransformer_`"] --> I
    			I{"`_calculate similarity_`"} --> K
    			K{"`_fetch text chunks from embedding_`"} --> L
    			L{"`**prompt** from _prompt template_`"} --> M[LLM]
    		end
    

  • 构建向量数据库

    • 加载文档 → 去格式化
    • 文档分块 → 防止过长超过模型上下文上限
    • 文档向量化 → 支持语义检索

  • 优化思路

    • 基于RAG的问答系统性能受限于
      • 检索精度
        • 基于语义进行文本分割，提升语义完成性
        • 对chunk生成概括性索引，检索时只匹配索引
      • Propmt性能
        • 迭代优化