Skip to content

Latest commit

 

History

History
51 lines (42 loc) · 1.58 KB

README.md

File metadata and controls

51 lines (42 loc) · 1.58 KB

从零搭建大模型RAG知识库

本项目从零开始实现了大模型外接知识库的流程:

  1. 中文数据集处理
  2. 词向量模型训练
  3. 文档向量化
  4. 向量数据库存储知识库
  5. 本地ChatGLM2-6B大模型部署
  6. 简单的知识库应用

项目结构

  • corpus:存放知识库文档的文件夹
  • data:词向量模型训练相关的数据(模型文件较大,请自行下载模型)
  • doc:词向量模型训练的源码、文档
  • llm_server:简单的知识库应用
  • vector_db:将corpus里的文档存入qdrant向量数据库
  • config.json:项目的一些配置
    • OPENAI_API_KEY:openai的api key
    • EMBEDDING_MODEL_TYPE:文本向量化的模型openai或word2vec
    • CHAT_MODEL_TYPE:对话大模型openai或chatglm
    • CHATGLM_PORT:ChatGLM本地部署的端口
    • **PATH:一些路径,以项目根目录为起点
    • COLLECTION_NAME:向量数据库Collection的名称

运行

生成持久化知识库

cd vector_db
pip install -r requirements.txt
python main.py

main.py会自动创建名为COLLECTION_NAME的向量数据库,并将corpus文件夹中的文档向量化存储到数据库中

运行应用

cd llm_server
pip install -r requirements.txt
python main.py

运行本地部署的ChatGLM2-6B

参考ChatGLM2-6B官方文档

教程