- 大模型开发范式： LLM的局限性：知识时效性、专业能力有限、定制化成本高
- RAG和Finetune RAG检索增强生成：外挂一个知识库，成本低，可实时更新，但是受基座模型影响大，基座模型的上限，单次回答的时候需要把问题和知识都喂给模型，上下文很长
- langchain是一个开源框架，为各种LLM提供接口 核心模块：链-将组件实现端到端应用 检索问答链：实现了RAG的全部流程 加载源文件 文档分块 文档向量化 将InternLM部署到本地，然后封装一个LLM类，就可以进行调用了
- RAG的优化建议： 检索方面——基于于一进行分割，保证每一个chunk的语义完整、对每一个chunk生成概括性索引，匹配索引 prompt：迭代优化prompt策略
- web部署：gradio\streamlit等框架
os.walk: 这是一个 Python 中的文件和目录遍历工具，它返回一个生成器，用于生成目录树中每个目录的三元组。这个三元组包含当前目录的路径、当前目录下的子目录列表和当前目录下的文件列表。 dir_path: 想要遍历的目录的路径。它是传递给 os.walk 函数的参数。 for filepath, dirnames, filenames in os.walk(dir_path): 这是一个 for 循环，用于遍历 os.walk 生成的目录树中的每个目录。在每次迭代中，filepath 是当前目录的路径，dirnames 是当前目录下的子目录列表，而 filenames 是当前目录下的文件列表。 通过这个循环，你可以逐一处理目录树中的每个目录，获取每个目录下的子目录和文件，并执行相应的操作。这对于递归地处理文件系统中的目录结构非常有用，例如查找特定类型的文件、进行文件操作等。