08阶段：大模型RAG开发（2）

Langchain框架介绍(v1.2)Langchain的介绍和入门学习目标● 理解什么是LangChain● 明确LangChain主要组件的作用● 了解LangChain常见的使用场景1.什么是LangChainLangChain由 Harrison Chase 创建于2022年10月它是围绕LLMs大语言模型建立的一个框架LLMs使用机器学习算法和海量数据来分析和理解自然语言GPT4、GPT5是LLMs最先进的代表国内字节的豆包、百度的文心一言、阿里的通义千问也属于LLMs。LangChain自身并不开发LLMs它的核心理念是为各种LLMs实现通用的接口把LLMs相关的组件“链接”在一起简化LLMs应用的开发难度方便开发者快速地开发复杂的LLMs应用。LangChain目前有两个语言的实现python、nodejs。本章节将会从两个方面全面介绍LangChain一个是LangChain组件的基本概念和应用另一个是LangChain常见的使用场景。LangChain是基于大模型做应用开发的它不开发大模型参考官网介绍https://python.langchain.com/docs/integrations/text_embedding/huggingfacehub大模型应用开发包括1.RAG系统开发 → 检索增强向量库提示词LLM2.智能体开发 → 提示词 LLM 工具 记忆3.微调langchain做大模型应用开发的indexes文档索引 记忆momery↓ ↑prompts --------------→ LLM ---------------→ output↓ ↓chains链 工具调用agent2.LangChain主要组件一个LangChain的应用是需要多个组件共同实现的LangChain主要支持6种组件Models模型各种类型的模型和模型集成比如GPT-4Prompts提示包括提示管理、提示优化和提示序列化Memory记忆用来保存和模型交互时的上下文状态Indexes索引用来结构化文档以便和模型交互Chains链一系列对各种组件的调用Agents代理决定模型采取哪些行动执行并且观察流程直到完成为止2.1 Models现在市面上的模型多如牛毛各种各样的模型不断出现LangChain模型组件提供了与各种模型的集成并为所有模型提供一个精简的统一接口。LangChain目前支持三种类型的模型LLMs、Chat Models(聊天模型)、Embeddings Models(嵌入模型)。LLMs: 大语言模型接收文本字符作为输入返回的也是文本字符。文本输入→LLM→文本输出聊天模型: 基于LLMs不同的是它接收聊天消息(一种特定格式的数据)作为输入返回的也是聊天消息。messages文本嵌入模型: 文本嵌入模型接收文本作为输入返回的是浮点数列表。文本→embedding→向量LangChain支持的三类模型它们的使用场景不同输入和输出不同开发者需要根据项目需要选择相应。2.1.1LLMs(大语言模型)LLMs使用场景最多常用大模型的下载库https://huggingface.co/models接下来我们以「阿里的通义」模型为例使用该类模型的组件第一步安装必备的工具包langchain和openaipip install openai langchain1.2.12 langchain-openai1.1.11注意在使用openai模型之前必须开通百炼平台的服务需要获得api-key具体参考。2.2接入商用大模型API第二步使用langchain模块实现大模型调用2.1.2Chat Models(聊天模型)2.1.3 Embeddings Models(嵌入.2.2 Prompts2.3 Chains(链)2.4 Agents(代理)2.5 Memory2.5.1使用ChatMessageHistory2.5.2 messages列表2.5.3使用InMemorySaver2.6 Indexes (索引)2.6.1文档加载器2.6.2文档分割器2.6.3 VectorStores2.6.4检索器2.7结构化输出3.2.LangChain主要组件3.LangChain使用场景