文章目录1. 前置了解1.1 什么是智能体Agents1.2 什么是工作流Workflows1.3 什么是上下文增强Context Augmentation2. LlamaIndex原 Run Llama, Inc.公司介绍2.1 基础概况2.2 核心产品矩阵 开源产品 商业产品 LlamaParseLlamaCloud2.3 客户与典型场景3. LlamaIndex面向上下文增强型大模型应用的开发框架3.1 核心组件3.2 应用场景3.3 谁适合使用 LlamaIndex3.4 快速上手3.5 商业服务LlamaCloud3.6 社区支持3.6.1 社区地址3.6.2 资源地址3.6.3 参与贡献3.7 LlamaIndex 生态体系1. 前置了解1.1 什么是智能体Agents智能体是由大模型驱动的知识助手能够调用工具完成调研、数据提取等各类任务。智能体能力跨度很广简单形态为问答机器人高阶智能体可自主感知信息、做出决策并执行动作以完成复杂目标。LlamaIndex提供完整的智能体开发框架支持将RAG流水线作为众多工具之一辅助智能体完成任务。1.2 什么是工作流Workflows工作流是由多步骤组成的处理流程可组合一个或多个智能体、数据连接器与外部工具协同完成任务。它属于事件驱动型程序能够整合多份RAG数据源与多个智能体搭建复杂应用支持反思自省、错误修正等高阶大模型应用能力。开发者可以将这套智能体工作流直接部署为生产可用的微服务。1.3 什么是上下文增强Context Augmentation大模型搭建起人类与数据之间的自然语言交互桥梁。大模型基于海量公开数据预训练但并未学习你的私有业务数据。这些数据可能涉及隐私、面向特定业务场景存放于接口后端、SQL数据库、PDF文档、幻灯片之中。上下文增强就是把私有数据提供给大模型辅助其解决对应业务问题。LlamaIndex提供全套工具支撑各类上下文增强场景从原型验证平稳过渡到生产环境。开发者可以完成数据导入、解析、索引构建、数据处理快速搭建融合数据访问与大模型提示词的复杂查询流程。上下文增强最经典的实现方案就是检索增强生成RAG在推理阶段将相关上下文注入大模型。2. LlamaIndex原 Run Llama, Inc.公司介绍GitHub 组织地址公司正式名称LlamaIndex, Inc.初创阶段企业名称为Run Llama因此GitHub组织命名为run-llama。总部位于美国加利福尼亚旧金山。2.1 基础概况1、 创立背景项目最早2022年11月开源最初命名GPT Index创始人Jerry LiuCEO、Simon SuoCTO。二人曾任职Uber AI实验室发现大模型难以可靠读取企业私有文档于是开发这套面向私有数据的LLM应用开发框架。2023年初项目更名为LlamaIndex并成立商业化公司。重要区分项目与Meta的LLaMA大模型没有隶属关系只是名称相近。2、 融资情况种子轮850万美元A轮1900万美元累计融资超2750 万美元投资方包括Greylock、Salesforce Ventures、Google Ventures、Databricks、毕马威等。3、商业模式开源生态 商业云服务双轮驱动开源引流核心框架LlamaIndex、LiteParse、LlamaAgents采用开源协议面向全球开发者免费使用构建庞大开发者社区商业变现LlamaCloud / LlamaParse企业级SaaS平台提供高性能文档解析、托管RAG服务面向政企付费客户。2.2 核心产品矩阵 开源产品LlamaIndexPython/TS业界主流开源框架用于构建RAG检索增强生成、AI 智能体Agent、工作流应用。提供完整链路数据接入、文档索引、混合检索、查询引擎、多智能体编排兼容几乎所有大模型、向量数据库。LlamaAgents新一代异步事件驱动智能体运行框架构建并交付以文档为核心的智能体。LiteParseRust编写、完全开源本地文档解析引擎支持私有化部署无需上传文件至云端解析PDF、Office、图片文档。 商业产品 LlamaParseLlamaCloud主打SOTA Agentic OCR智能体式文档识别企业级非结构化数据自动化平台也是你前文文档介绍的核心产品Parse文档解析高精度识别复杂版式、嵌套表格、图表、手写文字、内嵌图片Extract信息提取上下文感知结构化抽取附带置信度与原文引用Index索引构建智能分块向量嵌入产出高质量数据直接对接RAG。2.3 客户与典型场景标杆企业客户Salesforce、凯雷集团Carlyle、乐天集团Rakuten等全球金融、科技企业。主流落地场景金融财报、尽调文档、合同智能解析制造业/医疗技术手册、病历检索通用企业发票处理、知识库问答、客服智能助手通用技术搭建文档智能体、多智能体协同系统。3. LlamaIndex面向上下文增强型大模型应用的开发框架3.1 核心组件LlamaIndex不会限制大模型的使用方式。你可以将大模型用于文本续写、对话机器人、智能体等场景框架只是简化整个开发流程。内置核心组件如下数据连接器从原始数据源、原生格式导入数据支持接口、PDF、SQL等大量数据源数据索引将数据转化为中间结构化形式便于大模型高效读取与调用引擎提供自然语言方式访问私有数据查询引擎问答场景核心交互入口典型实现就是RAG流程对话引擎支持多轮来回交互的会话接口智能体搭载各类工具的大模型知识工作者工具涵盖简易函数、第三方API集成等可观测性与评估组件支撑完整实验、效果评估、线上监控形成持续优化闭环工作流将上述所有组件整合为事件驱动系统相比传统图编排方案拥有更高灵活性。3.2 应用场景LlamaIndex与上下文增强技术常见落地场景问答系统对话机器人文档理解与结构化数据提取具备信息检索、自主执行能力的自治智能体融合文本、图像等多模态数据的应用基于私有数据微调模型提升任务效果3.3 谁适合使用 LlamaIndexLlamaIndex兼顾入门开发者与资深工程师。高层 API新手仅需5行代码即可完成数据导入与问答查询底层 API面向复杂业务高级开发者能够自定义、扩展任意模块数据连接器、索引、检索器、查询引擎、重排序模块等高度灵活适配业务需求。3.4 快速上手LlamaIndex同时提供Python本文档与TypeScript版本。如果你不清楚如何入门可以先阅读文档指引根据自身技术水平选择合适章节。配置环境变量OPENAI_API_KEY填入你的OpenAI Key安装Python库pipinstallllama-index将文档放入data文件夹使用经典5行代码实现文档问答fromllama_index.coreimportVectorStoreIndex,SimpleDirectoryReader# 从指定目录data读取所有文档文件自动解析文件内容返回文档对象列表documentsSimpleDirectoryReader(data).load_data()# 将读取到的文档向量化构建向量存储索引底层会调用嵌入模型生成向量indexVectorStoreIndex.from_documents(documents)# 基于向量索引创建查询引擎用于实现文档检索大模型问答query_engineindex.as_query_engine()# 传入问题执行检索先召回相关文档片段再交给大模型生成答案responsequery_engine.query(在这里输入和文档相关的问题)# 打印输出大模型返回的问答结果print(response)如果运行遇到问题可以查看完整入门教程支持OpenAI等远程模型也兼容本地部署模型。3.5 商业服务LlamaCloud企业开发者可以了解 LlamaCloud。这是一套端到端托管服务提供文档解析、信息提取、索引构建与检索全套能力快速为AI智能体提供生产级数据能力。新用户注册每月可领取10000免费额度支持订阅套餐如有企业定制需求可以联系官方。平台同时提供SaaS云端版本与私有化部署方案。核心能力文档解析LlamaParse业界顶尖文档解析方案依托视觉大模型完美处理复杂文档嵌套表格、内嵌图表、图片等数据提取LlamaExtract依据人工定义或自动推导的Schema从任意文档抽取结构化数据索引与检索搭建端到端文档检索流水线对接Sharepoint、谷歌云盘、对象存储等数据源与向量数据库自动完成文档处理与数据同步。3.6 社区支持3.6.1 社区地址遇到问题、想要提出功能建议欢迎加入LlamaIndex社区XTwitterDiscordLinkedIn3.6.2 资源地址Python 版本LlamaIndex Python GithubPython 官方文档当前阅读文档PyPi 项目地址TypeScript/Javascript 版本LlamaIndex.TSLlamaIndex.TS GithubTypeScript 官方文档npm 项目地址3.6.3 参与贡献项目开源欢迎所有人提交代码贡献查阅贡献指南了解如何扩展核心库、新增大模型、向量库、智能体工具等第三方集成。3.7 LlamaIndex 生态体系LlamaIndex拥有丰富周边项目llama_deploy将智能体工作流部署为生产微服务LlamaHub持续扩充的自定义数据连接器资源库SEC Insights基于LlamaIndex构建的金融研究应用create-llama命令行脚手架一键生成LlamaIndex项目模板 LlamaIndex 系列【3】上下文增强驱动的 LLM 应用开发框架
文章目录1. 前置了解1.1 什么是智能体Agents1.2 什么是工作流Workflows1.3 什么是上下文增强Context Augmentation2. LlamaIndex原 Run Llama, Inc.公司介绍2.1 基础概况2.2 核心产品矩阵 开源产品 商业产品 LlamaParseLlamaCloud2.3 客户与典型场景3. LlamaIndex面向上下文增强型大模型应用的开发框架3.1 核心组件3.2 应用场景3.3 谁适合使用 LlamaIndex3.4 快速上手3.5 商业服务LlamaCloud3.6 社区支持3.6.1 社区地址3.6.2 资源地址3.6.3 参与贡献3.7 LlamaIndex 生态体系1. 前置了解1.1 什么是智能体Agents智能体是由大模型驱动的知识助手能够调用工具完成调研、数据提取等各类任务。智能体能力跨度很广简单形态为问答机器人高阶智能体可自主感知信息、做出决策并执行动作以完成复杂目标。LlamaIndex提供完整的智能体开发框架支持将RAG流水线作为众多工具之一辅助智能体完成任务。1.2 什么是工作流Workflows工作流是由多步骤组成的处理流程可组合一个或多个智能体、数据连接器与外部工具协同完成任务。它属于事件驱动型程序能够整合多份RAG数据源与多个智能体搭建复杂应用支持反思自省、错误修正等高阶大模型应用能力。开发者可以将这套智能体工作流直接部署为生产可用的微服务。1.3 什么是上下文增强Context Augmentation大模型搭建起人类与数据之间的自然语言交互桥梁。大模型基于海量公开数据预训练但并未学习你的私有业务数据。这些数据可能涉及隐私、面向特定业务场景存放于接口后端、SQL数据库、PDF文档、幻灯片之中。上下文增强就是把私有数据提供给大模型辅助其解决对应业务问题。LlamaIndex提供全套工具支撑各类上下文增强场景从原型验证平稳过渡到生产环境。开发者可以完成数据导入、解析、索引构建、数据处理快速搭建融合数据访问与大模型提示词的复杂查询流程。上下文增强最经典的实现方案就是检索增强生成RAG在推理阶段将相关上下文注入大模型。2. LlamaIndex原 Run Llama, Inc.公司介绍GitHub 组织地址公司正式名称LlamaIndex, Inc.初创阶段企业名称为Run Llama因此GitHub组织命名为run-llama。总部位于美国加利福尼亚旧金山。2.1 基础概况1、 创立背景项目最早2022年11月开源最初命名GPT Index创始人Jerry LiuCEO、Simon SuoCTO。二人曾任职Uber AI实验室发现大模型难以可靠读取企业私有文档于是开发这套面向私有数据的LLM应用开发框架。2023年初项目更名为LlamaIndex并成立商业化公司。重要区分项目与Meta的LLaMA大模型没有隶属关系只是名称相近。2、 融资情况种子轮850万美元A轮1900万美元累计融资超2750 万美元投资方包括Greylock、Salesforce Ventures、Google Ventures、Databricks、毕马威等。3、商业模式开源生态 商业云服务双轮驱动开源引流核心框架LlamaIndex、LiteParse、LlamaAgents采用开源协议面向全球开发者免费使用构建庞大开发者社区商业变现LlamaCloud / LlamaParse企业级SaaS平台提供高性能文档解析、托管RAG服务面向政企付费客户。2.2 核心产品矩阵 开源产品LlamaIndexPython/TS业界主流开源框架用于构建RAG检索增强生成、AI 智能体Agent、工作流应用。提供完整链路数据接入、文档索引、混合检索、查询引擎、多智能体编排兼容几乎所有大模型、向量数据库。LlamaAgents新一代异步事件驱动智能体运行框架构建并交付以文档为核心的智能体。LiteParseRust编写、完全开源本地文档解析引擎支持私有化部署无需上传文件至云端解析PDF、Office、图片文档。 商业产品 LlamaParseLlamaCloud主打SOTA Agentic OCR智能体式文档识别企业级非结构化数据自动化平台也是你前文文档介绍的核心产品Parse文档解析高精度识别复杂版式、嵌套表格、图表、手写文字、内嵌图片Extract信息提取上下文感知结构化抽取附带置信度与原文引用Index索引构建智能分块向量嵌入产出高质量数据直接对接RAG。2.3 客户与典型场景标杆企业客户Salesforce、凯雷集团Carlyle、乐天集团Rakuten等全球金融、科技企业。主流落地场景金融财报、尽调文档、合同智能解析制造业/医疗技术手册、病历检索通用企业发票处理、知识库问答、客服智能助手通用技术搭建文档智能体、多智能体协同系统。3. LlamaIndex面向上下文增强型大模型应用的开发框架3.1 核心组件LlamaIndex不会限制大模型的使用方式。你可以将大模型用于文本续写、对话机器人、智能体等场景框架只是简化整个开发流程。内置核心组件如下数据连接器从原始数据源、原生格式导入数据支持接口、PDF、SQL等大量数据源数据索引将数据转化为中间结构化形式便于大模型高效读取与调用引擎提供自然语言方式访问私有数据查询引擎问答场景核心交互入口典型实现就是RAG流程对话引擎支持多轮来回交互的会话接口智能体搭载各类工具的大模型知识工作者工具涵盖简易函数、第三方API集成等可观测性与评估组件支撑完整实验、效果评估、线上监控形成持续优化闭环工作流将上述所有组件整合为事件驱动系统相比传统图编排方案拥有更高灵活性。3.2 应用场景LlamaIndex与上下文增强技术常见落地场景问答系统对话机器人文档理解与结构化数据提取具备信息检索、自主执行能力的自治智能体融合文本、图像等多模态数据的应用基于私有数据微调模型提升任务效果3.3 谁适合使用 LlamaIndexLlamaIndex兼顾入门开发者与资深工程师。高层 API新手仅需5行代码即可完成数据导入与问答查询底层 API面向复杂业务高级开发者能够自定义、扩展任意模块数据连接器、索引、检索器、查询引擎、重排序模块等高度灵活适配业务需求。3.4 快速上手LlamaIndex同时提供Python本文档与TypeScript版本。如果你不清楚如何入门可以先阅读文档指引根据自身技术水平选择合适章节。配置环境变量OPENAI_API_KEY填入你的OpenAI Key安装Python库pipinstallllama-index将文档放入data文件夹使用经典5行代码实现文档问答fromllama_index.coreimportVectorStoreIndex,SimpleDirectoryReader# 从指定目录data读取所有文档文件自动解析文件内容返回文档对象列表documentsSimpleDirectoryReader(data).load_data()# 将读取到的文档向量化构建向量存储索引底层会调用嵌入模型生成向量indexVectorStoreIndex.from_documents(documents)# 基于向量索引创建查询引擎用于实现文档检索大模型问答query_engineindex.as_query_engine()# 传入问题执行检索先召回相关文档片段再交给大模型生成答案responsequery_engine.query(在这里输入和文档相关的问题)# 打印输出大模型返回的问答结果print(response)如果运行遇到问题可以查看完整入门教程支持OpenAI等远程模型也兼容本地部署模型。3.5 商业服务LlamaCloud企业开发者可以了解 LlamaCloud。这是一套端到端托管服务提供文档解析、信息提取、索引构建与检索全套能力快速为AI智能体提供生产级数据能力。新用户注册每月可领取10000免费额度支持订阅套餐如有企业定制需求可以联系官方。平台同时提供SaaS云端版本与私有化部署方案。核心能力文档解析LlamaParse业界顶尖文档解析方案依托视觉大模型完美处理复杂文档嵌套表格、内嵌图表、图片等数据提取LlamaExtract依据人工定义或自动推导的Schema从任意文档抽取结构化数据索引与检索搭建端到端文档检索流水线对接Sharepoint、谷歌云盘、对象存储等数据源与向量数据库自动完成文档处理与数据同步。3.6 社区支持3.6.1 社区地址遇到问题、想要提出功能建议欢迎加入LlamaIndex社区XTwitterDiscordLinkedIn3.6.2 资源地址Python 版本LlamaIndex Python GithubPython 官方文档当前阅读文档PyPi 项目地址TypeScript/Javascript 版本LlamaIndex.TSLlamaIndex.TS GithubTypeScript 官方文档npm 项目地址3.6.3 参与贡献项目开源欢迎所有人提交代码贡献查阅贡献指南了解如何扩展核心库、新增大模型、向量库、智能体工具等第三方集成。3.7 LlamaIndex 生态体系LlamaIndex拥有丰富周边项目llama_deploy将智能体工作流部署为生产微服务LlamaHub持续扩充的自定义数据连接器资源库SEC Insights基于LlamaIndex构建的金融研究应用create-llama命令行脚手架一键生成LlamaIndex项目模板