AutoGPT Exa Websets 条目管理六大 Block 的读取、增量同步与数据维护实战指南【免费下载链接】AutoGPTAutoGPT is the vision of accessible AI for everyone, to use and to build on. Our mission is to provide the tools, so that you can focus on what matters.项目地址: https://gitcode.com/GitHub_Trending/au/AutoGPTExa 的 Webset 是 Exa 提供的一种“持续监控型”网络数据集合它把搜索、导入与富化enrichment的产物沉淀为可长期保存、可增量更新的条目items并随时间推移自动收录符合条件的新结果。本指南围绕 AutoGPT 平台在 Exa 集成中提供的一组Webset 条目管理 Block逐一拆解它们的功能边界、输入输出契约与底层实现并结合 AutoGPT 仓库中的源码实现 讲清参数默认值与内部行为。读完你将掌握如何一次性批量拉取整个 Webset、如何用游标实现只处理新增数据的增量管道、如何分页浏览与等待采集完成以及如何安全地删除、检索和维护单条数据。本指南的主文档为 Exa Websets Items 官方说明它是 AutoGPT 平台 Exa 集成文档exa/目录下的独立章节同目录的姊妹篇还包括 Webset 生命周期管理、Webset 富化、Webset 搜索/导入导出 等可与本文组合阅读构成完整的 Webset 数据闭环。一、前置认知什么是 Webset 与 Webset Items在深入各个 Block 前先明确一个概念层级。Exa 的 Webset 是一条持久化数据管道你通过搜索查询、实体类型、符合条件标准criteria等参数创建它对应 Exa Create Webset 等块Exa 会持续把匹配结果存入集合。而Webset Item就是该集合中的单条数据记录——每一条对应一个被收录的网页、人物、公司、文章或自定义实体并携带正文内容、结构化实体字段以及可选的富化结果。AutoGPT 平台把对这批条目的“读、删、查、列、增量”能力封装成了本文要讲的六个 Block统一归类于搜索类BlockCategory.SEARCH其中增量拉取块还额外归入数据类BlockCategory.DATA。从源码目录看它们全部位于 autogpt_platform/backend/backend/blocks/exa/websets_items.py 这一模块内Block 名称Block ID一句话职责ExaBulkWebsetItemsBlockdbd619f5-476e-4395-af9a-a7a7c0fb8c4e单次批量取出 Webset 全部条目ExaDeleteWebsetItemBlock12c57fbe-c270-4877-a2b6-d2d05529ba79永久删除一条条目ExaGetNewItemsBlock3ff9bdf5-9613-4d21-8a60-90eb8b69c414按游标只取“新增”条目增量处理ExaGetWebsetItemBlockc4a7d9e2-8f3b-4a6c-9d8e-a5b6c7d8e9f0按 ID 读取单条完整记录ExaListWebsetItemsBlock7b5e8c9f-01a2-43c4-95e6-f7a8b9c0d1e2分页列举条目支持等待采集ExaWebsetItemsSummaryBlockdb7813ad-10bd-4652-8623-5667d6fecdd5只取统计与样本不拉全量数据在平台可视化编辑器中搜索 “Exa” 即可找到这些块拖入画布后为每个块配置Exa API Key 凭据。凭据字段由 共享 Provider 配置 统一声明所有 Exa 块共用一个名为exa的 Provider读取环境变量EXA_API_KEY作为密钥并注册了 Webhook 管理器与成本计价规则每 1 美元记 100 个积分约 1 美分/积分。1.1 共享的稳定输出模型为保持输出稳定、不把 SDK 内部类型直接暴露给下游节点该模块自定义了两个 Pydantic 模型定义于同一源码文件顶部它们是绝大多数输出列的类型基础WebsetItemModel镜像 SDK 的WebsetItem字段为id、url原始来源地址、title、content正文、entity_data实体结构化字段的字典、enrichments富化结果按enrichment_id为键的字典、created_at、updated_atISO 格式时间戳。EnrichmentResultModel镜像 SDK 的富化结果字段为enrichment_id、format、result、reasoning、references。源码中对不同实体类型的标题/正文做了归一化人物Person类型以person.name为标题且无正文公司、文章、研究论文与自定义类型则以description为标题并尽量带上content。这意味着无论 Webset 存放的是哪类实体下游拿到的都是统一形状的数据便于后续 LLM 处理或落库。二、Exa Bulk Webset Items单次批量全量读取2.1 功能定位“一次性取出 Webset 中的全部条目可配置上限”。源码实现ExaBulkWebsetItemsBlock的核心是调用aexa.websets.items.list_all(...)这个内部自动分页的异步迭代器逐页向后翻页并汇总因此你无需手动维护分页游标——适合需要一口气拿到全量数据的批处理场景。2.2 输入参数Input说明类型必填默认值/约束源码补充webset_idWebset 的 ID 或外部 IDexternal IDstr是—max_items最多取回多少条1–1000。注意取值越大耗时越长int否默认100约束1 ≤ max_items ≤ 1000include_enrichments是否为每条包含富化数据bool否默认Trueinclude_content是否为每条包含完整正文bool否默认True源码细节当include_enrichmentsFalse时转换后的每条enrichments会被清空为空字典当include_contentFalse时content会被置为空字符串。这两个开关可以显著减小大集合拉取时的传输与后续处理负担——例如你只关心 URL 列表就无需把整篇正文灌进工作流。2.3 输出参数Output说明类型error操作失败时的错误信息stritemsWebset 的全部条目聚合列表List[WebsetItemModel]item单条条目逐条 yieldWebsetItemModeltotal_retrieved实际取回的条目总数inttruncated是否因达到 max_items 上限而被截断bool值得注意的 yield 语义块会同时输出完整列表items与逐条流式输出item。前者便于一次整体处理或落库后者可直接驱动下游节点对每条数据做 LLM 分析、条件分支等“流式处理”不必在块内自行写循环。2.4 典型用例批量处理把整个 Webset 的数据取出交给外部系统或下游节点做批量分析数据导出与其他工具、数据库做整库同步全量分析当分页处理不现实条目间存在全局关联分析时对 Webset 全量内容做统计或建索引。工程提示truncatedTrue意味着 Webset 实际条目数超过了max_items。此时若确实需要全量应调大max_items上限 1000若超出 1000更稳妥的方案是改用Exa List Webset Items分页遍历见第五节。三、Exa Get Webset Item按 ID 读取单条完整记录3.1 功能定位按条目 ID 精确读取一条 Webset 条目的详细信息包含正文、实体字段与已应用的富化结果。源码对应ExaGetWebsetItemBlock内部调用aexa.websets.items.get(webset_id..., id...)后先做稳定模型转换再逐字段 yield。3.2 输入参数Input说明类型必填webset_idWebset 的 ID 或外部 IDstr是item_id要读取的条目 IDstr是item_id通常来自其他块的输出如 List、Bulk、Get New Items 流式吐出的item.id因此这条读取链在画布上往往是“列举/增量块 → Get Webset Item → 详情消费”。3.3 输出参数Output说明类型error操作失败时的错误信息stritem_id条目唯一标识strurl原始来源 URLstrtitle条目标题strcontent条目正文strentity_data实体相关的结构化数据Dict[str, Any]enrichments附加到该条目的富化数据Dict[str, Any]created_at条目被加入 Webset 的时间strupdated_at条目最近更新时间str对比源码输出 Schema 可以发现该块并没有items聚合输出而是把WebsetItemModel的每个字段平铺展开这在数据流可视化时更直观也方便下游按字段名引用。3.4 典型用例详情视图为展示层提供单条完整数据富化质检读取含富化结果的条目验证数据抽取质量配合reasoning字段可审计 LLM 推理过程交叉引用按 ID 做查重、校验或跨系统关联。四、Exa Delete Webset Item永久删除与数据治理4.1 功能定位从 Webset 中永久删除指定条目。源码ExaDeleteWebsetItemBlock调用aexa.websets.items.delete(webset_id..., id...)随后输出被删条目的id与固定成功标记。文档与实现均强调删除是不可逆操作条目与其全部富化数据一并消失、无法恢复接入生产工作流前务必三思。4.2 输入参数Input说明类型必填webset_idWebset 的 ID 或外部 IDstr是item_id要删除的条目 IDstr是4.3 输出参数Output说明类型error操作失败时的错误信息stritem_id被删除条目的 IDstrsuccess删除是否成功实现中固定输出字符串truestr4.4 典型用例数据治理/策展删除不相关或低质量条目提升 Webset 整体准确度去重清理评审过程中发现的重复条目合规要求因法律或政策原因剔除不应保留的内容。工程提示清理类流程建议先用 List/Get 块做“白名单确认”再由人工确认节点或条件分支决定是否真正执行删除避免把误判永久写入数据。五、Exa Get New Items游标驱动的增量同步5.1 功能定位“只取自上一次检查以来新增的条目”用游标cursor标识上次读取位置避免重复处理旧数据。这是六个块中最适合做定时增量管道的一个源码中ExaGetNewItemsBlock在 List/Data 两类中都出现实现上实际是带游标语义的items.list调用cursor即since_cursor并把 SDK 返回的next_cursor与has_more一并暴露给下游。5.2 输入参数Input说明类型必填默认值/约束webset_idWebset 的 ID 或外部 IDstr是—since_cursor上次运行保存的游标只返回该游标之后的条目首次运行留空str否默认Nonemax_items最多取回多少条新条目int否默认100约束1 ≤ max_items ≤ 10005.3 输出参数Output说明类型error操作失败时的错误信息strnew_items自游标以来新增的条目List[WebsetItemModel]item单条新条目逐条 yieldWebsetItemModelcount本次发现的新条目数intnext_cursor保存此游标供下次运行使用以只取更新的条目strhas_more是否还有超过 max_items 的新条目bool5.4 增量处理的标准循环文档给出的用法是一个经典“读取游标 → 处理后写回游标”的循环首次运行since_cursor留空取得首批条目与next_cursor将next_cursor持久化到某个存储如平台 Graph 的执行输入、KV 存储或外部数据库后续定时运行把保存的next_cursor填回since_cursor于是只收到这段时间的新增条目若has_moreTrue说明本次窗口内新增量超过max_items可在同一轮里用新返回的next_cursor继续拉取直至has_moreFalse。5.5 典型用例增量处理在定时任务中只处理新增 Webset 条目不重复劳动实时管道构建对新增数据即时响应的流水线无需全量扫描变更检测跟踪 Webset 的新增内容驱动告警或通知系统可配合平台的事件/调度机制触发。六、Exa List Webset Items显式分页遍历与等待采集6.1 功能定位以页为单位浏览 Webset 条目由你控制每页大小与游标并可选择在 Webset 仍处于采集处理中时主动等待条目就绪。实现ExaListWebsetItemsBlock直接对接aexa.websets.items.list(...)是 Bulk/Get New Items 两个块的底层分页原语。6.2 输入参数Input说明类型必填默认值/约束webset_idWebset 的 ID 或外部 IDstr是—limit每页条目数1–100int否默认25cursor分页游标str否默认None源码标记为advancedTrue高级参数wait_for_items若 Webset 仍在采集处理中是否等待条目可用bool否默认Falsewait_timeout最长等待秒数int否默认60约束1 ≤ wait_timeout ≤ 3006.3 等待逻辑的源码级细节当wait_for_itemsTrue时源码会进入一个轮询循环在wait_timeout秒内每隔2秒调用一次list一旦response.data非空立即返回若仍为空则睡眠后重试间隔按 1.2 倍指数退避增长、封顶 10 秒避免对 Exa API 造成高频空转超时后才带着最后一次可能为空的响应退出。这意味着“新建 Webset 后立刻分页读取”的场景也能稳妥拿到首批结果。6.4 输出参数Output说明类型error操作失败时的错误信息stritems当前页条目列表List[WebsetItemModel]webset_id本次查询的 Webset IDstritem列表中的单条条目逐条 yieldWebsetItemModelhas_more是否还有更多页可翻boolnext_cursor下一页游标str6.5 分页遍历模式在画布上用“循环/迭代”能力把next_cursor反馈回本块的cursor输入即可遍历整个大集合第 1 页cursor 为空 → 得到 next_cursor_1has_moreTrue 第 2 页cursornext_cursor_1 → 得到 next_cursor_2 ……直到 has_moreFalse6.6 典型用例分页展示构建带上一页/下一页控件的数据浏览 UI流式/分批处理按可控批次消费条目规避一次性加载造成的内存压力受控遍历对大 Webset 做有条不紊的全量扫描分析。选型对比需要“全量不遗漏”就选 Bulk需要“可控分批、可等待采集”就选 ListBulk 底层自动分页而 List 分页由你驱动二者互为补充。七、Exa Webset Items Summary轻量概览与结构探查7.1 功能定位“不拉全量只取概览”返回 Webset 的条目总数、实体类型、可用的富化列以及可选样本适合在做大规模处理前先了解数据形状。对应实现ExaWebsetItemsSummaryBlock会先调用aexa.websets.get(...)获取 Webset 元信息再按需调用一次小额度list取样本。7.2 输入参数Input说明类型必填默认值/约束webset_idWebset 的 ID 或外部 IDstr是—sample_size返回多少条样本条目int否默认5约束0 ≤ sample_size ≤ 10源码细节sample_size0时跳过样本请求只返回统计信息开销最小。7.3 输出参数Output说明类型error操作失败时的错误信息strtotal_itemsWebset 中的条目总数intentity_typeWebset 的实体类型strsample_itemsWebset 的样本条目List[WebsetItemModel]enrichment_columns可用的富化列清单List[str]关于total_items与entity_type的来源源码实现可作参考总数是把 Webset 各次搜索的进度字段search.progress.found累加而来实体类型从首次搜索的entity联合类型中提取type字段富化列则取自 Webset 配置中富化任务的标题或描述。7.4 典型用例快速概览不加载全量即可获得 Webset 统计与抽样结构/模式探查在建导出或处理任务前确认有哪些富化列可用配合下文的富化相关文档质量预检抽查样本条目验证 Webset 数据质量后再决定是否进入全量流程。八、贯穿全篇的实现要点与最佳实践8.1 成本核算机制从源码看除 Bulk 块因list_all内部逐页迭代未把单页成本透出外其余各块在拿到 SDK 响应后都会调用共享的merge_exa_cost(...)位于 helpers.py。其逻辑是从响应的cost_dollars.total字段提取美元金额并合并进NodeExecutionStats.provider_cost供平台的执行统计与计费使用对于 Exa 未返回单次调用定价的 Webset 操作则静默跳过。也就是说读取/删除/汇总操作是否计费取决于 Exa API 返回的成本信息而每个 Exa Provider 请求本身按 _config.py 中的说明执行“100 积分/美元”的基准计价。8.2 凭据与失败处理所有块的Input都含一个统一的credentials元字段用于绑定 Exa API Key对应平台环境变量EXA_API_KEY。所有块的输出表中都保留了error输出用于承载失败信息建议在画布上对error分支做错误处理或告警保证长周期 Webset 任务的健壮性。8.3 三个“何时用谁”速查诉求推荐块一句话理由一次拿全量做批处理/导出Exa Bulk Webset Items自动内部分页无需维护游标定时只处理新增Exa Get New Items游标增量天然适配调度型管道手动分批浏览/等待采集完成Exa List Webset Items显式分页支持 wait_for_items按 ID 看单条细节Exa Get Webset Item返回完整平铺字段清理/去重/合规删除Exa Delete Webset Item永久删除不可恢复全量处理前的概览与模式探查Exa Webset Items Summary只取统计与少量样本开销最小若你需要在增量管道中监控“每批次是否有新条目就绪”可将本模块与 Exa 集成的 Webset 轮询/监控、Webset Polling 块联动Webset 的创建、取消与富化配置则见 Exa Websets 与 Exa Websets Enrichment。所有块的行为定义都可在仓库源码 websets_items.py 中逐行核对让你在可视化搭图之外对每一次数据读取、删除与增量同步的底层原理了然于胸。【免费下载链接】AutoGPTAutoGPT is the vision of accessible AI for everyone, to use and to build on. Our mission is to provide the tools, so that you can focus on what matters.项目地址: https://gitcode.com/GitHub_Trending/au/AutoGPT创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 AutoGPT Exa Websets 条目管理：六大 Block 的读取、增量同步与数据维护实战指南
AutoGPT Exa Websets 条目管理六大 Block 的读取、增量同步与数据维护实战指南【免费下载链接】AutoGPTAutoGPT is the vision of accessible AI for everyone, to use and to build on. Our mission is to provide the tools, so that you can focus on what matters.项目地址: https://gitcode.com/GitHub_Trending/au/AutoGPTExa 的 Webset 是 Exa 提供的一种“持续监控型”网络数据集合它把搜索、导入与富化enrichment的产物沉淀为可长期保存、可增量更新的条目items并随时间推移自动收录符合条件的新结果。本指南围绕 AutoGPT 平台在 Exa 集成中提供的一组Webset 条目管理 Block逐一拆解它们的功能边界、输入输出契约与底层实现并结合 AutoGPT 仓库中的源码实现 讲清参数默认值与内部行为。读完你将掌握如何一次性批量拉取整个 Webset、如何用游标实现只处理新增数据的增量管道、如何分页浏览与等待采集完成以及如何安全地删除、检索和维护单条数据。本指南的主文档为 Exa Websets Items 官方说明它是 AutoGPT 平台 Exa 集成文档exa/目录下的独立章节同目录的姊妹篇还包括 Webset 生命周期管理、Webset 富化、Webset 搜索/导入导出 等可与本文组合阅读构成完整的 Webset 数据闭环。一、前置认知什么是 Webset 与 Webset Items在深入各个 Block 前先明确一个概念层级。Exa 的 Webset 是一条持久化数据管道你通过搜索查询、实体类型、符合条件标准criteria等参数创建它对应 Exa Create Webset 等块Exa 会持续把匹配结果存入集合。而Webset Item就是该集合中的单条数据记录——每一条对应一个被收录的网页、人物、公司、文章或自定义实体并携带正文内容、结构化实体字段以及可选的富化结果。AutoGPT 平台把对这批条目的“读、删、查、列、增量”能力封装成了本文要讲的六个 Block统一归类于搜索类BlockCategory.SEARCH其中增量拉取块还额外归入数据类BlockCategory.DATA。从源码目录看它们全部位于 autogpt_platform/backend/backend/blocks/exa/websets_items.py 这一模块内Block 名称Block ID一句话职责ExaBulkWebsetItemsBlockdbd619f5-476e-4395-af9a-a7a7c0fb8c4e单次批量取出 Webset 全部条目ExaDeleteWebsetItemBlock12c57fbe-c270-4877-a2b6-d2d05529ba79永久删除一条条目ExaGetNewItemsBlock3ff9bdf5-9613-4d21-8a60-90eb8b69c414按游标只取“新增”条目增量处理ExaGetWebsetItemBlockc4a7d9e2-8f3b-4a6c-9d8e-a5b6c7d8e9f0按 ID 读取单条完整记录ExaListWebsetItemsBlock7b5e8c9f-01a2-43c4-95e6-f7a8b9c0d1e2分页列举条目支持等待采集ExaWebsetItemsSummaryBlockdb7813ad-10bd-4652-8623-5667d6fecdd5只取统计与样本不拉全量数据在平台可视化编辑器中搜索 “Exa” 即可找到这些块拖入画布后为每个块配置Exa API Key 凭据。凭据字段由 共享 Provider 配置 统一声明所有 Exa 块共用一个名为exa的 Provider读取环境变量EXA_API_KEY作为密钥并注册了 Webhook 管理器与成本计价规则每 1 美元记 100 个积分约 1 美分/积分。1.1 共享的稳定输出模型为保持输出稳定、不把 SDK 内部类型直接暴露给下游节点该模块自定义了两个 Pydantic 模型定义于同一源码文件顶部它们是绝大多数输出列的类型基础WebsetItemModel镜像 SDK 的WebsetItem字段为id、url原始来源地址、title、content正文、entity_data实体结构化字段的字典、enrichments富化结果按enrichment_id为键的字典、created_at、updated_atISO 格式时间戳。EnrichmentResultModel镜像 SDK 的富化结果字段为enrichment_id、format、result、reasoning、references。源码中对不同实体类型的标题/正文做了归一化人物Person类型以person.name为标题且无正文公司、文章、研究论文与自定义类型则以description为标题并尽量带上content。这意味着无论 Webset 存放的是哪类实体下游拿到的都是统一形状的数据便于后续 LLM 处理或落库。二、Exa Bulk Webset Items单次批量全量读取2.1 功能定位“一次性取出 Webset 中的全部条目可配置上限”。源码实现ExaBulkWebsetItemsBlock的核心是调用aexa.websets.items.list_all(...)这个内部自动分页的异步迭代器逐页向后翻页并汇总因此你无需手动维护分页游标——适合需要一口气拿到全量数据的批处理场景。2.2 输入参数Input说明类型必填默认值/约束源码补充webset_idWebset 的 ID 或外部 IDexternal IDstr是—max_items最多取回多少条1–1000。注意取值越大耗时越长int否默认100约束1 ≤ max_items ≤ 1000include_enrichments是否为每条包含富化数据bool否默认Trueinclude_content是否为每条包含完整正文bool否默认True源码细节当include_enrichmentsFalse时转换后的每条enrichments会被清空为空字典当include_contentFalse时content会被置为空字符串。这两个开关可以显著减小大集合拉取时的传输与后续处理负担——例如你只关心 URL 列表就无需把整篇正文灌进工作流。2.3 输出参数Output说明类型error操作失败时的错误信息stritemsWebset 的全部条目聚合列表List[WebsetItemModel]item单条条目逐条 yieldWebsetItemModeltotal_retrieved实际取回的条目总数inttruncated是否因达到 max_items 上限而被截断bool值得注意的 yield 语义块会同时输出完整列表items与逐条流式输出item。前者便于一次整体处理或落库后者可直接驱动下游节点对每条数据做 LLM 分析、条件分支等“流式处理”不必在块内自行写循环。2.4 典型用例批量处理把整个 Webset 的数据取出交给外部系统或下游节点做批量分析数据导出与其他工具、数据库做整库同步全量分析当分页处理不现实条目间存在全局关联分析时对 Webset 全量内容做统计或建索引。工程提示truncatedTrue意味着 Webset 实际条目数超过了max_items。此时若确实需要全量应调大max_items上限 1000若超出 1000更稳妥的方案是改用Exa List Webset Items分页遍历见第五节。三、Exa Get Webset Item按 ID 读取单条完整记录3.1 功能定位按条目 ID 精确读取一条 Webset 条目的详细信息包含正文、实体字段与已应用的富化结果。源码对应ExaGetWebsetItemBlock内部调用aexa.websets.items.get(webset_id..., id...)后先做稳定模型转换再逐字段 yield。3.2 输入参数Input说明类型必填webset_idWebset 的 ID 或外部 IDstr是item_id要读取的条目 IDstr是item_id通常来自其他块的输出如 List、Bulk、Get New Items 流式吐出的item.id因此这条读取链在画布上往往是“列举/增量块 → Get Webset Item → 详情消费”。3.3 输出参数Output说明类型error操作失败时的错误信息stritem_id条目唯一标识strurl原始来源 URLstrtitle条目标题strcontent条目正文strentity_data实体相关的结构化数据Dict[str, Any]enrichments附加到该条目的富化数据Dict[str, Any]created_at条目被加入 Webset 的时间strupdated_at条目最近更新时间str对比源码输出 Schema 可以发现该块并没有items聚合输出而是把WebsetItemModel的每个字段平铺展开这在数据流可视化时更直观也方便下游按字段名引用。3.4 典型用例详情视图为展示层提供单条完整数据富化质检读取含富化结果的条目验证数据抽取质量配合reasoning字段可审计 LLM 推理过程交叉引用按 ID 做查重、校验或跨系统关联。四、Exa Delete Webset Item永久删除与数据治理4.1 功能定位从 Webset 中永久删除指定条目。源码ExaDeleteWebsetItemBlock调用aexa.websets.items.delete(webset_id..., id...)随后输出被删条目的id与固定成功标记。文档与实现均强调删除是不可逆操作条目与其全部富化数据一并消失、无法恢复接入生产工作流前务必三思。4.2 输入参数Input说明类型必填webset_idWebset 的 ID 或外部 IDstr是item_id要删除的条目 IDstr是4.3 输出参数Output说明类型error操作失败时的错误信息stritem_id被删除条目的 IDstrsuccess删除是否成功实现中固定输出字符串truestr4.4 典型用例数据治理/策展删除不相关或低质量条目提升 Webset 整体准确度去重清理评审过程中发现的重复条目合规要求因法律或政策原因剔除不应保留的内容。工程提示清理类流程建议先用 List/Get 块做“白名单确认”再由人工确认节点或条件分支决定是否真正执行删除避免把误判永久写入数据。五、Exa Get New Items游标驱动的增量同步5.1 功能定位“只取自上一次检查以来新增的条目”用游标cursor标识上次读取位置避免重复处理旧数据。这是六个块中最适合做定时增量管道的一个源码中ExaGetNewItemsBlock在 List/Data 两类中都出现实现上实际是带游标语义的items.list调用cursor即since_cursor并把 SDK 返回的next_cursor与has_more一并暴露给下游。5.2 输入参数Input说明类型必填默认值/约束webset_idWebset 的 ID 或外部 IDstr是—since_cursor上次运行保存的游标只返回该游标之后的条目首次运行留空str否默认Nonemax_items最多取回多少条新条目int否默认100约束1 ≤ max_items ≤ 10005.3 输出参数Output说明类型error操作失败时的错误信息strnew_items自游标以来新增的条目List[WebsetItemModel]item单条新条目逐条 yieldWebsetItemModelcount本次发现的新条目数intnext_cursor保存此游标供下次运行使用以只取更新的条目strhas_more是否还有超过 max_items 的新条目bool5.4 增量处理的标准循环文档给出的用法是一个经典“读取游标 → 处理后写回游标”的循环首次运行since_cursor留空取得首批条目与next_cursor将next_cursor持久化到某个存储如平台 Graph 的执行输入、KV 存储或外部数据库后续定时运行把保存的next_cursor填回since_cursor于是只收到这段时间的新增条目若has_moreTrue说明本次窗口内新增量超过max_items可在同一轮里用新返回的next_cursor继续拉取直至has_moreFalse。5.5 典型用例增量处理在定时任务中只处理新增 Webset 条目不重复劳动实时管道构建对新增数据即时响应的流水线无需全量扫描变更检测跟踪 Webset 的新增内容驱动告警或通知系统可配合平台的事件/调度机制触发。六、Exa List Webset Items显式分页遍历与等待采集6.1 功能定位以页为单位浏览 Webset 条目由你控制每页大小与游标并可选择在 Webset 仍处于采集处理中时主动等待条目就绪。实现ExaListWebsetItemsBlock直接对接aexa.websets.items.list(...)是 Bulk/Get New Items 两个块的底层分页原语。6.2 输入参数Input说明类型必填默认值/约束webset_idWebset 的 ID 或外部 IDstr是—limit每页条目数1–100int否默认25cursor分页游标str否默认None源码标记为advancedTrue高级参数wait_for_items若 Webset 仍在采集处理中是否等待条目可用bool否默认Falsewait_timeout最长等待秒数int否默认60约束1 ≤ wait_timeout ≤ 3006.3 等待逻辑的源码级细节当wait_for_itemsTrue时源码会进入一个轮询循环在wait_timeout秒内每隔2秒调用一次list一旦response.data非空立即返回若仍为空则睡眠后重试间隔按 1.2 倍指数退避增长、封顶 10 秒避免对 Exa API 造成高频空转超时后才带着最后一次可能为空的响应退出。这意味着“新建 Webset 后立刻分页读取”的场景也能稳妥拿到首批结果。6.4 输出参数Output说明类型error操作失败时的错误信息stritems当前页条目列表List[WebsetItemModel]webset_id本次查询的 Webset IDstritem列表中的单条条目逐条 yieldWebsetItemModelhas_more是否还有更多页可翻boolnext_cursor下一页游标str6.5 分页遍历模式在画布上用“循环/迭代”能力把next_cursor反馈回本块的cursor输入即可遍历整个大集合第 1 页cursor 为空 → 得到 next_cursor_1has_moreTrue 第 2 页cursornext_cursor_1 → 得到 next_cursor_2 ……直到 has_moreFalse6.6 典型用例分页展示构建带上一页/下一页控件的数据浏览 UI流式/分批处理按可控批次消费条目规避一次性加载造成的内存压力受控遍历对大 Webset 做有条不紊的全量扫描分析。选型对比需要“全量不遗漏”就选 Bulk需要“可控分批、可等待采集”就选 ListBulk 底层自动分页而 List 分页由你驱动二者互为补充。七、Exa Webset Items Summary轻量概览与结构探查7.1 功能定位“不拉全量只取概览”返回 Webset 的条目总数、实体类型、可用的富化列以及可选样本适合在做大规模处理前先了解数据形状。对应实现ExaWebsetItemsSummaryBlock会先调用aexa.websets.get(...)获取 Webset 元信息再按需调用一次小额度list取样本。7.2 输入参数Input说明类型必填默认值/约束webset_idWebset 的 ID 或外部 IDstr是—sample_size返回多少条样本条目int否默认5约束0 ≤ sample_size ≤ 10源码细节sample_size0时跳过样本请求只返回统计信息开销最小。7.3 输出参数Output说明类型error操作失败时的错误信息strtotal_itemsWebset 中的条目总数intentity_typeWebset 的实体类型strsample_itemsWebset 的样本条目List[WebsetItemModel]enrichment_columns可用的富化列清单List[str]关于total_items与entity_type的来源源码实现可作参考总数是把 Webset 各次搜索的进度字段search.progress.found累加而来实体类型从首次搜索的entity联合类型中提取type字段富化列则取自 Webset 配置中富化任务的标题或描述。7.4 典型用例快速概览不加载全量即可获得 Webset 统计与抽样结构/模式探查在建导出或处理任务前确认有哪些富化列可用配合下文的富化相关文档质量预检抽查样本条目验证 Webset 数据质量后再决定是否进入全量流程。八、贯穿全篇的实现要点与最佳实践8.1 成本核算机制从源码看除 Bulk 块因list_all内部逐页迭代未把单页成本透出外其余各块在拿到 SDK 响应后都会调用共享的merge_exa_cost(...)位于 helpers.py。其逻辑是从响应的cost_dollars.total字段提取美元金额并合并进NodeExecutionStats.provider_cost供平台的执行统计与计费使用对于 Exa 未返回单次调用定价的 Webset 操作则静默跳过。也就是说读取/删除/汇总操作是否计费取决于 Exa API 返回的成本信息而每个 Exa Provider 请求本身按 _config.py 中的说明执行“100 积分/美元”的基准计价。8.2 凭据与失败处理所有块的Input都含一个统一的credentials元字段用于绑定 Exa API Key对应平台环境变量EXA_API_KEY。所有块的输出表中都保留了error输出用于承载失败信息建议在画布上对error分支做错误处理或告警保证长周期 Webset 任务的健壮性。8.3 三个“何时用谁”速查诉求推荐块一句话理由一次拿全量做批处理/导出Exa Bulk Webset Items自动内部分页无需维护游标定时只处理新增Exa Get New Items游标增量天然适配调度型管道手动分批浏览/等待采集完成Exa List Webset Items显式分页支持 wait_for_items按 ID 看单条细节Exa Get Webset Item返回完整平铺字段清理/去重/合规删除Exa Delete Webset Item永久删除不可恢复全量处理前的概览与模式探查Exa Webset Items Summary只取统计与少量样本开销最小若你需要在增量管道中监控“每批次是否有新条目就绪”可将本模块与 Exa 集成的 Webset 轮询/监控、Webset Polling 块联动Webset 的创建、取消与富化配置则见 Exa Websets 与 Exa Websets Enrichment。所有块的行为定义都可在仓库源码 websets_items.py 中逐行核对让你在可视化搭图之外对每一次数据读取、删除与增量同步的底层原理了然于胸。【免费下载链接】AutoGPTAutoGPT is the vision of accessible AI for everyone, to use and to build on. Our mission is to provide the tools, so that you can focus on what matters.项目地址: https://gitcode.com/GitHub_Trending/au/AutoGPT创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考