TDengine 无代码接入 KingHistorian通过 taosExplorer 实现历史数据迁移与实时数据同步【免费下载链接】tdengineTDengine is an open source, high-performance, cloud native time-series database optimized for Internet of Things (IoT), Connected Cars, Industrial IoT and DevOps.项目地址: https://gitcode.com/taosdata/tdengine本文基于 TDengine 官方文档docs/en/08-data-ingest-and-delivery/01-no-code-ingestion/19-kinghist.md编写讲解如何通过 taosExplorer 界面创建数据迁移/数据同步任务将 KingHistorian 中的测点数据接入当前 TDengine 集群。读完本文你将掌握 KingHistorian 数据源的完整接入流程包括数据源创建、连接配置、测点 CSV 生成与上传、历史迁移与实时同步两种采集模式的参数设置以及任务提交后的状态查看方法。功能概述KingHistorianKingHistorian 工业实时历史数据库常用于流程工业的实时数据采集与历史归档是典型的工业时序数据源。TDengine 可以高效地从 KingHistorian 读取数据并将其写入 TDengine从而实现两类典型场景历史数据迁移把 KingHistorian 中已经归档的历史数据按时间窗口批量读取并写入 TDengine用于数据平台的统一归档、迁移或二次分析实时数据同步以订阅方式持续读取 KingHistorian 的新增数据并实时写入 TDengine保证两端数据持续对齐支撑上层实时监控与告警应用。整个过程在 taosExplorer 的图形界面中完成无需编写任何代码属于 TDengine 无代码数据接入No-Code Ingestion体系的组成部分。相关功能依赖 TDengine 的企业版组件taosX 数据接入服务与 taosExplorer 图形化管理界面若 taosX 无法直连 KingHistorian 所在网络可参照 安装 taosX-Agent 在数据源侧部署代理后接入。创建任务前置准备在开始创建任务前请确认以下前提当前 TDengine 集群已启用企业版 taosX 组件并能正常访问 taosExplorer浏览器打开 taosExplorer从左侧主菜单进入数据写入 / Data In页面已知 KingHistorian 服务器的地址、端口及具备读取权限的账号密码若 taosX 无法直连 KingHistorian请先在数据源所在网络安装并注册 taosX-Agent安装、配置endpoint与token的完整步骤见 01-install-agent.md创建任务时在代理下拉框中选择该代理。新增数据源在数据写入页面中点击新增数据源按钮进入新增数据源页面。这是所有无代码接入任务的统一入口KingHistorian 作为受支持的数据源类型之一在列表中提供。配置基本信息在新增数据源页面的基本信息区域完成以下配置名称输入任务名称例如test_kinghistorian用于在任务列表中区分不同接入任务类型在下拉列表中选择KingHistorian代理非必填项。如 taosX 无法直连 KingHistorian可在下拉框中选择已注册的代理也可以点击右侧的创建新的代理按钮现场创建对应 taosX-Agent 安装流程目标数据库在下拉列表中选择数据要写入的目标 TDengine 数据库也可以点击右侧的创建数据库按钮直接新建。配置连接信息在连接配置区域填写 KingHistorian 服务的网络参数Server 地址KingHistorian 服务器的主机地址Server 端口KingHistorian 服务的监听端口。在认证区域填写访问凭证用户名具备数据读取权限的账号密码对应的登录密码。填写完成后点击连通性检查按钮验证数据源是否可用。只有连通性检查通过才能继续后续的测点配置与任务提交若检查失败请核对地址、端口、认证信息以及代理如使用与 KingHistorian 之间的网络连通性。配置 Tag测点选择接入 KingHistorian 需要明确要采集哪些测点数据。在上传 CSV 配置文件区域完成以下操作点击下载数据点位按钮在弹出的选择界面中选择所需的测点组、测点与标签系统根据选择生成一个 CSV 配置文件并下载到本地按照实际需求修改生成的 CSV 配置文件例如增删测点、调整标签映射、修改目标表/字段映射等将修改后的 CSV 文件重新上传。CSV 文件是 KingHistorian 接入任务中测点清单与映射关系的关键载体任务启动后将按照该文件中的测点定义逐个或分批从源端拉取数据并写入 TDengine。先下载、再修改、后上传的流程既能保证配置文件格式与系统要求一致也避免了手工从零编写 CSV 的格式错误风险。配置采集信息在采集配置区域填写采集任务相关的配置参数。根据目标不同分为历史数据迁移与实时数据同步两种模式二者参数不同。历史数据迁移如果需要把 KingHistorian 中已归档的历史数据整体迁入 TDengine配置以下参数参数说明任务开始时间数据迁移任务的数据起始时间即从 KingHistorian 中读取数据的起点任务结束时间数据迁移任务的数据结束时间即读取数据的终点查询窗口一个时间间隔。迁移任务将[任务开始时间, 任务结束时间]的整个区间按该间隔划分为多个查询窗口并逐个窗口从源端拉取数据乱序一个时间间隔。每个查询窗口都会向前回溯该间隔即窗口实际查询的起点比窗口理论起点提前该时长用于兜底捕获在窗口边界处延迟到达乱序写入源库的数据避免漏采查询间隔一个时间间隔。相邻两个查询窗口之间会等待该时长再发起下一次查询用于平滑源端压力避免对 KingHistorian 造成突发查询冲击合理设置上述参数的典型思路是查询窗口决定单次查询的数据量与查询频次窗口越小、频次越高乱序应不小于源端数据延迟到达的最大时间查询间隔则用于控制对源系统的总体查询负载。对于长周期历史迁移建议先用较大的查询窗口跑通流程再根据源端负载逐步调优。实时数据同步如果需要持续订阅 KingHistorian 的新增数据并实时写入 TDengine配置以下参数最小间隔时间一个时间间隔表示订阅的最小间隔时间即实时同步任务的轮询/订阅周期下限。该值越小数据从源端到 TDengine 的延迟越低但对源端与网络的压力也越大需结合实际业务对实时性的要求合理设置。配置高级选项高级选项区域默认折叠点击展开后可配置更多参数。不同数据源可选项略有差异常见的通用选项如下详见 resources/_02-advanced_options.mdx最大读并发Maximum Read Concurrency限制源端连接数或读取线程数。默认值0表示由连接器自动配置当源端响应较慢且允许更大并发时可适当调大该值以提升读取吞吐批量大小Batch Size单次写入 TDengine 的最大消息数/行数默认值取决于数据源常见为1000或10000需要根据源端数据量与 TDengine 写入能力权衡写并发Write Concurrency部分数据源提供该选项指定可并发写入 TDengine 的任务数健康监控选项如监控周期、忙状态阈值、写队列长度、写错误阈值等用于任务运行状态的健康监测相关说明可参考 数据写入页面的健康状态章节。提交任务与状态查看完成上述所有配置后点击提交按钮完成任务创建。提交后回到数据写入页面即可查看任务状态包括运行状态、健康指标写队列、错误率等与处理进度。此后可以随时回到该页面编辑、启停任务或调整采集配置、增删测点并更新 CSV 映射无需重新创建数据源。对于后续的任务与代理运维除 taosExplorer 界面外还可以通过 SQL 管理数据接入任务Xnode详见 Data Ingestion (Xnode)taosX-Agent 的完整配置项说明见 taosX-Agent 组件文档。总结通过 taosExplorer 的无代码接入流程TDengine 可以快速、高效地对接 KingHistorian两种模式按需选择历史数据迁移使用任务开始/结束时间 查询窗口 乱序 查询间隔参数组实时数据同步使用最小间隔时间参数测点通过 CSV 驱动下载数据点位生成标准 CSV修改后重新上传即可灵活定义测点组、测点与标签的映射全流程可视化从新增数据源、连通性检查到任务提交与状态查看均在界面完成配合高级选项与健康监控可以精细控制读并发、批量大小与运行状态。接入完成后KingHistorian 的工业测点数据即可在 TDengine 中与其他时序数据统一存储、统一查询为后续的实时监控、历史分析与数据治理提供统一的数据底座。【免费下载链接】tdengineTDengine is an open source, high-performance, cloud native time-series database optimized for Internet of Things (IoT), Connected Cars, Industrial IoT and DevOps.项目地址: https://gitcode.com/taosdata/tdengine创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 TDengine 无代码接入 KingHistorian：通过 taosExplorer 实现历史数据迁移与实时数据同步
TDengine 无代码接入 KingHistorian通过 taosExplorer 实现历史数据迁移与实时数据同步【免费下载链接】tdengineTDengine is an open source, high-performance, cloud native time-series database optimized for Internet of Things (IoT), Connected Cars, Industrial IoT and DevOps.项目地址: https://gitcode.com/taosdata/tdengine本文基于 TDengine 官方文档docs/en/08-data-ingest-and-delivery/01-no-code-ingestion/19-kinghist.md编写讲解如何通过 taosExplorer 界面创建数据迁移/数据同步任务将 KingHistorian 中的测点数据接入当前 TDengine 集群。读完本文你将掌握 KingHistorian 数据源的完整接入流程包括数据源创建、连接配置、测点 CSV 生成与上传、历史迁移与实时同步两种采集模式的参数设置以及任务提交后的状态查看方法。功能概述KingHistorianKingHistorian 工业实时历史数据库常用于流程工业的实时数据采集与历史归档是典型的工业时序数据源。TDengine 可以高效地从 KingHistorian 读取数据并将其写入 TDengine从而实现两类典型场景历史数据迁移把 KingHistorian 中已经归档的历史数据按时间窗口批量读取并写入 TDengine用于数据平台的统一归档、迁移或二次分析实时数据同步以订阅方式持续读取 KingHistorian 的新增数据并实时写入 TDengine保证两端数据持续对齐支撑上层实时监控与告警应用。整个过程在 taosExplorer 的图形界面中完成无需编写任何代码属于 TDengine 无代码数据接入No-Code Ingestion体系的组成部分。相关功能依赖 TDengine 的企业版组件taosX 数据接入服务与 taosExplorer 图形化管理界面若 taosX 无法直连 KingHistorian 所在网络可参照 安装 taosX-Agent 在数据源侧部署代理后接入。创建任务前置准备在开始创建任务前请确认以下前提当前 TDengine 集群已启用企业版 taosX 组件并能正常访问 taosExplorer浏览器打开 taosExplorer从左侧主菜单进入数据写入 / Data In页面已知 KingHistorian 服务器的地址、端口及具备读取权限的账号密码若 taosX 无法直连 KingHistorian请先在数据源所在网络安装并注册 taosX-Agent安装、配置endpoint与token的完整步骤见 01-install-agent.md创建任务时在代理下拉框中选择该代理。新增数据源在数据写入页面中点击新增数据源按钮进入新增数据源页面。这是所有无代码接入任务的统一入口KingHistorian 作为受支持的数据源类型之一在列表中提供。配置基本信息在新增数据源页面的基本信息区域完成以下配置名称输入任务名称例如test_kinghistorian用于在任务列表中区分不同接入任务类型在下拉列表中选择KingHistorian代理非必填项。如 taosX 无法直连 KingHistorian可在下拉框中选择已注册的代理也可以点击右侧的创建新的代理按钮现场创建对应 taosX-Agent 安装流程目标数据库在下拉列表中选择数据要写入的目标 TDengine 数据库也可以点击右侧的创建数据库按钮直接新建。配置连接信息在连接配置区域填写 KingHistorian 服务的网络参数Server 地址KingHistorian 服务器的主机地址Server 端口KingHistorian 服务的监听端口。在认证区域填写访问凭证用户名具备数据读取权限的账号密码对应的登录密码。填写完成后点击连通性检查按钮验证数据源是否可用。只有连通性检查通过才能继续后续的测点配置与任务提交若检查失败请核对地址、端口、认证信息以及代理如使用与 KingHistorian 之间的网络连通性。配置 Tag测点选择接入 KingHistorian 需要明确要采集哪些测点数据。在上传 CSV 配置文件区域完成以下操作点击下载数据点位按钮在弹出的选择界面中选择所需的测点组、测点与标签系统根据选择生成一个 CSV 配置文件并下载到本地按照实际需求修改生成的 CSV 配置文件例如增删测点、调整标签映射、修改目标表/字段映射等将修改后的 CSV 文件重新上传。CSV 文件是 KingHistorian 接入任务中测点清单与映射关系的关键载体任务启动后将按照该文件中的测点定义逐个或分批从源端拉取数据并写入 TDengine。先下载、再修改、后上传的流程既能保证配置文件格式与系统要求一致也避免了手工从零编写 CSV 的格式错误风险。配置采集信息在采集配置区域填写采集任务相关的配置参数。根据目标不同分为历史数据迁移与实时数据同步两种模式二者参数不同。历史数据迁移如果需要把 KingHistorian 中已归档的历史数据整体迁入 TDengine配置以下参数参数说明任务开始时间数据迁移任务的数据起始时间即从 KingHistorian 中读取数据的起点任务结束时间数据迁移任务的数据结束时间即读取数据的终点查询窗口一个时间间隔。迁移任务将[任务开始时间, 任务结束时间]的整个区间按该间隔划分为多个查询窗口并逐个窗口从源端拉取数据乱序一个时间间隔。每个查询窗口都会向前回溯该间隔即窗口实际查询的起点比窗口理论起点提前该时长用于兜底捕获在窗口边界处延迟到达乱序写入源库的数据避免漏采查询间隔一个时间间隔。相邻两个查询窗口之间会等待该时长再发起下一次查询用于平滑源端压力避免对 KingHistorian 造成突发查询冲击合理设置上述参数的典型思路是查询窗口决定单次查询的数据量与查询频次窗口越小、频次越高乱序应不小于源端数据延迟到达的最大时间查询间隔则用于控制对源系统的总体查询负载。对于长周期历史迁移建议先用较大的查询窗口跑通流程再根据源端负载逐步调优。实时数据同步如果需要持续订阅 KingHistorian 的新增数据并实时写入 TDengine配置以下参数最小间隔时间一个时间间隔表示订阅的最小间隔时间即实时同步任务的轮询/订阅周期下限。该值越小数据从源端到 TDengine 的延迟越低但对源端与网络的压力也越大需结合实际业务对实时性的要求合理设置。配置高级选项高级选项区域默认折叠点击展开后可配置更多参数。不同数据源可选项略有差异常见的通用选项如下详见 resources/_02-advanced_options.mdx最大读并发Maximum Read Concurrency限制源端连接数或读取线程数。默认值0表示由连接器自动配置当源端响应较慢且允许更大并发时可适当调大该值以提升读取吞吐批量大小Batch Size单次写入 TDengine 的最大消息数/行数默认值取决于数据源常见为1000或10000需要根据源端数据量与 TDengine 写入能力权衡写并发Write Concurrency部分数据源提供该选项指定可并发写入 TDengine 的任务数健康监控选项如监控周期、忙状态阈值、写队列长度、写错误阈值等用于任务运行状态的健康监测相关说明可参考 数据写入页面的健康状态章节。提交任务与状态查看完成上述所有配置后点击提交按钮完成任务创建。提交后回到数据写入页面即可查看任务状态包括运行状态、健康指标写队列、错误率等与处理进度。此后可以随时回到该页面编辑、启停任务或调整采集配置、增删测点并更新 CSV 映射无需重新创建数据源。对于后续的任务与代理运维除 taosExplorer 界面外还可以通过 SQL 管理数据接入任务Xnode详见 Data Ingestion (Xnode)taosX-Agent 的完整配置项说明见 taosX-Agent 组件文档。总结通过 taosExplorer 的无代码接入流程TDengine 可以快速、高效地对接 KingHistorian两种模式按需选择历史数据迁移使用任务开始/结束时间 查询窗口 乱序 查询间隔参数组实时数据同步使用最小间隔时间参数测点通过 CSV 驱动下载数据点位生成标准 CSV修改后重新上传即可灵活定义测点组、测点与标签的映射全流程可视化从新增数据源、连通性检查到任务提交与状态查看均在界面完成配合高级选项与健康监控可以精细控制读并发、批量大小与运行状态。接入完成后KingHistorian 的工业测点数据即可在 TDengine 中与其他时序数据统一存储、统一查询为后续的实时监控、历史分析与数据治理提供统一的数据底座。【免费下载链接】tdengineTDengine is an open source, high-performance, cloud native time-series database optimized for Internet of Things (IoT), Connected Cars, Industrial IoT and DevOps.项目地址: https://gitcode.com/taosdata/tdengine创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考