使用 taosExplorer 将旧版 TDengine 数据迁移到新集群TDengine Query 数据源迁移任务实战【免费下载链接】tdengineTDengine is an open source, high-performance, cloud native time-series database optimized for Internet of Things (IoT), Connected Cars, Industrial IoT and DevOps.项目地址: https://gitcode.com/taosdata/tdengine本文围绕 TDengine 零代码接入Data In体系中的TDengine Query数据源讲解如何通过 taosExplorer 图形界面创建数据迁移任务将旧版本 TDenginev2.4、v3.0集群中的数据安全、可断点续传地迁移到当前集群。读完本文你将掌握三种迁移模式history / realtime / both的取舍、表结构迁移策略的选择以及任务创建、运行监控与指标解读的完整实战路径。功能概述与工作原理TDengine Query 迁移任务由 TDengine Enterprise 的核心组件taosX承载。taosX 通过SQL 查询方式读取源集群数据并把查询结果写入目标数据库。具体实现上taosX 以一个子表的一个时间段的数据作为查询的基本单元将要迁移的数据分批写入目标数据库从而在迁移超大表数据时保持内存占用可控、写入节奏平滑。该数据源在零代码接入体系中的定位如下表所示详见零代码接入总览数据源支持的源版本说明TDengine Query2.4、3.0从旧版本 TDengine 查询数据并写入新集群:::note 适用前提 本文所述功能属于TDengine TSDB-Enterprise能力社区版TDengine TSDB-OSS不包含该功能。使用 taosX 需先安装 TDengine Enterprise 包任务需在 taosExplorerTDengine 节点 6060 端口上的 Web 管理界面中创建。 :::三种迁移模式taosX 支持三种迁移模式覆盖“历史回填—增量同步—持续追平”的全部数据搬迁场景模式行为任务生命周期history迁移指定时间范围内的数据若不指定时间范围则迁移截至创建任务前的所有数据迁移完成即自动停止realtime同步从任务创建时间起之后的数据持续运行除非手动停止both先执行 history 模式再无缝切换执行 realtime 模式历史迁移完成后转为实时同步并持续运行选择建议一次性搬迁存量数据选择history并可按需指定起止时间只需从当下开始接入增量数据选择realtime既要回填历史数据、又要持续保持同步选择both这是系统迁移与升级场景最常用的组合。与命令行迁移模式的对应关系同样的三种模式在 taosX 命令行taosX 组件参考中通过 DSN 参数体现便于理解 UI 表单背后的参数语义# 历史数据不指定时间范围则迁移全部存量数据 taosx run -f taos://root:taosdatalocalhost:6030/db1 -t taos:///db2 -v # 指定时间区间RFC3339 时间格式注意时区 taosx run -f taos:///db1?start2022-10-10T00:00:00Z -t taos:///db2 -v # 实时模式回溯最近 5 分钟并持续同步新数据每 1s 查询一次允许 500ms 的延迟/乱序数据 taosx run -f taos:///db1?moderealtimerestro5minterval1sexcursion500ms -t taos:///db2 -v # both 模式历史 实时 taosx run -f taos:///db1?modeall -t taos:///db2 -v其中modehistory默认/moderealtime/modeall对应 UI 的三种迁移模式start指定历史数据的时间起点restro回溯窗口与interval轮询间隔、excursion允许的延迟/乱序容忍度用于精细调优实时同步默认走 native 连接时 taosX 需与源集群部署在同机或可达网络若使用taosws协议则通过 REST/WebSocket 方式取数无需在源端安装组件跨大版本如 2.x → 3.x迁移且使用 native 连接时需在 DSN 中指定libraryPath如taos:///db1?libraryPath./libtaos.so让 taosX 加载与源版本匹配的客户端库。表结构迁移选项在每种迁移模式下都可以指定是否迁移表结构选择always先在目标数据库同步建表超级表、子表结构再迁移数据。若源库子表数量很多此阶段耗时可能较长选择none直接迁移数据。如果已确认目标数据库拥有与源数据库相同的表结构推荐选择none以节省时间。命令行侧同样支持精细的表级过滤与结构操作可通过 DSN 参数只迁移指定超级表?stablesmeters或指定子表/普通表?tablesmeters.d0,d1,table1支持{stable}.{table}语法--transform/-T参数还支持迁移过程中的表名重命名前缀、后缀、模板、正则替换、CSV 映射与打标签AddTag等操作。断点续传进度持久化与异常恢复任务在运行过程中会将进度信息持久化保存到磁盘。因此暂停任务后重新启动任务会从上次进度处继续而不是从头开始任务从异常中自动恢复时同样不会重头执行。从检查点恢复机制看见零代码接入总览TDengine Query 数据源会持久化最后一次查询的时间戳并从该时间戳继续。这意味着即使源端持续有新数据写入、或迁移过程中发生宕机任务也能在恢复后保证数据不重不漏地追平。具体步骤创建 TDengine Query 迁移任务1. 进入数据写入页面并添加数据源登录 taosExplorer 后点击左侧菜单“数据写入”Data In然后点击右侧“ 新增数据源”Add Data Source按钮进入任务创建页面如上图所示。2. 填写任务名称并选择类型输入任务名称例如migrate-test然后在**类型Type**下拉框中选择“TDengine 查询”TDengine Query。此时表单会切换为从 TDengine 查询迁移数据专用的表单包含大量选项每个选项均带有详细说明如下图所示。3. 配置迁移选项表单的核心配置项可分为几组各字段的详细语义以创建页面上的表单说明为准连接配置Connection Configuration指向源集群。参考边云同步中 “Cloud Pull Query” 的字段约定通常包括协议Protocol选择WSWebSocket或 nativeHost / Port源端 taosAdapter 实例WS 协议或 taosd 的地址与端口Database要迁移的源数据库认证Authentication源集群中对该库具备访问权限的用户名与密码迁移模式history / realtime / both 三选一表结构迁移always / none时间范围history 模式下的起始时间可选缺省为全部存量数据页面提供“检查连通性”Check Connection按钮可在提交前验证目标能否访问源集群若失败请按页面返回的具体错误提示修改配置。4. 提交并监控任务点击“提交”Submit按钮提交任务后自动返回“数据源”Data Source任务列表页面。在此页面可以查看任务运行状态与实时运行情况对任务执行启动、停止、查看、删除、复制等管理操作详见零代码接入总览的任务管理小节查看写入记录数、流量等运行指标。代理Agent与网络可达性如果 taosX 无法直接连接源集群例如源端处于隔离网络可先安装并注册taosX-Agent再让迁移任务通过 Agent 接入数据源。安装与注册流程Windows 的sc start taosx-agent/ Linux 的sudo systemctl start taosx-agent以及agent.toml中endpoint、token的配置参见安装 taosX-Agent。任务状态与健康度解读自 v3.3.5.0 起任务列表会为每个运行中的任务显示健康状态health status并在高级选项Advanced Options中提供健康监控设置健康检查时长Health Check Duration、繁忙阈值Busy State Threshold默认100%、最大写入队列长度Max Write Queue Length、写入错误阈值Write Error Threshold。常见状态含义如下Ready源与目标健康检查通过可正常读写Idle监控周期内没有数据进入处理管道Active任务正常运行并处理数据Pending源健康但写入端在等待、暂无消息可写Busy写队列超过配置阈值通常提示性能瓶颈需调参或扩容资源本身不表示错误Bounce源与目标健康但写入错误超过阈值可能提示大量无效数据或数据丢失SourceError / SinkError源不可读 / 目标不可写工作负载会尝试重连Fatal发生了严重或不可恢复的错误。健康状态为空表示任务尚未有数据进入。迁移任务的关键指标taosX 通过 taosKeeper 上报监控指标并写入监控库。对于 TDengine Query 这类以“子表 × 时间段”为查询单元的历史迁移任务可重点关注taosX TDengine V2 Task指标组完整字段说明见taosX 组件参考字段含义read_concurrency并发读取源数据的 worker 线程数也等于并发写入 TDengine 的线程数total_stables / total_tables待迁移的超级表数 / 子表数total_created_tables / total_updated_tags累计创建的子表数 / 更新的标签数total_finished_tables已完成数据迁移的子表数任务中断重启后该值可能大于实际值total_success_blocks累计成功写入的数据块数finished_tables / success_blocks本次运行中完成迁移的子表数 / 成功写入的数据块数这些指标与“以一个子表的一个时间段作为基本查询单元”的实现一一对应任务按子表维度推进每个子表内部按时间分批查询、分批写入数据块。通过监控total_finished_tables与total_tables的比值即可直观判断迁移整体进度。相关文档零代码接入总览数据源支持矩阵、ETL解析/提取/过滤/映射规则与检查点恢复机制taosX 组件参考DSN 语法、命令行迁移参数、服务模式配置与完整监控指标边云同步基于 TDengine Query 的 “Cloud Pull Query” 同步方案安装 taosX-AgentAgent 安装、注册与任务配置数据迁移指南从其他时序数据库迁移到 TDengine 的端到端工作流【免费下载链接】tdengineTDengine is an open source, high-performance, cloud native time-series database optimized for Internet of Things (IoT), Connected Cars, Industrial IoT and DevOps.项目地址: https://gitcode.com/taosdata/tdengine创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 使用 taosExplorer 将旧版 TDengine 数据迁移到新集群：TDengine Query 数据源迁移任务实战
使用 taosExplorer 将旧版 TDengine 数据迁移到新集群TDengine Query 数据源迁移任务实战【免费下载链接】tdengineTDengine is an open source, high-performance, cloud native time-series database optimized for Internet of Things (IoT), Connected Cars, Industrial IoT and DevOps.项目地址: https://gitcode.com/taosdata/tdengine本文围绕 TDengine 零代码接入Data In体系中的TDengine Query数据源讲解如何通过 taosExplorer 图形界面创建数据迁移任务将旧版本 TDenginev2.4、v3.0集群中的数据安全、可断点续传地迁移到当前集群。读完本文你将掌握三种迁移模式history / realtime / both的取舍、表结构迁移策略的选择以及任务创建、运行监控与指标解读的完整实战路径。功能概述与工作原理TDengine Query 迁移任务由 TDengine Enterprise 的核心组件taosX承载。taosX 通过SQL 查询方式读取源集群数据并把查询结果写入目标数据库。具体实现上taosX 以一个子表的一个时间段的数据作为查询的基本单元将要迁移的数据分批写入目标数据库从而在迁移超大表数据时保持内存占用可控、写入节奏平滑。该数据源在零代码接入体系中的定位如下表所示详见零代码接入总览数据源支持的源版本说明TDengine Query2.4、3.0从旧版本 TDengine 查询数据并写入新集群:::note 适用前提 本文所述功能属于TDengine TSDB-Enterprise能力社区版TDengine TSDB-OSS不包含该功能。使用 taosX 需先安装 TDengine Enterprise 包任务需在 taosExplorerTDengine 节点 6060 端口上的 Web 管理界面中创建。 :::三种迁移模式taosX 支持三种迁移模式覆盖“历史回填—增量同步—持续追平”的全部数据搬迁场景模式行为任务生命周期history迁移指定时间范围内的数据若不指定时间范围则迁移截至创建任务前的所有数据迁移完成即自动停止realtime同步从任务创建时间起之后的数据持续运行除非手动停止both先执行 history 模式再无缝切换执行 realtime 模式历史迁移完成后转为实时同步并持续运行选择建议一次性搬迁存量数据选择history并可按需指定起止时间只需从当下开始接入增量数据选择realtime既要回填历史数据、又要持续保持同步选择both这是系统迁移与升级场景最常用的组合。与命令行迁移模式的对应关系同样的三种模式在 taosX 命令行taosX 组件参考中通过 DSN 参数体现便于理解 UI 表单背后的参数语义# 历史数据不指定时间范围则迁移全部存量数据 taosx run -f taos://root:taosdatalocalhost:6030/db1 -t taos:///db2 -v # 指定时间区间RFC3339 时间格式注意时区 taosx run -f taos:///db1?start2022-10-10T00:00:00Z -t taos:///db2 -v # 实时模式回溯最近 5 分钟并持续同步新数据每 1s 查询一次允许 500ms 的延迟/乱序数据 taosx run -f taos:///db1?moderealtimerestro5minterval1sexcursion500ms -t taos:///db2 -v # both 模式历史 实时 taosx run -f taos:///db1?modeall -t taos:///db2 -v其中modehistory默认/moderealtime/modeall对应 UI 的三种迁移模式start指定历史数据的时间起点restro回溯窗口与interval轮询间隔、excursion允许的延迟/乱序容忍度用于精细调优实时同步默认走 native 连接时 taosX 需与源集群部署在同机或可达网络若使用taosws协议则通过 REST/WebSocket 方式取数无需在源端安装组件跨大版本如 2.x → 3.x迁移且使用 native 连接时需在 DSN 中指定libraryPath如taos:///db1?libraryPath./libtaos.so让 taosX 加载与源版本匹配的客户端库。表结构迁移选项在每种迁移模式下都可以指定是否迁移表结构选择always先在目标数据库同步建表超级表、子表结构再迁移数据。若源库子表数量很多此阶段耗时可能较长选择none直接迁移数据。如果已确认目标数据库拥有与源数据库相同的表结构推荐选择none以节省时间。命令行侧同样支持精细的表级过滤与结构操作可通过 DSN 参数只迁移指定超级表?stablesmeters或指定子表/普通表?tablesmeters.d0,d1,table1支持{stable}.{table}语法--transform/-T参数还支持迁移过程中的表名重命名前缀、后缀、模板、正则替换、CSV 映射与打标签AddTag等操作。断点续传进度持久化与异常恢复任务在运行过程中会将进度信息持久化保存到磁盘。因此暂停任务后重新启动任务会从上次进度处继续而不是从头开始任务从异常中自动恢复时同样不会重头执行。从检查点恢复机制看见零代码接入总览TDengine Query 数据源会持久化最后一次查询的时间戳并从该时间戳继续。这意味着即使源端持续有新数据写入、或迁移过程中发生宕机任务也能在恢复后保证数据不重不漏地追平。具体步骤创建 TDengine Query 迁移任务1. 进入数据写入页面并添加数据源登录 taosExplorer 后点击左侧菜单“数据写入”Data In然后点击右侧“ 新增数据源”Add Data Source按钮进入任务创建页面如上图所示。2. 填写任务名称并选择类型输入任务名称例如migrate-test然后在**类型Type**下拉框中选择“TDengine 查询”TDengine Query。此时表单会切换为从 TDengine 查询迁移数据专用的表单包含大量选项每个选项均带有详细说明如下图所示。3. 配置迁移选项表单的核心配置项可分为几组各字段的详细语义以创建页面上的表单说明为准连接配置Connection Configuration指向源集群。参考边云同步中 “Cloud Pull Query” 的字段约定通常包括协议Protocol选择WSWebSocket或 nativeHost / Port源端 taosAdapter 实例WS 协议或 taosd 的地址与端口Database要迁移的源数据库认证Authentication源集群中对该库具备访问权限的用户名与密码迁移模式history / realtime / both 三选一表结构迁移always / none时间范围history 模式下的起始时间可选缺省为全部存量数据页面提供“检查连通性”Check Connection按钮可在提交前验证目标能否访问源集群若失败请按页面返回的具体错误提示修改配置。4. 提交并监控任务点击“提交”Submit按钮提交任务后自动返回“数据源”Data Source任务列表页面。在此页面可以查看任务运行状态与实时运行情况对任务执行启动、停止、查看、删除、复制等管理操作详见零代码接入总览的任务管理小节查看写入记录数、流量等运行指标。代理Agent与网络可达性如果 taosX 无法直接连接源集群例如源端处于隔离网络可先安装并注册taosX-Agent再让迁移任务通过 Agent 接入数据源。安装与注册流程Windows 的sc start taosx-agent/ Linux 的sudo systemctl start taosx-agent以及agent.toml中endpoint、token的配置参见安装 taosX-Agent。任务状态与健康度解读自 v3.3.5.0 起任务列表会为每个运行中的任务显示健康状态health status并在高级选项Advanced Options中提供健康监控设置健康检查时长Health Check Duration、繁忙阈值Busy State Threshold默认100%、最大写入队列长度Max Write Queue Length、写入错误阈值Write Error Threshold。常见状态含义如下Ready源与目标健康检查通过可正常读写Idle监控周期内没有数据进入处理管道Active任务正常运行并处理数据Pending源健康但写入端在等待、暂无消息可写Busy写队列超过配置阈值通常提示性能瓶颈需调参或扩容资源本身不表示错误Bounce源与目标健康但写入错误超过阈值可能提示大量无效数据或数据丢失SourceError / SinkError源不可读 / 目标不可写工作负载会尝试重连Fatal发生了严重或不可恢复的错误。健康状态为空表示任务尚未有数据进入。迁移任务的关键指标taosX 通过 taosKeeper 上报监控指标并写入监控库。对于 TDengine Query 这类以“子表 × 时间段”为查询单元的历史迁移任务可重点关注taosX TDengine V2 Task指标组完整字段说明见taosX 组件参考字段含义read_concurrency并发读取源数据的 worker 线程数也等于并发写入 TDengine 的线程数total_stables / total_tables待迁移的超级表数 / 子表数total_created_tables / total_updated_tags累计创建的子表数 / 更新的标签数total_finished_tables已完成数据迁移的子表数任务中断重启后该值可能大于实际值total_success_blocks累计成功写入的数据块数finished_tables / success_blocks本次运行中完成迁移的子表数 / 成功写入的数据块数这些指标与“以一个子表的一个时间段作为基本查询单元”的实现一一对应任务按子表维度推进每个子表内部按时间分批查询、分批写入数据块。通过监控total_finished_tables与total_tables的比值即可直观判断迁移整体进度。相关文档零代码接入总览数据源支持矩阵、ETL解析/提取/过滤/映射规则与检查点恢复机制taosX 组件参考DSN 语法、命令行迁移参数、服务模式配置与完整监控指标边云同步基于 TDengine Query 的 “Cloud Pull Query” 同步方案安装 taosX-AgentAgent 安装、注册与任务配置数据迁移指南从其他时序数据库迁移到 TDengine 的端到端工作流【免费下载链接】tdengineTDengine is an open source, high-performance, cloud native time-series database optimized for Internet of Things (IoT), Connected Cars, Industrial IoT and DevOps.项目地址: https://gitcode.com/taosdata/tdengine创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考