dbx 元数据优先预览MongoDB 大规模备份恢复的目录/归档轻量级重构方案【免费下载链接】dbx25 MB lightweight cross-platform database client for 90 databases, including MySQL, PostgreSQL, SQLite, Redis, MongoDB, DuckDB, SQL Server, and Dameng. Built-in AI, MCP Server, CLI, desktop and Docker. | 轻量级跨平台数据库管理工具支持 MySQL、PostgreSQL、SQLite、Redis、MongoDB、达梦等 90 数据库提供桌面端、Docker、CLI、内置 AI 助手和 MCP Server。项目地址: https://gitcode.com/gh_mirrors/dbx7/dbx本文讲解开源项目 dbx 在 MongoDB 数据库恢复场景中落地的一套元数据优先metadata-first轻量级预览方案不再在用户确认恢复选项前就上传、解压并校验整个备份而是先只读取备份目录清单manifest与元数据完成预览把完整校验推迟到确认后的恢复任务内执行。读完本文你将掌握 dbx 从全量预准备重构为目录/归档双路径 两阶段源状态 可取消可回放任务的设计思路、源码实现位置、资源限制与验收标准可直接用于理解该功能的行为边界并指导二次开发。背景一个 5.6 GB 备份暴露的全量预准备瓶颈重构前的prepare_mongodb_restore_source流程存在明显缺陷它会上传整个备份目录、解压并校验每一条 BSON 文档然后写出一个未压缩的快照之后才把源数据库和集合选项呈现给用户UI 则阻塞等待单个 HTTP 响应没有准备进度也没有取消能力。文档记录了一个真实触发的案例一个包含211 个文件的 gzip 备份总大小 5,672,833,827 字节约 5.28 GiB在确认前准备阶段就耗费了数十分钟做磁盘与 CPU 工作。进程 I/O 计数器证实仍有持续写入而在 Windows 上由于文件仍被打开的句柄占用目录中文件大小不能可靠反映实际写入量。关键点是整个准备阶段没有发生任何目标数据库写入——用户在确认前等待了大量本可避免的 I/O。由此确定的设计方向是目录清单请求只携带受限的文件清单与元数据选中的 BSON 文件在用户确认恢复选项之后才上传。桌面端目录发现只读取元数据/stat 信息而不拷贝 BSON归档目录发现读到 prelude前导区即停不校验载荷。完整校验移入确认后的恢复任务内、在访问或写入目标之前执行。总体设计从单一预准备源拆分为两阶段状态重构将原先单一的预准备源概念拆分为两个内部状态对应 crates/dbx-core/src/data/mongodb_dump/source.rs 中的CatalogSource结构CatalogSource仅包含元数据、文件清单与源身份identity是未验证的数据。它在预览阶段创建通过一个OnceLockMutexHashMapString, ArcCatalogSource全局注册表以source_ref引用UUID并有 24 小时过期机制与最多 32 个并发源的上限。ValidatedRestoreSource文档中规划的第二个状态拥有输入owned input并已验证选中的命名空间与计数绑定到冻结的恢复计划只有该状态可进入写入阶段。核心不变式贯穿所有阶段传输层只保留不透明引用绝不接受任意的 Web 服务端路径目录引用或客户端提供的validated标记永远不能绕过验证目录/会话计数与元数据内存要独立于 BSON 上传上限进行限制。任务生命周期定义为一条显式状态机catalog - confirmed - acquiring - validating - restoring - indexes/views - done任一活动阶段都可能转为failed或cancelled目标写入只允许在restoring阶段开始元数据目录端点保持有界不得同步等待完整的恢复源校验通过。用户流程确认前零数据搬运立即显示目标连接/数据库从树节点预填显式选择目录或归档及 gzip不推断、不擅自更改选项。只读取备份目录。填充源数据库、集合名、索引/选项可用性、类型与源文件大小。未知的文档计数保持未知不扫描 BSON 求精确值源码中catalog(entries, false)传exactfalsecrates/dbx-core/src/data/mongodb_dump.rs 的MongoDumpCollection.documents为Optionu64。选择一个源数据库、目标数据库与集合配置追加或所选集合替换drop_existing、选项restore_options、索引restore_indexes与写错误策略stop_on_error。确认冻结的选择与破坏性策略套用既有的生产保护production guard。任何选择变更都需要重新确认。获取所选数据、校验、再恢复各阶段分开展示。在所选恢复集校验成功完成之前不允许任何目标变更。目录Directory路径清单先行、按需上传预览期Web 端本地枚举File引用与相对路径只发送有界文件清单加.metadata.json/.metadata.json.gz内容用于核心解析不上传、不读取.bson/.bson.gz实体。元数据上传同样有大小限制单份元数据不超过 16 MiB总量不超过 128 MiB见 directory.rs 中MAX_DOCUMENT与metadata_bytes检查gzip 元数据另有解压后大小上限。桌面端直接枚举本地路径读取元数据预览期间不拷贝、不解压集合数据。校验与拒绝规则缺失可选元数据时允许仅数据恢复并显式警告集合名来自既有官方文件名解码器metadata::unescape_collection因为截断的官方文件名可能停在转义中间collectionName才是权威。拒绝有歧义的文件名、重复命名空间、不安全路径、缺失必需 BSON、gzip 选项不匹配Gzip option does not match dump file由 directory.rs 的collect/inspect强制。Web 端上传路径必须满足relative_path校验非空、不含\ : \0、组件数不超过 4、且全部为Component::Normal。符号链接被整体拒绝reject_link同时处理 Unix 符号链接与 Windows 重解析点/属性0x400目录结构深度限制为 3目录内不允许数据库文件与子目录混排这是mongodumpoplog 根目录的典型特征。备份根目录最大 100,000 个文件、100,000 个集合重复文件名与重复命名空间直接报错。确认之后Web 端仅上传被选中的BSON 与关联元数据然后对照已确认的目录校验上传清单多余、缺失、重复或变化的元数据都必须要求修正/复核不允许静默变更。这正是 source.rs 中attach_mongodb_restore_upload的职责——它基于服务端而非上传载荷判定确认选择所需的文件mongodb_restore_upload_files重新解析上传结果后逐项比对数据库、集合名、元数据 JSON、文件大小与相对路径不匹配即释放新源并报错Uploaded files differ from the confirmed catalog; read the backup again。未选中的目录集合数据不会被打开或校验不支持的集合可以显示为不可用而不阻塞其他受支持选择但不安全的源布局仍会整体拒绝该源。归档Archive路径只读前导区官方格式兼容归档路径的预览语义更激进Web 端本迭代保留一次完整归档上传带字节进度与取消该传输成本发生在选择之前但不包含全量 BSON 扫描或完整归档解压。桌面端预览期只读本地归档的 prelude。核心层读取 magic、版本和有界集合元数据直至 prelude 终止符TERMINATOR [255; 4]即停gzip 时只解压 prelude 所需前缀。预览不认证归档 EOF 或 gzip 完整性。归档格式严格对齐官方 MongoDB Database Tools 100.18.0 的common/archive/spec.md元数据在 prelude之后是交错排列的命名空间段与命名空间 EOF/校验和记录。核心实现见 archive.rsmagic 常量MAGIC: u32 0x8199_e26d版本必须是0.1inspect只消费 prelude读 magic → 头文档 → 循环读集合头db/collection/metadataJSON遇到Frame::Terminator即 break同时校验时间序列归档type timeseries暂不支持、归档命名空间与集合元数据必须一致集合数据可以交错interleaved。确认后stream必须遍历整个归档包括帧边界、命名空间 EOF 与校验和——即使只选了部分集合。归档不承诺随机访问或只读所选段只恢复所选命名空间。校验和采用 Gohash/crc64ECMA 表语义位反射 初始/最终状态补码用 Rustcrccrate 的CRC_64_XZ实现并有单测锚定CRC.checksum(b123456789) 0x995d_c9bb_df19_39fa。整个归档的完整性错误仍会导致校验失败不支持但未选中的集合元数据不必让一个本可成功的选择失败。源所有权与验证快照不变身份可查目录输入保留原始表示的不可变快照gzip 保持 gzip。校验时流式穿过并丢弃解码字节恢复时重读同一份快照——刻意用第二次 gzip 解码换取避免一份可能巨大的未压缩临时副本。这复用了既有的 BSON 导入器与多成员 gzip 支持MultiGzDecoder。归档输入在旧方案里可以先把所选命名空间 spool 成压缩 BSON 文件交给集合导入器但要使用有界缓冲与有界打开的 writer每个命名空间段的完整 gzip 成员允许交错命名空间而无须无界文件句柄缓存不 spool 未选命名空间不保留另一份完整未压缩归档使用 spool 前须完成全部检查。关键身份校验机制identity(path)返回(文件大小, 可选修改时间)unchanged()在恢复前对照预览期的记录文件变化即报Backup source changed; read the backup again。Web 端拥有上传的输入桌面端在确认后获取 owned 快照——不得校验一个可变的原始文件、之后再从它恢复出不同的字节。元数据/源身份须对照预览检查变更即失败/复核。写入前还需复查目标可写性、集合类型、所选视图的依赖与已确认选项。缺失依赖必须显式解决或拒绝绝不静默向选择中添加集合。BSON、gzip 或归档帧损坏无论写错误策略如何都是致命的。任务与传输契约单一任务 ID、可回放进度、显式取消确认时创建任务并冻结计划对同一任务重复的 submit/seal 请求不能启动第二次恢复stream.rs的StopOnDrop与flag协同防止已释放/重复确认泄漏写入。复用既有的可回放任务进度传输重连必须恢复最新状态与终态结果而不是自动重执行写入。取消是显式的后端操作在 upload、decode、validation、writes 与索引操作中都会检查核心层cancelled(flag)轮询AtomicBool外层blocking_work每 100 ms 检查一次is_cancelled(task_id)。仅浏览器 abort 不够。关闭活动对话框提供取消或后台继续瞬时连接丢失不会静默取消或重试数据库写入。服务端重启会中断任务自动断点续传不在本次范围内。Web 与 Tauri 适配同一套核心 plan/validation 阶段MongoDB 元数据解析与恢复策略不进入 Vue 或 HTTP handler前端仅剩 MongoDatabaseDumpDialog.vue 负责目标选择、轻量目录、确认与分阶段进度展示格式选择保持显式。进度字段包含phase、当前集合、集合计数、已读输入字节、已校验未压缩字节、已校验/已恢复文档数与耗时。上传有字节总量目录校验用所选物理输入大小归档扫描进度用整个物理归档大小而非所选大小。不得把压缩输入总量与未压缩输出对比、也不得展示虚构的整体百分比。取消/失败时如实报告部分写入写入阶段开始后不承诺回滚。资源限制与安全边界Web 上传复用DBX_MAX_UPLOAD_MB环境变量服务端在 crates/dbx-web/src/main.rs 读取测试服务使用 8192 MiB此设计不改变项目默认值或 SQL 上传设置。该有效上限暴露给前端做发送前预检同时作用于所选目录上传总量或整个归档并叠加一个独立有界的多部分multipart帧余量实际接收字节也要强制检查超限返回结构化 HTTP 413见 crates/dbx-web/src/routes/mongodb_import_export.rs 的max_upload_bytes检查。Web 输入与校验 spool 使用服务端拥有的data_dir/tmp存储避免把大型备份悄悄膨胀到另一个 OS 临时卷。在已知大小获取前与 spool 过程中周期性检查可用磁盘空间保留显式空闲预留并限制解压/元数据内存。压缩文件大小与 gzip trailer 大小都不能作为安全的膨胀上界。失败/取消/过期时仅在活动 worker 释放后删除自己拥有的临时数据启动时清理废弃任务目录绝不删除用户原始文件任务活动期间不改变源所有权。桌面端没有 Web 上传上限但共享磁盘、格式与取消检查。代码边界核心、Web/Tauri 与前端的分工crates/dbx-core/src/data/mongodb_dump/directory.rs元数据目录发现与所选输入校验分离目录检查期间无任何数据读取器调用。crates/dbx-core/src/data/mongodb_dump/archive.rsprelude 检查与全量校验/解复用分离保持官方 CRC 与交错兼容。crates/dbx-core/src/data/mongodb_dump.rs源状态、冻结计划、获取所有权、预检校验与恢复阶段转换含视图依赖的显式栈排序ordered_entries上传元数据可含任意深度链遍历不占调用栈并有 20,000 级依赖链的单测。crates/dbx-core/src/data/mongodb_dump/stream.rs有界原始 BSON 批处理BATCH_BYTES 8 MiB 文档计数上限默认batch_size 500、可选对象检查objcheck与生命周期协调恢复数据使用官方 Rust BSON 库的RawDocumentBuf直接进入原生 MongoDB 驱动插入助手默认不经过 JSON 或 owned Document 转换原始字节原样插入。Web 路由 / Tauri 命令src-tauri/src/commands/mongodb_dump.rs、src-tauri/src/lib.rs文件传输、任务生命周期、进度/取消与限额既有导出任务与集合工作流保持不变。集成测试位于 crates/dbx-core/tests/mongodb_dump_restore.rs覆盖官方工具往返、损坏数据拒绝、部分写入上报等回归场景。恢复写入期的核心参数MongoDatabaseRestoreRequestcrates/dbx-core/src/data/mongodb_dump.rs是确认后恢复任务的请求载体关键字段与默认值如下字段默认值说明sourceRef—预览阶段返回的CatalogSource引用sourceDatabase/database—源数据库与目标数据库collections全部选择的集合名列表缺省为源中全部dropExistingfalse是否删除并重建已选目标集合替换既有视图/非常规集合必须为 truerestoreOptionstrue是否恢复集合选项restoreIndexestrue是否在数据流完成后恢复索引视图依赖顺序恢复stopOnErrortrue批量写错误时是否中止objcheckfalse是否在入队前用官方 BSON 库深度解析每份文档对齐mongorestore --objcheckbatchSize500批处理的文档计数上限另有 8 MiB 字节目标后续演进从全量预校验到流式恢复按文档说明mongodb-database-restore-v2.md中全量预校验/快照部分已被 docs/mongodb-database-restore-streaming.md 取代——元数据优先预览保持不变但恢复不再二次扫描备份确认后读取源身份与元数据然后单遍完成读取 → 解压 → 校验 → 插入帧边界、截断、gzip 完整性与归档命名空间 EOF/CRC 检查在读取过程中强制不受objcheck控制。流式演进新增可选objcheck开关默认关闭并引入有界双批队列mpsc::channel(2)连接阻塞式文件/解码工作与异步写入。其文档记录的内存 gzip 解析器烟测数据Windows x64、未优化构建、8,192 文档显示原始流式 129 ms、流式 对象检查 851 ms、模拟旧双解析 2,315 ms——这些数字不含上传、磁盘、MongoDB 写入与索引构建也不是端到端恢复速度承诺。验证结果与验收要点文档记录了重构完成后的验证8 个核心/集成测试通过包括官方 MongoDB Tools 100.18.0 的目录/归档含与不含 gzip往返、BSON 值不变、选项/索引/视图与损坏数据在所选集合 drop 前的拒绝。仅元数据的目录预览可接受 5 GiB 清单而无需 BSON 实体变更的源文件与不匹配的已确认上传被拒绝。一个合成 211 文件目录清单代表 5 GiB经真实 HTTP 路由发送 8,080 字节 gzip 元数据253 ms 返回 105 个集合文档声明这不是对用户原始备份的基准测试该备份当时不可用。28 个聚焦前端测试通过浏览器工作流对隔离 MongoDB 实例预览官方 gzip 目录、选择单个集合、确认不同目标数据库并恢复 2 份文档与 2 个索引。最终 Web HTTP 集成、Vue 类型检查与 Tauri 编译检查通过本地 Web 服务以DBX_MAX_UPLOAD_MB8192重启。必做回归项设计文档明确列出包括211 文件目录预览只发清单/元数据大 BSON 文件不增加预览工作量gzip 不匹配在 BSON 上传前即被文件名识别并报告确认子集只上传/恢复该子集confirm/drop 不影响未选目标集合最后一个选中集合的损坏在目标变更前失败交错归档与多成员 gzip 与官方工具双向兼容高可压缩输入不产生整份未压缩临时副本取消上传/校验、断开/重连、重复提交与磁盘满场景不泄漏 worker 或启动意外写入被修改的桌面输入或变更的上传元数据不能静默失效已确认选择SQL/表导入与数据库导出回归干净。参考文档本文主体设计docs/mongodb-database-restore-v2.md流式恢复演进docs/mongodb-database-restore-streaming.md早期 dump/restore 基线docs/mongodb-database-dump-restore.md、docs/mongodb-database-dump-restore-streaming.md核心实现crates/dbx-core/src/data/mongodb_dump/source.rs、directory.rs、archive.rs、stream.rs、metadata.rs、mongodb_dump.rs集成测试crates/dbx-core/tests/mongodb_dump_restore.rs前端对话框apps/desktop/src/components/document/MongoDatabaseDumpDialog.vue【免费下载链接】dbx25 MB lightweight cross-platform database client for 90 databases, including MySQL, PostgreSQL, SQLite, Redis, MongoDB, DuckDB, SQL Server, and Dameng. Built-in AI, MCP Server, CLI, desktop and Docker. | 轻量级跨平台数据库管理工具支持 MySQL、PostgreSQL、SQLite、Redis、MongoDB、达梦等 90 数据库提供桌面端、Docker、CLI、内置 AI 助手和 MCP Server。项目地址: https://gitcode.com/gh_mirrors/dbx7/dbx创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 dbx 元数据优先预览：MongoDB 大规模备份恢复的目录/归档轻量级重构方案
dbx 元数据优先预览MongoDB 大规模备份恢复的目录/归档轻量级重构方案【免费下载链接】dbx25 MB lightweight cross-platform database client for 90 databases, including MySQL, PostgreSQL, SQLite, Redis, MongoDB, DuckDB, SQL Server, and Dameng. Built-in AI, MCP Server, CLI, desktop and Docker. | 轻量级跨平台数据库管理工具支持 MySQL、PostgreSQL、SQLite、Redis、MongoDB、达梦等 90 数据库提供桌面端、Docker、CLI、内置 AI 助手和 MCP Server。项目地址: https://gitcode.com/gh_mirrors/dbx7/dbx本文讲解开源项目 dbx 在 MongoDB 数据库恢复场景中落地的一套元数据优先metadata-first轻量级预览方案不再在用户确认恢复选项前就上传、解压并校验整个备份而是先只读取备份目录清单manifest与元数据完成预览把完整校验推迟到确认后的恢复任务内执行。读完本文你将掌握 dbx 从全量预准备重构为目录/归档双路径 两阶段源状态 可取消可回放任务的设计思路、源码实现位置、资源限制与验收标准可直接用于理解该功能的行为边界并指导二次开发。背景一个 5.6 GB 备份暴露的全量预准备瓶颈重构前的prepare_mongodb_restore_source流程存在明显缺陷它会上传整个备份目录、解压并校验每一条 BSON 文档然后写出一个未压缩的快照之后才把源数据库和集合选项呈现给用户UI 则阻塞等待单个 HTTP 响应没有准备进度也没有取消能力。文档记录了一个真实触发的案例一个包含211 个文件的 gzip 备份总大小 5,672,833,827 字节约 5.28 GiB在确认前准备阶段就耗费了数十分钟做磁盘与 CPU 工作。进程 I/O 计数器证实仍有持续写入而在 Windows 上由于文件仍被打开的句柄占用目录中文件大小不能可靠反映实际写入量。关键点是整个准备阶段没有发生任何目标数据库写入——用户在确认前等待了大量本可避免的 I/O。由此确定的设计方向是目录清单请求只携带受限的文件清单与元数据选中的 BSON 文件在用户确认恢复选项之后才上传。桌面端目录发现只读取元数据/stat 信息而不拷贝 BSON归档目录发现读到 prelude前导区即停不校验载荷。完整校验移入确认后的恢复任务内、在访问或写入目标之前执行。总体设计从单一预准备源拆分为两阶段状态重构将原先单一的预准备源概念拆分为两个内部状态对应 crates/dbx-core/src/data/mongodb_dump/source.rs 中的CatalogSource结构CatalogSource仅包含元数据、文件清单与源身份identity是未验证的数据。它在预览阶段创建通过一个OnceLockMutexHashMapString, ArcCatalogSource全局注册表以source_ref引用UUID并有 24 小时过期机制与最多 32 个并发源的上限。ValidatedRestoreSource文档中规划的第二个状态拥有输入owned input并已验证选中的命名空间与计数绑定到冻结的恢复计划只有该状态可进入写入阶段。核心不变式贯穿所有阶段传输层只保留不透明引用绝不接受任意的 Web 服务端路径目录引用或客户端提供的validated标记永远不能绕过验证目录/会话计数与元数据内存要独立于 BSON 上传上限进行限制。任务生命周期定义为一条显式状态机catalog - confirmed - acquiring - validating - restoring - indexes/views - done任一活动阶段都可能转为failed或cancelled目标写入只允许在restoring阶段开始元数据目录端点保持有界不得同步等待完整的恢复源校验通过。用户流程确认前零数据搬运立即显示目标连接/数据库从树节点预填显式选择目录或归档及 gzip不推断、不擅自更改选项。只读取备份目录。填充源数据库、集合名、索引/选项可用性、类型与源文件大小。未知的文档计数保持未知不扫描 BSON 求精确值源码中catalog(entries, false)传exactfalsecrates/dbx-core/src/data/mongodb_dump.rs 的MongoDumpCollection.documents为Optionu64。选择一个源数据库、目标数据库与集合配置追加或所选集合替换drop_existing、选项restore_options、索引restore_indexes与写错误策略stop_on_error。确认冻结的选择与破坏性策略套用既有的生产保护production guard。任何选择变更都需要重新确认。获取所选数据、校验、再恢复各阶段分开展示。在所选恢复集校验成功完成之前不允许任何目标变更。目录Directory路径清单先行、按需上传预览期Web 端本地枚举File引用与相对路径只发送有界文件清单加.metadata.json/.metadata.json.gz内容用于核心解析不上传、不读取.bson/.bson.gz实体。元数据上传同样有大小限制单份元数据不超过 16 MiB总量不超过 128 MiB见 directory.rs 中MAX_DOCUMENT与metadata_bytes检查gzip 元数据另有解压后大小上限。桌面端直接枚举本地路径读取元数据预览期间不拷贝、不解压集合数据。校验与拒绝规则缺失可选元数据时允许仅数据恢复并显式警告集合名来自既有官方文件名解码器metadata::unescape_collection因为截断的官方文件名可能停在转义中间collectionName才是权威。拒绝有歧义的文件名、重复命名空间、不安全路径、缺失必需 BSON、gzip 选项不匹配Gzip option does not match dump file由 directory.rs 的collect/inspect强制。Web 端上传路径必须满足relative_path校验非空、不含\ : \0、组件数不超过 4、且全部为Component::Normal。符号链接被整体拒绝reject_link同时处理 Unix 符号链接与 Windows 重解析点/属性0x400目录结构深度限制为 3目录内不允许数据库文件与子目录混排这是mongodumpoplog 根目录的典型特征。备份根目录最大 100,000 个文件、100,000 个集合重复文件名与重复命名空间直接报错。确认之后Web 端仅上传被选中的BSON 与关联元数据然后对照已确认的目录校验上传清单多余、缺失、重复或变化的元数据都必须要求修正/复核不允许静默变更。这正是 source.rs 中attach_mongodb_restore_upload的职责——它基于服务端而非上传载荷判定确认选择所需的文件mongodb_restore_upload_files重新解析上传结果后逐项比对数据库、集合名、元数据 JSON、文件大小与相对路径不匹配即释放新源并报错Uploaded files differ from the confirmed catalog; read the backup again。未选中的目录集合数据不会被打开或校验不支持的集合可以显示为不可用而不阻塞其他受支持选择但不安全的源布局仍会整体拒绝该源。归档Archive路径只读前导区官方格式兼容归档路径的预览语义更激进Web 端本迭代保留一次完整归档上传带字节进度与取消该传输成本发生在选择之前但不包含全量 BSON 扫描或完整归档解压。桌面端预览期只读本地归档的 prelude。核心层读取 magic、版本和有界集合元数据直至 prelude 终止符TERMINATOR [255; 4]即停gzip 时只解压 prelude 所需前缀。预览不认证归档 EOF 或 gzip 完整性。归档格式严格对齐官方 MongoDB Database Tools 100.18.0 的common/archive/spec.md元数据在 prelude之后是交错排列的命名空间段与命名空间 EOF/校验和记录。核心实现见 archive.rsmagic 常量MAGIC: u32 0x8199_e26d版本必须是0.1inspect只消费 prelude读 magic → 头文档 → 循环读集合头db/collection/metadataJSON遇到Frame::Terminator即 break同时校验时间序列归档type timeseries暂不支持、归档命名空间与集合元数据必须一致集合数据可以交错interleaved。确认后stream必须遍历整个归档包括帧边界、命名空间 EOF 与校验和——即使只选了部分集合。归档不承诺随机访问或只读所选段只恢复所选命名空间。校验和采用 Gohash/crc64ECMA 表语义位反射 初始/最终状态补码用 Rustcrccrate 的CRC_64_XZ实现并有单测锚定CRC.checksum(b123456789) 0x995d_c9bb_df19_39fa。整个归档的完整性错误仍会导致校验失败不支持但未选中的集合元数据不必让一个本可成功的选择失败。源所有权与验证快照不变身份可查目录输入保留原始表示的不可变快照gzip 保持 gzip。校验时流式穿过并丢弃解码字节恢复时重读同一份快照——刻意用第二次 gzip 解码换取避免一份可能巨大的未压缩临时副本。这复用了既有的 BSON 导入器与多成员 gzip 支持MultiGzDecoder。归档输入在旧方案里可以先把所选命名空间 spool 成压缩 BSON 文件交给集合导入器但要使用有界缓冲与有界打开的 writer每个命名空间段的完整 gzip 成员允许交错命名空间而无须无界文件句柄缓存不 spool 未选命名空间不保留另一份完整未压缩归档使用 spool 前须完成全部检查。关键身份校验机制identity(path)返回(文件大小, 可选修改时间)unchanged()在恢复前对照预览期的记录文件变化即报Backup source changed; read the backup again。Web 端拥有上传的输入桌面端在确认后获取 owned 快照——不得校验一个可变的原始文件、之后再从它恢复出不同的字节。元数据/源身份须对照预览检查变更即失败/复核。写入前还需复查目标可写性、集合类型、所选视图的依赖与已确认选项。缺失依赖必须显式解决或拒绝绝不静默向选择中添加集合。BSON、gzip 或归档帧损坏无论写错误策略如何都是致命的。任务与传输契约单一任务 ID、可回放进度、显式取消确认时创建任务并冻结计划对同一任务重复的 submit/seal 请求不能启动第二次恢复stream.rs的StopOnDrop与flag协同防止已释放/重复确认泄漏写入。复用既有的可回放任务进度传输重连必须恢复最新状态与终态结果而不是自动重执行写入。取消是显式的后端操作在 upload、decode、validation、writes 与索引操作中都会检查核心层cancelled(flag)轮询AtomicBool外层blocking_work每 100 ms 检查一次is_cancelled(task_id)。仅浏览器 abort 不够。关闭活动对话框提供取消或后台继续瞬时连接丢失不会静默取消或重试数据库写入。服务端重启会中断任务自动断点续传不在本次范围内。Web 与 Tauri 适配同一套核心 plan/validation 阶段MongoDB 元数据解析与恢复策略不进入 Vue 或 HTTP handler前端仅剩 MongoDatabaseDumpDialog.vue 负责目标选择、轻量目录、确认与分阶段进度展示格式选择保持显式。进度字段包含phase、当前集合、集合计数、已读输入字节、已校验未压缩字节、已校验/已恢复文档数与耗时。上传有字节总量目录校验用所选物理输入大小归档扫描进度用整个物理归档大小而非所选大小。不得把压缩输入总量与未压缩输出对比、也不得展示虚构的整体百分比。取消/失败时如实报告部分写入写入阶段开始后不承诺回滚。资源限制与安全边界Web 上传复用DBX_MAX_UPLOAD_MB环境变量服务端在 crates/dbx-web/src/main.rs 读取测试服务使用 8192 MiB此设计不改变项目默认值或 SQL 上传设置。该有效上限暴露给前端做发送前预检同时作用于所选目录上传总量或整个归档并叠加一个独立有界的多部分multipart帧余量实际接收字节也要强制检查超限返回结构化 HTTP 413见 crates/dbx-web/src/routes/mongodb_import_export.rs 的max_upload_bytes检查。Web 输入与校验 spool 使用服务端拥有的data_dir/tmp存储避免把大型备份悄悄膨胀到另一个 OS 临时卷。在已知大小获取前与 spool 过程中周期性检查可用磁盘空间保留显式空闲预留并限制解压/元数据内存。压缩文件大小与 gzip trailer 大小都不能作为安全的膨胀上界。失败/取消/过期时仅在活动 worker 释放后删除自己拥有的临时数据启动时清理废弃任务目录绝不删除用户原始文件任务活动期间不改变源所有权。桌面端没有 Web 上传上限但共享磁盘、格式与取消检查。代码边界核心、Web/Tauri 与前端的分工crates/dbx-core/src/data/mongodb_dump/directory.rs元数据目录发现与所选输入校验分离目录检查期间无任何数据读取器调用。crates/dbx-core/src/data/mongodb_dump/archive.rsprelude 检查与全量校验/解复用分离保持官方 CRC 与交错兼容。crates/dbx-core/src/data/mongodb_dump.rs源状态、冻结计划、获取所有权、预检校验与恢复阶段转换含视图依赖的显式栈排序ordered_entries上传元数据可含任意深度链遍历不占调用栈并有 20,000 级依赖链的单测。crates/dbx-core/src/data/mongodb_dump/stream.rs有界原始 BSON 批处理BATCH_BYTES 8 MiB 文档计数上限默认batch_size 500、可选对象检查objcheck与生命周期协调恢复数据使用官方 Rust BSON 库的RawDocumentBuf直接进入原生 MongoDB 驱动插入助手默认不经过 JSON 或 owned Document 转换原始字节原样插入。Web 路由 / Tauri 命令src-tauri/src/commands/mongodb_dump.rs、src-tauri/src/lib.rs文件传输、任务生命周期、进度/取消与限额既有导出任务与集合工作流保持不变。集成测试位于 crates/dbx-core/tests/mongodb_dump_restore.rs覆盖官方工具往返、损坏数据拒绝、部分写入上报等回归场景。恢复写入期的核心参数MongoDatabaseRestoreRequestcrates/dbx-core/src/data/mongodb_dump.rs是确认后恢复任务的请求载体关键字段与默认值如下字段默认值说明sourceRef—预览阶段返回的CatalogSource引用sourceDatabase/database—源数据库与目标数据库collections全部选择的集合名列表缺省为源中全部dropExistingfalse是否删除并重建已选目标集合替换既有视图/非常规集合必须为 truerestoreOptionstrue是否恢复集合选项restoreIndexestrue是否在数据流完成后恢复索引视图依赖顺序恢复stopOnErrortrue批量写错误时是否中止objcheckfalse是否在入队前用官方 BSON 库深度解析每份文档对齐mongorestore --objcheckbatchSize500批处理的文档计数上限另有 8 MiB 字节目标后续演进从全量预校验到流式恢复按文档说明mongodb-database-restore-v2.md中全量预校验/快照部分已被 docs/mongodb-database-restore-streaming.md 取代——元数据优先预览保持不变但恢复不再二次扫描备份确认后读取源身份与元数据然后单遍完成读取 → 解压 → 校验 → 插入帧边界、截断、gzip 完整性与归档命名空间 EOF/CRC 检查在读取过程中强制不受objcheck控制。流式演进新增可选objcheck开关默认关闭并引入有界双批队列mpsc::channel(2)连接阻塞式文件/解码工作与异步写入。其文档记录的内存 gzip 解析器烟测数据Windows x64、未优化构建、8,192 文档显示原始流式 129 ms、流式 对象检查 851 ms、模拟旧双解析 2,315 ms——这些数字不含上传、磁盘、MongoDB 写入与索引构建也不是端到端恢复速度承诺。验证结果与验收要点文档记录了重构完成后的验证8 个核心/集成测试通过包括官方 MongoDB Tools 100.18.0 的目录/归档含与不含 gzip往返、BSON 值不变、选项/索引/视图与损坏数据在所选集合 drop 前的拒绝。仅元数据的目录预览可接受 5 GiB 清单而无需 BSON 实体变更的源文件与不匹配的已确认上传被拒绝。一个合成 211 文件目录清单代表 5 GiB经真实 HTTP 路由发送 8,080 字节 gzip 元数据253 ms 返回 105 个集合文档声明这不是对用户原始备份的基准测试该备份当时不可用。28 个聚焦前端测试通过浏览器工作流对隔离 MongoDB 实例预览官方 gzip 目录、选择单个集合、确认不同目标数据库并恢复 2 份文档与 2 个索引。最终 Web HTTP 集成、Vue 类型检查与 Tauri 编译检查通过本地 Web 服务以DBX_MAX_UPLOAD_MB8192重启。必做回归项设计文档明确列出包括211 文件目录预览只发清单/元数据大 BSON 文件不增加预览工作量gzip 不匹配在 BSON 上传前即被文件名识别并报告确认子集只上传/恢复该子集confirm/drop 不影响未选目标集合最后一个选中集合的损坏在目标变更前失败交错归档与多成员 gzip 与官方工具双向兼容高可压缩输入不产生整份未压缩临时副本取消上传/校验、断开/重连、重复提交与磁盘满场景不泄漏 worker 或启动意外写入被修改的桌面输入或变更的上传元数据不能静默失效已确认选择SQL/表导入与数据库导出回归干净。参考文档本文主体设计docs/mongodb-database-restore-v2.md流式恢复演进docs/mongodb-database-restore-streaming.md早期 dump/restore 基线docs/mongodb-database-dump-restore.md、docs/mongodb-database-dump-restore-streaming.md核心实现crates/dbx-core/src/data/mongodb_dump/source.rs、directory.rs、archive.rs、stream.rs、metadata.rs、mongodb_dump.rs集成测试crates/dbx-core/tests/mongodb_dump_restore.rs前端对话框apps/desktop/src/components/document/MongoDatabaseDumpDialog.vue【免费下载链接】dbx25 MB lightweight cross-platform database client for 90 databases, including MySQL, PostgreSQL, SQLite, Redis, MongoDB, DuckDB, SQL Server, and Dameng. Built-in AI, MCP Server, CLI, desktop and Docker. | 轻量级跨平台数据库管理工具支持 MySQL、PostgreSQL、SQLite、Redis、MongoDB、达梦等 90 数据库提供桌面端、Docker、CLI、内置 AI 助手和 MCP Server。项目地址: https://gitcode.com/gh_mirrors/dbx7/dbx创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考