数据库完整知识体系（分阶段学习清单）（二）

一、完整版文本思维导图层级清晰数据库知识体系 ├─ 一、基础理论通用核心 │ ├─ 1. 基础概念 │ │ ├─ 基本定义数据/DB/DBMS/DBS │ │ ├─ 数据库分类关系型/NoSQL/时序/图数据库 │ │ ├─ 数据独立性物理独立性、逻辑独立性 │ │ ├─ 三级模式两级映像外模式/模式/内模式 两层映像 │ │ └─ 访问接口JDBC、ODBC、ADO.NET、OCI │ ├─ 2. 数据模型与关系理论 │ │ ├─ 概念模型E-R图实体/属性/联系、弱实体、递归联系 │ │ ├─ 逻辑模型层次/网状/关系模型 │ │ ├─ 关系要素元组/属性/主键/外键/候选键/域/笛卡尔积 │ │ ├─ 关系代数选择、投影、连接、并、交、差、除 │ │ └─ 完整性约束实体/参照/用户自定义完整性 │ ├─ 3. 范式与数据设计 │ │ ├─ 函数依赖部分依赖、传递依赖 │ │ ├─ 范式1NF/2NF/3NF/BCNF 规则与判定 │ │ ├─ 反范式设计场景、冗余、空间换时间 │ │ └─ 数仓模型星型模型、雪花模型、事实表/维度表 │ ├─ 4. 事务机制 │ │ ├─ ACID 四大特性 │ │ ├─ 并发问题脏读、不可重复读、幻读 │ │ ├─ 四大隔离级别 │ │ ├─ 事务传播属性、事务嵌套、只读事务 │ │ └─ 长事务危害、排查、优化 │ ├─ 5. 锁机制 │ │ ├─ 粒度划分表锁、行锁、页锁 │ │ ├─ 类型划分共享锁、排他锁、意向锁、MDL元数据锁 │ │ ├─ InnoDB专属记录锁、间隙锁、临键锁 │ │ ├─ 乐观锁 悲观锁实现、场景 │ │ └─ 死锁成因、排查、解决锁等待、锁超时 │ └─ 6. 索引基础 │ ├─ 索引优缺点、使用原则、索引选择性/基数 │ ├─ 索引分类主键/唯一/普通/联合/全文/空间/哈希索引 │ ├─ 底层结构B树原理 │ └─ 索引维护索引碎片、重建与优化 ├─ 二、关系型数据库MySQL为主 Oracle补充 │ ├─ 1. MySQL整体架构 │ │ ├─ 四层架构连接层/服务层/引擎层/存储层 │ │ ├─ 线程模型、连接池 │ │ ├─ 存储引擎InnoDB/MyISAM/Memory/TokuDB/RocksDB 对比 │ │ └─ 物理文件.frm/.ibd/.ibdata1/.MYD/.MYI │ ├─ 2. SQL 全语法体系 │ │ ├─ 五大语言DDL/DML/DQL/DCL/TCL │ │ ├─ 基础查询单表/多表联查、子查询、分页、排序、分组、聚合 │ │ ├─ 高级语法UNION、CTE公用表表达式、递归查询、窗口函数 │ │ ├─ 函数体系字符串/日期/数学/流程函数、正则运算 │ │ ├─ 字符集与排序规则utf8/utf8mb4、乱码处理 │ │ └─ 权限体系全局/库级/表级/列级权限 │ ├─ 3. 核心日志体系 │ │ ├─ redo log刷盘策略、崩溃恢复 │ │ ├─ undo log事务回滚、MVCC支撑 │ │ ├─ binlog日志格式、位点、GTID、主从依赖、归档清理 │ │ └─ 辅助日志慢查询日志、错误日志、通用日志 │ ├─ 4. MVCC 多版本并发控制 │ │ ├─ 隐藏列、事务ID、版本链、Read View │ │ ├─ 快照读 vs 当前读 │ │ └─ 不同隔离级别下MVCC表现、解决幻读原理 │ ├─ 5. 索引深度原理 │ │ ├─ 聚簇索引 非聚簇索引、主键设计原则 │ │ ├─ 最左匹配、索引失效场景、覆盖索引、回表、ICP索引下推 │ │ ├─ 数据页结构、页分裂、页合并 │ │ └─ 强制索引、忽略索引使用 │ ├─ 6. 高级特性 │ │ ├─ 视图、存储过程、自定义函数、触发器 │ │ ├─ 事件调度器、临时表、内存表 │ │ └─ 分区表分区策略、分区裁剪、运维 │ ├─ 7. Oracle 补充 │ │ ├─ 体系结构表空间、回滚段、SCN │ │ ├─ 高级对象序列、同义词、DBLink、物化视图 │ │ ├─ 闪回技术、归档模式 │ │ └─ 备份恢复RMAN、数据泵expdp/impdp │ └─ 8. SQL注入与基础防御 ├─ 三、NoSQL 非关系型数据库 │ ├─ 1. RedisKV数据库 │ │ ├─ 基础数据结构 底层实现SDS/跳跃表/压缩列表等 │ │ ├─ 高阶结构Stream、HyperLogLog、Geo、Bitmap │ │ ├─ 内存管理内存淘汰策略、内存碎片 │ │ ├─ 持久化RDB、AOF、刷盘策略、重写机制 │ │ ├─ 高可用主从复制、哨兵、Cluster集群哈希槽/扩容缩容 │ │ ├─ 客户端Pipeline、事务、Lua脚本 │ │ └─ 缓存专题三大问题(穿透/击穿/雪崩)、更新策略、分布式锁、红锁 │ ├─ 2. MongoDB文档数据库 │ │ ├─ BSON格式、文档/集合、嵌套与数组操作 │ │ ├─ 索引文本/地理/TTL过期索引 │ │ ├─ 聚合管道、游标管理 │ │ ├─ 副本集、读写分离、事务 │ │ └─ 存储引擎WiredTiger、冷热数据处理 │ ├─ 3. HBase列族数据库 │ │ ├─ 核心概念行键、列族、版本、Region、HMaster │ │ ├─ 读写流程、MemStore、StoreFile、HFile │ │ ├─ 数据删除、预分区、RowKey设计 │ │ └─ 过滤器、协处理器 │ └─ 4. 其他NoSQL │ ├─ 时序库InfluxDB/Prometheus、数据过期、采样降精度 │ └─ 图数据库Neo4j、节点/关系、图遍历 ├─ 四、分布式数据库与架构 │ ├─ 1. 分布式理论基础 │ │ ├─ CAP、BASE理论、三选二落地 │ │ ├─ 一致性模型强/弱/最终/因果一致性 │ │ └─ 拜占庭问题 │ ├─ 2. 分库分表 │ │ ├─ 拆分方式垂直拆分、水平拆分 │ │ ├─ 分片策略、分片键选择、混合分片 │ │ ├─ 中间件Sharding-JDBC、MyCat │ │ ├─ 核心难题跨库JOIN/分页/排序/聚合、跨分片事务 │ │ ├─ 全局ID方案雪花算法/号段/Redis自增等 │ │ └─ 集群扩容、数据迁移 │ ├─ 3. 主从复制 高可用 │ │ ├─ 同步模式异步/半同步/全同步复制 │ │ ├─ 主从延迟成因、监控、优化 │ │ ├─ 架构一主多从、双主、MGR、PXC/Galera集群 │ │ └─ 主从切换、故障演练 │ ├─ 4. 分布式事务 │ │ ├─ X/Open DTP模型、2PC、3PC │ │ ├─ TCC、SAGA、本地消息表、可靠消息队列 │ │ ├─ Seata四大模式AT/TCC/SAGA/XA │ │ └─ 幂等、空回滚、悬挂问题处理 │ ├─ 5. 数据同步 数据仓库 │ │ ├─ CDC变更数据捕获、Canal/DataX/Debezium │ │ ├─ 数仓分层ODS/DWD/DWS/ADS │ │ ├─ 数仓专题拉链表、快照表、慢变维度SCD、数据血缘、数据质量 │ │ └─ 离线数仓(Hive)、实时数仓(FlinkKafka) │ └─ 6. 国产分布式数据库 │ ├─ TiDB、OceanBase、PolarDB、GaussDB │ └─ 计算存储分离、HTAP混合负载 ├─ 五、性能调优 运维实战 │ ├─ 1. SQL调优 │ │ ├─ Explain执行计划全解析 │ │ ├─ 慢查询定位、SQL改写、IN/EXISTS/JOIN选型 │ │ ├─ 大SQL、深分页、大事务优化 │ │ └─ 在线无锁DDL、大表DDL优化 │ ├─ 2. 参数与硬件调优 │ │ ├─ 内存核心参数、会话级参数陷阱 │ │ ├─ IO优化、磁盘、SSD、IO调度算法 │ │ └─ 网络参数、TCP优化 │ ├─ 3. 备份与恢复 │ │ ├─ 逻辑备份mysqldump、mydumper │ │ ├─ 物理备份XtraBackup全量/增量/差异 │ │ ├─ 时间点恢复、基于binlog/GTID恢复 │ │ └─ 备份校验、本地/异地/跨机房灾备 │ ├─ 4. 监控与故障排查 │ │ ├─ 核心监控指标QPS/TPS/连接数/缓冲池命中率等 │ │ ├─ 工具performance_schema、sys库、pt工具集 │ │ └─ 常见故障CPU/IO打满、连接溢出、主从断连、锁阻塞 │ └─ 5. 压力测试 │ ├─ sysbench使用、读写/混合压测 │ └─ 吞吐量、响应时间、并发数指标 ├─ 六、数据库工程设计规范 │ ├─ 1. 整体设计流程需求→E-R→逻辑设计→物理设计 │ ├─ 2. 命名规范库/表/字段/索引/约束 │ ├─ 3. 字段设计数据类型选型、时间/金额/大字段处理、NULL值 │ ├─ 4. 通用设计逻辑删除、通用审计字段 │ ├─ 5. 多租户三大实现方案 │ └─ 6. 流水表/日志表/历史表归档策略 ├─ 七、专项拓展实战必备 │ ├─ 1. 数据库安全 │ │ ├─ 账号安全、IP白名单、远程访问限制 │ │ ├─ 传输加密、存储加密、数据脱敏 │ │ └─ 操作审计、行级权限、防拖库 │ ├─ 2. 幂等性设计 │ │ ├─ 应用场景重复提交、消息重试 │ │ └─ 实现方案唯一索引、分布式锁、状态机 │ ├─ 3. 高并发专项 │ │ ├─ 热点行/热点表优化 │ │ ├─ 流量削峰、队列解耦 │ │ └─ 多级缓存架构 │ ├─ 4. 迁移与升级 │ │ ├─ 版本升级、异构数据库迁移 │ │ └─ 停机迁移、平滑不停机迁移、数据校验 │ └─ 5. 轻型数据库SQLite 特性、场景、并发限制二、分阶段学习清单由浅入深按阶段规划 必学知识点 学习目标阶段一入门阶段零基础 / 初级开发1~2 周【完整补全版】1.定位零基础入门吃透数据库基础理论、熟练掌握SQL常规语法、具备基础表设计与CRUD开发能力可独立完成日常简单业务数据库开发需求规避入门常见错误。2.前置准备搭建本地MySQL环境8.0版本首选、掌握Navicat/DBeaver等可视化工具基础操作、熟悉CMD/终端基础命令必学内容1.数据库核心基础概念必背核心定义数据、数据库(DB)、数据库管理系统(DBMS)、数据库系统(DBS) 四者区别与联系数据库分类详解关系型MySQL/Oracle/SQL Server、NoSQL、时序、图数据库核心特性与基础适用场景数据独立性物理独立性存储结构改变不影响程序、逻辑独立性表结构逻辑调整不影响上层应用基础架构认知简单了解三级模式两级映像核心作用入门只需掌握概念无需深挖原理常用访问接口认知JDBC、ODBC 基础作用Java开发重点了解JDBC2.数据模型与约束表设计基础E-R图核心实体、属性、实体间三大联系一对一、一对多、多对多能看懂简单业务E-R图核心字段约束主键、外键、唯一约束、非空约束、默认值约束的作用与使用场景数据完整性三大规则实体完整性、参照完整性、用户自定义完整性入门实操落地3.数据库范式入门落地版1NF、2NF、3NF 核心规则摒弃冗余字段、杜绝字段可拆分、避免传递依赖入门设计原则优先满足3NF了解反范式基础概念无 需主动使用知道适用场景即可实战落地单表字段职责单一不存储重复数据、不存储可计算推导的数据4.SQL 全套核心语法重中之重实操为主DDL 数据定义语言库表操作数据库创建/删除/修改、数据表创建/删除/修改字段、新增/删除索引、字符集与排序规则设置掌握utf8mb4适配所有字符含emojiDML 数据操作语言数据增删改INSERT 批量/单条插入、UPDATE 条件更新、DELETE 条件删除掌握语法规范与WHERE条件必填避坑要点DQL 数据查询语言核心重点单表全条件查询、多表基础联查内连接、左连接、WHERE条件筛选、DISTINCT去重、ORDER BY排序、LIMIT分页、GROUP BY分组、SUM/COUNT/MAX/MIN/AVG聚合函数基础使用TCL 事务基础手动事务开启(BEGIN)、提交(COMMIT)、回滚(ROLLBACK)理解事务简单作用规避脏数据基础函数常用字符串函数、日期函数、数学函数实操使用5.索引入门实操索引核心作用加速查询、约束唯一理解优缺点提速查询、减慢增删改、占用存储空间基础索引创建主键索引、普通索引、唯一索引的创建、查询、删除语法入门使用原则查询频繁、筛选字段建立索引低基数、更新频繁字段不建索引6.环境与基础问题处理字符集乱码问题成因与基础解决办法基础权限认知账号登录、库表访问权限基础概念数据库、数据表命名规范小写、下划线、见名知意禁止特殊字符学习目标实操能力独立完成用户、订单、商品等基础业务表设计严格遵循三大范式熟练编写所有常规CRUD SQL语句索引能力可根据业务查询场景合理创建基础索引能简单区分索引使用场景规避入门索引误用问题数据安全能力掌握基础事务使用杜绝无条件更新、删除有效规避脏数据、误删误改问题环境适配能力独立搭建本地MySQL开发环境解决基础乱码、连接失败等问题遵守数据库命名规范业务落地能力可根据简单业务需求完成E-R图绘制、表结构设计、全流程SQL开发阶段二进阶阶段中级开发2~4 周【完整补全版】1.定位从「会用SQL」升级为「懂底层、会优化、能排错」吃透MySQL核心内核原理掌握事务、锁、索引、日志、MVCC底层机制熟练写高性能SQL、解决线上慢查询、锁等待、数据一致性问题满足中级开发日常开发、性能优化、简单故障排查核心能力要求。2.前置条件完全掌握阶段一所有内容、熟练常规CRUD、能独立完成基础表设计、熟悉MySQL8.0基础环境操作必学核心内容全覆盖、逐点落地1.MySQL整体架构与存储引擎进阶核心四层架构深度解析连接层连接池、权限校验、服务层SQL解析/优化/执行、引擎层核心读写逻辑、存储层磁盘持久化线程模型常驻线程、连接复用、最大连接数原理与配置主流存储引擎深度对比InnoDB(默认)、MyISAM、Memory核心差异事务、锁、索引、崩溃恢复、并发能力区别新型引擎认知TokuDB、RocksDB适用场景海量写入、压缩存储物理文件详解.ibd、ibdata1、.frm、.MYD、.MYI文件作用独立表空间与共享表空间区别2.高级SQL语法与实战优化业务高频高级查询多表复杂联查、子查询相关子查询/非相关子查询优缺点与优化MySQL8.0专属特性CTE公共表表达式、递归CTE实现层级查询窗口函数全套掌握row_number/rank/dense_rank/lag/lead/partition by实现排名、分组统计、行间对比业务场景查询选型原则IN、EXISTS、JOIN适用场景与性能差异大表小表关联驱动表选择UNION与UNION ALL区别、去重性能损耗、业务选型规范系统函数进阶复杂日期处理、字符串正则、条件判断函数实战落地3.事务机制深度原理面试线上核心ACID四大特性底层支撑原子性(undo log)、持久性(redo log)、一致性(undoredo约束)、隔离性(锁MVCC)并发三大问题脏读、不可重复读、幻读产生场景与危害四大隔离级别详解读未提交、读已提交、可重复读(MySQL默认)、串行化逐级解决的并发问题、性能损耗对比长事务专项长事务定义、危害锁等待、undo膨胀、主从延迟、数据库卡顿、排查方式、优化方案事务嵌套、只读事务特性、事务自动提交机制详解4.锁机制全解中级必攻克难点锁粒度表锁、行锁、页锁特性、触发场景、性能差异锁类型共享锁(S)、排他锁(X)、意向锁作用与工作机制InnoDB核心锁记录锁、间隙锁、临键锁彻底理解如何解决幻读元数据锁MDL作用、阻塞场景、DDL卡死原因与规避方案乐观锁vs悲观锁底层原理、SQL实现、业务适用场景高并发/低并发死锁产生四大必要条件、MySQL死锁检测机制、死锁日志查看、死锁规避与解决策略锁超时、锁等待成因与线上问题处理5.索引进阶原理与性能优化重中之重1.B树索引底层原理结构优势、矮树高效查询、叶子节点有序双向链表特性聚簇索引与非聚簇索引深度区别、主键设计原则禁止UUID、优先自增/雪花ID原因联合索引最左匹配原则、底层匹配逻辑、失效场景2.核心索引优化概念覆盖索引、回表查询、索引下推ICP、索引选择性3.全量索引失效场景汇总函数操作、隐式类型转换、or查询、like左模糊、order by失效等数据页结构、页分裂、页合并产生时机与性能影响4.索引维护索引碎片产生原因、查询方式、重建索引优化时机强制索引、忽略索引使用场景与慎用原则6.MVCC多版本并发控制MySQL核心精髓MVCC核心作用无锁并发、提升读写并发能力底层组成隐藏列(DB_TRX_ID/DB_ROLL_PTR)、事务ID、undo log版本链、Read View视图快照读与当前读区分所有对应SQL、执行机制、加锁差异读已提交、可重复读隔离级别下MVCC不同实现逻辑MVCC如何规避脏读、不可重复读、缓解幻读7.三大日志体系深度原理redo logWAL预写日志机制、刷盘策略、崩溃恢复原理、解决数据丢失问题undo log事务回滚、版本链存储、MVCC支撑、undo日志生命周期binlog归档日志、三种日志格式(statement/row/mixed)优缺点、适用场景binlog位点、GTID原理、日志写入与刷新机制慢查询日志、错误日志、通用日志开启、配置、排查使用8.MySQL高级特性实战与踩坑视图优缺点、使用场景、更新限制、避免视图嵌套滥用存储过程/自定义函数语法、执行逻辑、优缺点、生产慎用场景触发器触发时机、行级触发、死循环风险、生产使用禁忌事件调度器定时任务配置、开启方式、运维注意事项临时表、内存表、普通表核心区别、适用场景分区表常用分区类型范围/列表/哈希、分区裁剪原理、分区运维优化、分区坑点9.基础SQL调优与慢查询排查职场刚需慢查询日志开启、阈值配置、慢SQL抓取方式Explain执行计划核心字段解析type、key、rows、Extra重点参数常见低效SQL深分页、大IN、多表笛卡尔积、无效排序分组优化大事务危害与拆分优化、批量操作SQL优化技巧阶段学习目标能力达标标准原理掌握能力彻底吃透InnoDB存储引擎、MVCC、锁机制、三大日志底层原理能清晰解释MySQL高并发读写不阻塞、数据安全持久化的核心逻辑SQL优化能力熟练使用Explain分析执行计划精准定位索引失效、全表扫描、文件排序、临时表问题独立完成复杂SQL性能优化大幅提升查询效率线上排错能力能独立排查锁等待、死锁、慢查询、事务超时、数据不一致等线上常见问题给出落地解决方案高级特性使用能力合理运用窗口函数、CTE、分区表解决复杂业务统计、大表数据管理问题规避高级特性使用坑点并发把控能力理解不同事务隔离级别、锁机制对并发的影响可根据业务场景选择合适隔离级别平衡并发性能与数据一致性阶段三NoSQL 专项中级开发1~2 周【完整补全版】1. 定位从「只懂关系型数据库」升级为「关系型非关系型全栈」掌握互联网高并发、海量数据、非结构化数据核心解决方案吃透Redis核心底层、缓存架构、分布式锁熟练使用MongoDB业务落地了解时序、图数据库场景解决高并发缓存、海量存储业务问题覆盖中级开发面试、项目实战高频NoSQL场景。2. 前置条件熟练掌握MySQL进阶知识、理解高并发、事务、性能损耗基础概念、具备业务性能优化思维必学内容1.Redis 核心专项重中之重面试/业务核心Redis基础认知Redis特性、内存数据库优势、单线程模型核心原理、IO多路复用、适用场景缓存、计数器、限流、分布式锁、消息队列八大数据结构底层源码实现StringSDS动态字符串、List快速链表、Hash、Set、ZSet跳跃表、Bitmap、HyperLogLog、Stream每种结构特点、适用场景、底层时间复杂度高频实战命令批量操作、过期策略、原子操作、自增自减、范围查询、有序集合排行榜实战命令内存管理机制Redis内存模型、内存碎片产生与优化、八大内存淘汰策略精准区分、内存上限配置与生产规范两大持久化机制深度掌握RDB快照持久化、触发机制手动/自动、fork子进程原理、优缺点、适用场景AOF日志追加持久化、三种刷盘策略always/everysec/no、AOF重写机制、数据恢复原理生产持久化组合方案、数据丢失风险权衡2.缓存三大经典问题生产必解缓存穿透成因、危害、解决方案布隆过滤器、空值缓存、接口校验缓存击穿热点key过期、并发击穿解决方案互斥锁、永不过期、热点key兜底缓存雪崩大量key同时过期、服务宕机解决方案过期时间打散、集群高可用、限流降级、多级缓存缓存更新策略更新数据库更缓存、更新数据库删缓存、延时双删、异步更新、不同业务场景选型3.Redis高可用架构主从复制全量同步、增量同步、复制偏移量、主从延迟成因哨兵模式监控、自动故障转移、投票机制、解决单点故障Cluster集群哈希槽(16384)、分片规则、集群扩容/缩容、数据迁移、集群容错分布式锁实战落地单机Redis锁、集群红锁、Lua脚本保证原子性、锁续期看门狗、防死锁、锁释放安全机制、主流框架Redisson核心原理高阶实战能力Pipeline管道批量操作、Redis事务、Lua脚本原子操作、限流计数器、UV统计、全局ID生成4.MongoDB 文档数据库海量非结构化数据必备核心概念BSON格式、数据库、集合、文档与MySQL表结构差异、适用业务场景用户画像、商品详情、日志数据、动态表单完整CRUD实操单条/批量增删改、条件查询、嵌套文档查询、数组操作、分页排序、去重统计索引体系普通索引、唯一索引、复合索引、TTL过期索引自动过期清理数据、地理空间索引、文本索引索引失效与优化聚合管道match、project、group、sort、limit、lookup联表查询实现复杂统计、数据清洗高可用基础副本集架构、主从读写分离、故障自动切换、数据同步机制事务与存储引擎4.0版本事务支持、WiredTiger引擎特性、数据压缩、冷热数据处理生产规范字段命名、避免超大文档、文档嵌套层级规范、数据分片基础认知5.其他主流NoSQL场景认知面试加分时序数据库Prometheus、InfluxDB核心场景监控指标、物联网设备数据、日志时序数据、数据过期、采样降精度特性图数据库Neo4j核心概念节点、关系、属性、适用场景社交关系、风控链路、知识图谱、推荐系统、基础图遍历列族数据库HBase核心场景海量离线大数据、稀疏数据存储互联网海量日志、用户行为数据落地场景学习目标Redis实战架构能力熟练搭建Redis单机/哨兵/Cluster集群独立设计业务缓存架构彻底解决缓存穿透、击穿、雪崩三大问题可落地分布式锁、限流、计数器等高频业务场景底层原理掌握能力能说清各数据结构底层、持久化机制、内存淘汰规则、集群原理应对中级面试高频提问MongoDB业务落地能力熟练完成非结构化数据存储、复杂聚合统计、索引优化可独立设计MongoDB业务表结构适配灵活多变的业务场景数据库选型能力根据业务并发、数据结构、存储特性精准区分MySQL/Redis/MongoDB/时序库/图数据库的选型场景规避选型错误导致的性能问题问题排查能力可排查缓存数据不一致、缓存过期风暴、内存溢出、集群同步异常等常见NoSQL线上问题阶段四分布式 架构阶段高级开发 / 架构师4~6 周【完整补全版】1. 定位从中级「单点数据库开发优化」升级为高级「分布式架构设计、海量数据治理、高并发高可用落地」吃透分布式核心理论、分库分表、主从高可用、分布式事务、数据同步架构具备互联网海量数据、百万级并发数据库架构设计、问题治理、架构选型能力满足高级开发、架构师核心工作与大厂面试难点要求。2. 前置条件完全掌握MySQL进阶、NoSQL专项所有内容熟练单机数据库调优、故障排查具备高并发、性能优化基础思维必学内容1.分布式核心理论基础架构基石CAP定理详解一致性、可用性、分区容错性三者定义、冲突本质、分布式系统无法同时满足CAPCAP落地选型CP架构注册中心、分布式事务、AP架构缓存、网关、大部分业务服务真实业务取舍BASE理论基本可用、软状态、最终一致性互联网分布式系统主流设计思想数据一致性分级强一致性、弱一致性、最终一致性、因果一致性适用场景拜占庭将军问题容错场景、分布式可信共识基础认知、工程落地规避方案2.分库分表完全落地体系海量数据必备拆分思想垂直分库、垂直分表、水平分表、水平分库四种拆分方式适用业务场景、优缺点对比分片核心概念分片键、分片算法、节点路由、数据分片规则主流分片算法固定哈希、一致性哈希、范围分片、时间分片、复合分片原理与选型分片键黄金设计原则冷热均衡、均匀打散、避免热点、支持高频查询、适配扩容分片中间件深度掌握Sharding-JDBC客户端分片、MyCat服务端分片架构差异、优缺点、生产选型分库分表四大世界级难题面试生产核心跨分片JOIN内联/外联跨库问题、绑定表/广播表/关联查询优化方案跨分片分页排序全局分页偏移量失效、排序错乱、深度分页解决方案跨分片聚合sum/count/max/min 分片局部聚合全局汇总原理跨分片事务分布式事务触发场景、问题根源、兜底方案全局唯一ID生成体系数据库自增、Redis自增、UUID、雪花算法、号段模式、百度UidGenerator各方案优缺点、并发、有序性、分布式适配对比集群扩容缩容原地扩容、翻倍扩容、平滑迁移、数据重分片、不停机扩容方案特殊表设计广播表、绑定表、字典表、公共表使用场景与配置规范3.主从复制与高可用架构高并发兜底MySQL主从复制完整流程binlogdump、日志拉取、回放执行、数据同步全链路三大同步模式异步复制、半同步复制、全同步复制原理、性能、一致性取舍主从延迟深度治理延迟成因网络、大事务、大DDL、从库压力、监控手段、全方位优化方案主流高可用架构一主多从、双主双从、MGR组复制、PXC/Galera强一致集群特性与适用场景读写分离架构主库写、从库读、读负载均衡、读写分离路由规则、延迟读兜底方案故障自动切换心跳检测、故障判定、主从切换流程、数据校验、业务无感切换集群容灾单节点故障、单机房故障、异地多活基础认知4.分布式事务全套解决方案高级核心难点分布式事务成因跨库、跨服务、跨节点数据操作导致事务无法原子提交理论模型X/Open DTP模型、2PC两阶段提交原理、致命缺点、3PC三阶段改进逻辑主流落地模式全解析AT模式Seata默认无侵入、自动回滚、undo日志原理、适用场景、优缺点TCC模式Try-Confirm-Cancel三阶段、手动编码、空回滚、悬挂、幂等性完整解决方案SAGA模式长事务拆分、正向执行、逆向补偿、适合长耗时分布式事务场景XA模式强一致性、性能低、适用内部低并发业务本地消息表、可靠消息队列、事务消息最终一致性方案电商订单、支付核心场景分布式事务三大顽疾空回滚、悬挂、幂等性问题成因与标准化解决方案事务选型策略高并发、高一致、长事务、短事务场景差异化选型5.Redis分布式高阶架构Redis Cluster集群深度16384哈希槽分配、节点负责区间、集群握手、数据迁移原理集群扩容缩容全流程新增节点、迁移槽位、下线节点、数据无损迁移集群故障容错主节点宕机、从节点替补、哈希槽重新分配、集群恢复机制高阶原子方案Lua脚本批量原子操作、Pipeline批量管道、事务脚本结合使用红锁机制原理、适用场景、优缺点、生产慎用场景多级缓存架构本地缓存(Caffeine)Redis分布式缓存、缓存一致性、击穿兜底6.实时数据同步与CDC架构CDC变更数据捕获核心思想基于binlog日志增量同步、无侵入抓取数据变更主流中间件Canal、DataX、Debezium架构原理、适用场景对比全量同步增量同步组合方案、断点续传、位点持久化数据同步一致性保障幂等处理、重复数据过滤、事务对齐业务落地场景数据库同步缓存、同步ES、同步数仓、跨库数据同步7.数据仓库分层与数据治理架构必备数仓四层标准分层ODS原始层、DWD明细层、DWS聚合层、ADS应用层分层规范与职责建模体系星型模型、雪花模型、维度退化、事实表与维度表设计规范数仓核心表类型拉链表历史快照、快照表、流水表、SCD缓慢变化维度处理方案离线数仓Hive架构、T1离线计算、数据清洗、数据聚合实时数仓KafkaFlink实时数据流、实时维度关联、实时指标计算数据治理数据血缘、数据质量校验、数据口径统一、脏数据治理8.国产分布式数据库架构认知大厂刚需主流国产库TiDB、OceanBase、PolarDB、GaussDB核心架构核心特性计算存储分离、分布式SQL、全局事务ID、多点写入、HTAP混合负载适用场景金融级强一致、海量并发、超大表业务替代传统MySQL集群传统MySQL集群与国产分布式数据库选型对比学习目标分布式架构设计能力可根据业务数据量、并发量、增长趋势独立设计分库分表、读写分离、高可用集群架构合理选型分片策略与中间件规避海量数据性能瓶颈分布式事务治理能力精通各类分布式事务方案原理与优缺点可根据业务一致性要求、并发场景精准选型解决跨服务、跨库数据一致性问题高并发架构落地能力熟练搭建Redis集群、MySQL主从高可用架构掌握多级缓存、流量拆分、延迟治理方案支撑百万级并发业务数据同步与数仓能力掌握CDC实时数据同步架构能设计离线/实时数仓分层结构完成业务数据沉淀、指标统计、数据治理架构选型与决策能力清晰区分传统单体数据库、分片集群、国产分布式数据库适用边界能输出标准化架构方案、容灾方案、扩容方案分布式问题排查能力可独立排查跨分片查询异常、分布式事务超时、主从延迟、集群节点故障、数据同步不一致等架构级问题阶段五运维、调优 专项能力全栈 / 运维 / 架构师长期深耕【完整补全版】1. 定位从「会开发、懂架构」升级为「可运维、可调优、可兜底、可治理」的数据库全栈能力聚焦线上生产环境全链路优化、故障应急处置、数据安全管控、标准化工程落地具备独立负责数据库集群运维、性能兜底、故障救灾、体系化规范建设的能力适配高级开发、DBA、架构师长期深耕核心能力。2. 前置条件熟练掌握MySQL进阶、NoSQL、分布式架构全阶段知识点具备线上SQL优化、集群部署、简单故障排查基础能力必学内容1.全链路SQL深度调优生产核心Explain执行计划极致解析type全等级区分、key_len计算、ref匹配类型、rows预估、Extra关键标识Using filesort、Using temporary、Using index问题定位高危SQL专项优化深分页limit超大偏移量优化、in超大集合、多表笛卡尔积、关联字段类型不匹配、order by/group by低效场景根治大事务专项治理大事务判定标准、危害复盘、拆分策略、分批提交、事务语句精简实操索引精细化调优冗余索引、重复索引、无效索引清理、联合索引顺序优化、索引选择性分析、冷热索引治理在线无锁DDL优化pt-online-schema-change、gh-ost原理、适用场景、大表变更避坑、线上不停机改表方案SQL改写高阶技巧子查询转JOIN、拆分复杂SQL、批量操作拆解、条件前置优化2.数据库参数 硬件层调优底层性能兜底核心内存参数调优innodb_buffer_pool_size、innodb_log_buffer_size、join_buffer_size、sort_buffer_size 生产最优配比、避免内存溢出与浪费日志参数调优innodb_flush_log_at_trx_commit、sync_binlog 事务安全与性能取舍、生产组合方案连接与并发参数max_connections、wait_timeout、interactive_timeout、thread_cache_size 防连接溢出、防僵死连接堆积IO层调优innodb_read_io_threads、innodb_write_io_threads、IO调度算法、SSD磁盘适配优化策略网络参数调优TCP三次握手/四次挥手优化、超时参数调整、解决网络抖动引发的数据库断连、超时问题系统内核调优文件句柄数、进程最大线程、内存虚拟参数适配数据库高并发场景3.备份恢复与容灾体系数据安全底线逻辑备份全解mysqldump、mydumper 优缺点、参数优化、批量备份、一致性备份配置物理备份核心XtraBackup 全量备份、增量备份、差异备份原理、实操流程、热备无锁特性数据恢复全套方案整库恢复、单表恢复、基于binlog/GTID时间点精准恢复、误删数据极速找回备份校验机制备份文件定期校验、恢复演练、避免备份失效无法恢复多级容灾架构本地备份、异地备份、跨机房灾备、数据多副本存储策略Redis备份容灾RDB/AOF定时备份、集群数据兜底、宕机数据恢复实操4.全维度监控与故障排查体系线上刚需核心监控指标体系QPS、TPS、并发连接数、活跃线程数、缓冲池命中率、锁等待时长、主从延迟、磁盘IO、CPU负载阈值判定内置监控工具performance_schema、information_schema、sys库 全方位故障排查实操第三方工具集pt-query-digest、pt-lock-wait、pt-slave-delay 等percona-toolkit工具实战高频线上故障根治方案CPU打满慢SQL堆积、频繁排序分组、函数运算过多排查优化IO打满大事务刷盘、无索引全表扫描、频繁批量写入排查优化连接数溢出僵死连接、连接泄露、长连接不合理配置解决锁阻塞/死锁锁等待链路分析、死锁日志解析、业务代码优化规避主从断连、数据不一致位点异常、日志损坏、数据偏移修复方案数据库卡顿、瞬时抖动热点Key、缓存雪崩、日志刷盘阻塞排查5.压力测试与性能基准评估sysbench压测全流程环境准备、读写压测、混合压测、大并发压测脚本编写压测核心指标分析吞吐量、平均响应时间、95/99分位耗时、并发极限、性能拐点判定压测优化迭代基于压测数据调整参数、优化SQL、调整架构固化最优性能基准业务压测模拟真实业务流量模拟、峰值流量冲击、容灾抗压能力验证6.数据库安全体系建设企业级必备账号权限管控最小权限原则、账号分级、弱密码整改、闲置账号清理、远程访问限制、IP白名单配置数据安全防护传输加密、存储加密、敏感数据脱敏手机号/身份证/金额脱敏操作安全审计SQL操作日志审计、高危操作监控、DDL/DML操作留痕、防误操作防攻击防护SQL注入深度防御、暴力破解拦截、数据库端口隐藏、防拖库策略行级权限、列级权限精细化管控适配多租户、多部门数据隔离场景7.数据库工程规范化体系落地治理统一设计规范库/表/字段/索引/约束标准化命名、字段类型选型规范、NULL值使用规范、时间字段统一规范通用字段设计逻辑删除、创建时间、更新时间、创建人、更新人审计字段统一规范多租户三大方案深度落地独立库、独立表、字段隔离方案优缺点、选型、适配场景冷热数据治理流水表、日志表、历史数据定时归档、分月分表归档、数据清理策略版本迭代规范数据库变更流程、灰度发布、回滚方案、变更记录台账8.高阶专项能力深耕幂等性体系设计重复提交、消息重试、定时任务重复执行场景唯一索引、分布式锁、状态机、幂等表四种落地方案高并发热点优化热点行、热点表、热点字段打散库存秒杀、红包等高并发场景数据库兜底方案数据库迁移升级跨版本升级、MySQL8.0新特性适配、异构数据库迁移MySQL转TiDB/OceanBase不停机平滑迁移双写迁移、增量同步、数据校验、灰度切换、回滚兜底完整流程轻型数据库应用SQLite特性、适用场景、并发限制、嵌入式业务落地规范学习目标全链路调优能力可独立完成SQL、索引、参数、硬件全层级性能调优根治线上慢查询、卡顿、高CPU/IO等性能问题固化业务最优性能标准运维容灾能力熟练搭建备份恢复体系掌握全量/增量备份、时间点精准恢复具备跨机房容灾、数据兜底能力保障线上数据绝对安全故障应急能力精通各类线上数据库突发故障排查、定位、修复、止损全流程具备快速应急、故障复盘、优化整改的闭环能力性能压测评估能力熟练使用压测工具完成全场景压测精准评估数据库并发极限、性能瓶颈输出专业性能优化与扩容方案安全治理能力可独立搭建数据库权限、加密、脱敏、审计全套安全体系规避数据泄露、误操作、攻击风险符合企业数据安全规范工程规范落地能力可制定统一数据库设计、变更、归档、迭代规范落地多租户、冷热数据、幂等性等高阶业务方案实现数据库标准化治理迁移升级能力熟练完成数据库版本升级、异构迁移、不停机平滑割接规避迁移过程数据丢失、不一致、业务中断风险阶段六面试查漏通用贯穿全学习周期高频考点汇总重点复盘理论范式、函数依赖、三级模式、关系代数MySQLMVCC、锁间隙锁 / 临键锁、日志、索引失效、页分裂Redis底层结构、持久化、集群、分布式锁、缓存问题分布式分库分表痛点、分布式事务各方案对比、CAP/BASE实战SQL 优化思路、死锁排查、主从延迟优化