一篇讲清六大数据存储技术

数据量越来越大到底该用哪种技术来存数据存储技术发展到今天早已不是买几块硬盘那么简单了。不同的数据不同的使用场景需要的存储方案就完全不一样了。选对了系统就顺畅选错了后期迁移成本高性能也跟不上。今天我就来聊聊现在主流的几种数据存储技术到底该怎么用。一、关系型数据库MySQL、PostgreSQL这些就是关系型数据库。像订单支付、账户余额变动等要求绝对准确、一步不能错的操作必须得用它。为什么呢因为它严格遵守ACID四原则。原子性能保证一个操作要么全做完要么全不做一致性确保数据永远符合你设定的规则隔离性让很多笔交易同时进行也不会乱套持久性保证写进去的数据绝对不会丢。这些特性对线上业务太关键了。但很多人把它用错了地方。连每天上亿条的用户行为分析都让它来做结果就是交易系统变慢分析查询也快不起来。它最擅长的其实是频繁的、小批次的更新和插入以及通过索引快速找到某几条记录。那些需要扫描大量数据的分析活儿应该交给别的工具。分析查询的活儿谁来干比较合适这时候就需要数据仓库了。二、数据仓库当你的业务需要回答“这个季度哪个产品线增长最快”或者“客户复购率趋势如何”这种问题时用关系型数据库来做会非常吃力。这时Redshift、Snowflake这类数据仓库就对口了。简单来说它和数据库的设计目标不一样。数据库首要保证数据写入的效率和正确性而数据仓库要先保证海量数据查询的速度。它用的一个关键技术叫列式存储。我举个例子一张销售表有50个字段如果你只想算总销售额数据库需要把每一行所有的字段都读出来而数据仓库只读取“销售额”这一个字段的数据速度差异非常大占用的空间也更小。数据仓库还有两个特点它专门用来存储历史数据进行分析和生成报表。采用MPP架构用多个计算节点并行处理海量数据。但它的数据写入通常是定时批量完成的不太适合实时往里写数据。说白了它就是你的分析专用工具把各个业务系统的数据同步过来在这里集中做分析。三、NoSQL数据库聊完了规矩的表格数据又有个问题那些不那么规整的数据怎么办比如用户随时可能更新的个人资料、物联网设备发来的各种信号、社交软件里复杂的好友关系。这些数据就要用NoSQL了。NoSQL其实是一大类技术的统称针对不同情况有不同选择。1、文档数据库比如MongoDB用类似JSON的格式存数据一个文档里能把相关信息都放在一起。结构可以随时调整适合存用户档案、商品信息这些。2、键值数据库比如Redis速度特别快主要用来做缓存。存一些像用户当前登录状态、热点商品信息这类东西能大大减轻主数据库的压力。3、列族数据库比如Cassandra能应付每秒非常大量的写入。适合存物联网设备上报的数据、操作日志这些场景。4、图数据库比如Neo4j专门处理数据之间的关系像社交网络中的朋友推荐、金融里追踪一笔钱的流动路径用它效率很高。你懂我意思吗选哪种NoSQL关键要看你的数据主要是什么样子以及你怎么用它。四、搜索存储如果你的需求是找出所有包含“性能优化”且发布于去年、点赞超过100的技术文章这就不是简单查询了你需要的是像Elasticsearch这样的专业搜索存储。它的核心是一个叫倒排索引的结构能让你在毫秒级的时间内从海量文本中找到想要的内容并且进行非常灵活的组合筛选。所以它的主要用途很明确集中分析和查询日志、给网站或App内部的内容提供搜索功能、查询应用程序的运行监控数据。它处理的是那些需要被经常、随意检索的数据。不过话说回来你可别把它当成一个通用的数据库来用比如用它来频繁更新账户余额就不合适。讲到NoSQL和搜索存储我就多说几句现代应用架构经常是多种数据库混用这就带来一个新挑战数据怎么在这些异构系统之间流动比如用户在前台的操作存在MongoDB里需要实时更新到后台的搜索索引Elasticsearch以供查询。五、对象存储图片、视频、PDF合同、软件安装包、原始的日志文件等等这些非结构化数据数量巨大增长又快。用传统的文件服务器来管理在需要扩容、做备份和让多个系统访问的时候会非常头疼。用过来人的经验告诉你对象存储比如AWS S3、阿里云OSS是现在处理这个问题最普遍的选择。它的设计很简单给你存储的每个文件一个唯一的地址文件本身加上一些你可以自己定义的标签信息。这种设计有三个优势几乎可以无限地存下去用多少收多少的钱很划算通过最普通的HTTP协议就能上传下载和现在流行的云上应用开发方式很配。说实话它就是一个非常可靠且成本可控的大容量存储空间。六、数据湖很多人以为它就是一个特别大的、什么都放的存储系统。其实对象存储或者HDFS才是提供存储能力的那个部分数据湖是在此之上的一套管理方法。它的核心思想是先把各个地方来的原始数据不管什么格式都统一收集存储起来。同时必须下功夫做好配套的事情要能清楚地知道存了哪些数据、它们从哪里来、质量怎么样、谁有权限访问。如果只存不管数据很快就会变得混乱没人敢用也很难用起来。数据湖的价值在于让分析师能在一个地方发现、理解并使用来自全公司不同系统的数据而无需关心数据物理存储在哪儿。现在比较实用的做法是湖仓一体。数据湖存放原始数据经过处理和整理后那些需要高速分析的数据可以进入数据仓库原始数据也保留着供以后做新的数据分析和模型训练使用。总结所以你看选择其实不难做在线交易用关系型数据库。如果你要做批量分析和复杂报表就用数据仓库。处理灵活的半结构化数据就考虑NoSQL。做全文检索用搜索存储。存海量的图片视频等文件就用对象存储。你想整合公司所有数据并做好管理就按照数据湖的思路来构建。现实中的大型系统几乎都是这些技术组合在一起用的。