分布式时序数据库TimeLyre ：原生多模态、高性能计算、快速时序回放分析

在当今数据驱动的世界中多模态数据已经成为企业的重要资产。随着数据规模和多样性的不断增加企业不仅需要高效存储和处理这些数据更需要从中提取有价值的洞察。工业领域在处理海量设备时序数据的同时还需要联动分析警报信息、设备关系、组织信息等关系数据或图数据金融领域除了常见的行情和订单流时序数据外还会采用地理信息、实时新闻、气象数据等多种类型的数据辅助决策。然而要充分挖掘和利用这些多模态数据传统单一模型的时序数据库已显得力不从心无法满足现代多元应用场景中企业对数据使用的复杂需求。Transwarp TimeLyre是星环科技自主研发的企业级分布式时序数据库具备高吞吐实时写入、时序精准查询、超高数据压缩率等特点可以支持海量时序数据的存储、查询、分析有效支撑能源、制造、金融领域等多种时序数据业务场景。近日TimeLyre正式发布V9.2版本支持海量时序数据的同时具备原生的多模态数据混合存储能力能够整合和处理不同类型的数据帮助企业实现数据的多维分析。同时提供高性能分析、热温冷数据分层存储、极速时序数据回放分析等新功能可以有效支撑大规模时序数据湖、投研一体化平台、时序数据中台等新场景充分满足企业对多模态数据存储分析的需求助力企业发挥数据深层价值。原生多模态架构支持时序数据与关系数据模型混合存储TimeLyreV9.2采用原生多模态架构来自多种数据源的时序和关系数据经由统一的接口以批量或实时的方式存入统一的存储引擎中通过统一的高性能计算引擎Quark进行读取和分析支撑上层模型加工、批处理、在线分析、高性能读取等场景助力企业更全面、更多维度的数据分析应用。不同于传统方案为不同类型的数据单独部署和使用不同的数据库产品TimeLyre以原生的多模态架构高效实现了多种数据模型的转化流转与关联分析具有复杂度低、开发和运维成本低、数据处理效率高等优势。​高性能C计算引擎向量化计算显著提升数据分析性能依托于星环科技统一的多模型数据管理平台架构TimeLyre在计算引擎中纳入了高性能C计算引擎技术通过使用向量化计算充分利用了现代CPU的SIMD指令集借助列式扫描减少了IO开销。同时采用高性能数据传输格式实现了数据零拷贝减少了序列化和反序列化的开销并借助列式存储和高压缩率减少了网络传输的数据量便于数据更快速地接入高性能C分析引擎。通过采用高性能分析计算引擎可以帮助用户显著提高数据处理能力和效率更快获取分析结果加速决策过程降低能耗和硬件成本帮助用户在数据驱动的商业环境中保持领先。热温冷数据自动分层存储降低存储成本优化资源配置TimeLyre提供全新的热温冷数据分层存储方案统一接收外部应用的数据写入和数据查询内部按时间或指定条件将热数据、温数据和冷数据进行自动转换。对于热数据可以实现毫秒级查询性能提供5倍以上数据压缩率温数据支持百毫秒查询性能提供15倍以上压缩率冷数据提供30倍以上数据压缩率满足数据批量加工需求。热温冷数据的分层仅需在建表时通过DDL指定无需后期运维即可实现定期后台自动分层。同时支持指定数据存储在不同的存储介质上进一步降低综合存储成本优化资源配置。​支撑分布式极速时序回放分析引擎TransMatrix助力时序数据回放分析TransMatrix是星环研发的分布式投研系统用户可以将多种数据结构、多种频率高、中、低频的数据按照时间顺序进行回访支持原生多模态数据源回放可以从星环TDH中直接读取和加工数据源除了时序和关系数据之外还支持文本数据、图数据、图片数据等同时允许用户借助Python开源生态对多模态数据进行加工和分析内置丰富的时序算子库支持自定义算子开发与共享采用事件驱动的编程范式提供生成式算子开发接口提供算子拼接接口与丰富的内置表达式支持用户自定义表达式通过分布式任务实现多租户负载均衡、提供分布式任务配置接口可实现任务拆分、批量运行、大规模采样等大型任务。新场景大规模时序数据湖引擎助力企业应对海量时序数据用户可以基于TimeLyre构建大规模时序数据湖海量时序数据通过流式引擎进入数据湖内依托TimeLyre完成ODS层、DW层、维度层数据加载与处理通过丰富的API接口和开源生态接口支撑上层应用开发、风险识别、模型训练、实时展示、数据智能、时序分析等业务场景。以TimeLyre为核心构建时序数据湖充分利用了产品对海量实时数据的存储与查询分析能力实时写入性能可达每节点千万测点实时查询性能可达每节点10000QPS。结合流、批计算引擎满足业务对端到端秒级时效性的要求。同时支持时序数据与关系数据高效关联分析、提供完善的SQL支持与灵活可变的Schema定义为用户提供全面、高效、灵活的数据管理分析平台。​新场景投研一体化平台技术底座搭建分布式投研框架面向金融投研场景TimeLyre可以作为投研一体化平台的技术底座助力企业搭建分布式投研框架。底层依托时序数据TimeLyre及其内置的分布式投研计算引擎TransMatrix构建投研平台核心技术底座通过标准数据接口、因子开发接口、策略开发接口和分布式任务开发接口对接上层业务模型助力企业在一体化平台内实现数据泰索、因子研究、策略回测等应用开发。​新场景投研数据中台数据底座实现多源数据分层管理依托TimeLyre构建投研数据中台参考标准数据分层结构可将数据分为数据源层、基础数据层、投研标准层、业务模型层与收益报表层。在数据源层负责从数据厂商、交易所数据、用户因子数据等外部数据源同步数据可以做到将原始的行情或因子数据以完全一致的形式同步入投研数据中台基础数据层负责完成数据的校验、清洗与加工生成干净的基础投研数据投研标准层负责将这些数据统一成面向投研过程的标准表模型以及数据结构模型为用户屏蔽掉不同来源数据在字段名、字段类型等方面的差异业务模型层负责生成面向特定研究过程的因子与数据收益报表层负责生成面向投研收益评价的因子与数据可以将策略的研究结果、投研结果以报表的形式存在时序模型或关系模型中。​依托TimeLyre构建投研数据中台可以对接丰富的外部数据源实现多层次外部数据录入支持以投研领域常见的文件形式加载数据、从主流数据库MySQL、Oracle等进行数据同步、通过类似SQL的API接收交易所实时行情、通过Kafka统一接受数据等多种数据接入方式。同时为了应对数据实时和批量更新的需求提供专业的ETL工具可以实现数据的一键重入开启一键重入即可自动触发多层次数据加工实现投研数据的自动更新并通过统一的API提供给业务人员进行研究使用。​赋能业务TimeLyre助力某光伏企业打造批流一体时序数据湖方案某光伏企业为解决数据孤岛问题依托星环科技分布式时序数据库TimeLyre构建批流一体的时序数据湖。首先通过数采设备从数据源系统中获取原始数据统一经由Kafka消息系统汇入数仓平台的数据接入区并通过TimeLyre自带的流处理引擎Slipstream将数据加载到内部的贴源层实现时序数据、关系数据等多模态数据的统一存储。数仓内部通过统一的计算引擎和SQL引擎将数据加工到不同的层次包括标准表DWD层、中间表MID层、模型表DWS层、维度表DIM层和业务宽表ADS层等用以支撑上层业务报告、BI报表、数据智能、实时分析对比、三维展示等应用场景。值得注意的是数仓平台以TimeLyre为核心仅通过TimeLyre一个数据库就实现了时序数据、关系数据从贴源层到应用层的加工、分析和查询。​项目基于星环大数据技术实现了光伏数据的统一接入包括设备测点数据的实时接入以及管理数据、巡检图片、运行日志等数据的全量接入目前已实现基地3300多台设备、近30万测点数据的秒级入库。并且方案具备水平扩展能力未来增加硬件资源也可顺利接入新建场站数据。同时依托星环科技时序数据库、批处理引擎和分析库构建的光伏数据底座可以实现各类数据的存储和数仓模型加工通过统一的计算引擎和统一的数据接口支撑各类可视化数据应用的构建方便光伏实验实证分析人员利用大数据技术开展数据对比分析、设备性能查询、运行曲线查看等日常工作。此外基于星环一体化平台与数据资产管理实现了全平台数据的统一授权、开发、治理、开放、审计让各部门的开发人员可以快速便利的获得所需的数据资源并基于高性能的时序数据湖平台进行数据分析。