首页>资讯 > 民生资讯 > 正文

分布式时序数据库TimeLyre 9.1发布:海量存储、高效压缩、实时分析

来源:星环科技官微    2023-08-03 14:24:55

随着物联网、车联网和工业互联网等的迅速发展,时序数据被广泛应用在各行各业,包括工业制造、经济金融、环境监测、医学、农业生产、硬件和软件系统监控等领域都在大量使用时序数据揭示研究对象的趋势性、规律性、异常性。同时,在人工智能的浪潮下,时序数据作为大数据、机器学习、实时预测基础数据的作用日益凸显。各类应用产生的时序数据量爆炸式增长,呈现出海量性、关联性、时效性、实时性等特征,对数据库写入、存储、分析性能以及实时性提出了更高的要求,如何管理海量的实时数据、从中挖掘价值,是时序数据库需要解决的重要问题。


(资料图片仅供参考)

Transwarp TimeLyre是星环科技自主研发的企业级分布式时序数据库,其支持分布式水平扩展,同时具有极高的压缩率可以支持海量时序数据的存储,提供高吞吐实时写入、时序精确查询、多维检索等功能,可以有效支撑物联网、能源制造、金融量化交易领域等多种时序数据业务场景。

近日,TimeLyre正式发布V9.1版本,通过原生分布式架构、5-20倍无损数据压缩能力、每秒千万级数据吞吐能力、优异的查询分析性能、丰富的生态支持、灵活的部署方式,为海量时序数据的高效存储、快速查询、便捷计算提供了有力支撑,大幅降低了企业硬件成本,保障了时序数据查询分析的实效性,满足了时序数据在各类复杂业务场景的应用需求。同时新版本还提供一站式国产化替代解决方案,可以实现InfluxDB的平滑替换,助力企业打造自主可控数据平台。

原生分布式架构,集群灵活扩展,轻松实现海量时序数据存储分析

TimeLyre采用原生分布式架构,支持集群在线扩缩容,可满足海量时序数据存储和分析需求。TimeLyre的存储组件TimeLyreStorage主要由分布式数据管理系统与时序存储引擎构成。

分布式数据管理系统负责分布式元信息的一致性存储与分布式集群管理,基于Raft协议保证数据一致性与高可用性。

时序存储引擎使用类似LSM-Tree的技术,提供高吞吐的实时插入、高性能的时序数据检索,同时会对时序数据进行多种编码和压缩,保持整体数据的高压缩率。

在计算方面,TimeLyre采用星环科技分布式向量化计算引擎Crux实现快速读取批量存储文件、高速响应数据查询等功能。同时基于用于数据仓库和交互式分析的分布式编译器Quark,提供完整的SQL编译支持,兼容通用开发框架和工具,使得TimeLyre可以轻松融入企业数据仓库或数据湖体系,为企业提供高性价比和高度可扩展的解决方案。此外,Quark支持分布式计算可以同时在多个时序存储间平衡业务流量,能够有效地为客户端屏蔽掉集群细节,并且解决了时序存储超时或宕机后无法执行任务的问题。

高吞吐、高并发,实现单节点每秒千万级数据写入的极致性能

TimeLyre支持实时、批量等多种数据写入方式。实时写入具备高吞吐、高并发,每秒千万级数据点插入的性能,可以保证数据检索的实效性,是企业搭建实时数仓的极佳选择。此外,TimeLyre支持通过SQL、文件载入、API以及多种工业物联网通信协议实现数据入库,满足各种复杂业务场景的多样化需求。

高水平无损数据压缩,实现超高数据压缩率,大幅降低硬件成本

TimeLyre采用行业领先的高水平数据压缩优化技术,在常见的时序数据上可实现5-20倍的压缩率,提高了资源的利用率,大幅降低用户硬件成本。TimeLyre提供多场景数据灵活、高效的压缩解决方案,不仅支持snapyy、gzip、lzo、zstd等常用压缩算法,还支持通过Delta编码将数据作为连续样本之间的差异来存储,同时也支持行业特征编码,根据检测值数据类型、分布范围,数据集中度进行特定的编码,通过内置多种数据压缩方式进一步提升时序数据压缩效果。

数据处理性能增强,提供时序数据存储分析极速体验

时序数据存储方面,TimeLyre内置多种索引结构,检索性能达到毫秒级的低延迟响应。数据分析方面,TimeLyre支持通过标准SQL进行数据分析,降低用户使用门槛。并且支持主流的SQL模块化扩展,兼容通用开发框架和工具,支持事务特性,保证数据的准确性。通过使用分布式向量化计算引擎,TimeLyre支持海量时序数据的计算与分析,覆盖关联查询、聚合查询、嵌套查询等多种复杂SQL分析功能,提供复杂场景构筑能力。基于星环科技多模型统一技术架构,TimeLyre时序数据可以与星环不同模型的数据统一存储管理和联合分析,打破数据存储管理屏障,实现多模型数据的统一融合。

国产软硬件异构平台灵活部署,提供全面的安全和运维保障

TimeLyre采用星环科技自主研发的存算分离架构,基于容器技术,支持业内主流的操作系统和芯片,满足各类信创软硬件环境需求。并且可支持X86架构和各种国产芯片架构的混合架构,能够运行在异构CPU架构以及多种操作系统混合部署的集群环境中,最大化利用硬件资源,让用户逐步实现国产化平滑替代。

TimeLyre内置配套的安全授权、用户权限控制等相关安全功能,可以有效保障系统数据和访问上的安全。

在用户权限认证上,基于SASL提供plain与gssapi两种认证方式,同时提供用户组概念,便于通过平台实现统一管理与操作;

在数据权限上,基于角色的访问控制(RBAC) 机制,使用户能够通过将权限分配给角色并将角色分配给用户或组来授权用户,支持库级/表级以及列级/行级访问权限控制,同时支持20多种脱敏算法,具备优秀的数据隐私保护能力;

数据加密上,支持基于SSL/TLS两类协议进行数据加密,确保数据传输过程的安全。

一站式国产化替代解决方案,助力企业打造自主可控数据平台

为符合国家信创战略要求,助力企业实现软件自主可控,TimeLyre提供了InfluxDB一站式国产化替代解决方案。TimeLyre对InfluxDB有良好的兼容性,可以实现在不修改业务代码的情况下,将运行在InfluxDB中的业务和数据平滑地迁移至TimeLyre,并且在迁移过程中可以保证监控系统在线持续运行,充分保障迁移过程安全稳定进行。

替换InfluxDB涉及接口兼容度、高可用性、中间件与应用层软件兼容性等多个问题,TimeLyre采用两段式的替代方案,保障原系统和服务的低成本、安全、平滑迁移。

第一阶段:替换InfluxDB的数据库服务,完成InfluxQL到TimeLyre标准SQL的改造工作,实现原有业务逻辑脚本的平滑替换;

第二阶段:替换InfluxDB配套的grafana等运维监控组件,借助星环科技多模数据平台监控软件Aquila Insight、大数据安全管理软件Guardian等组件,完成对既有业务系统的完全国产化替换。

打造实时高性能时序数据平台,赋能能源制造行业数据湖建设

能源制造业数字化转型是数字经济的重要环节。某能源头部企业现有大量的智能化工业设备,设备检测具有测点多、频率高、数据安全要求高等特点。

传统关系型数据库数据入库慢、存储资源消耗大、查询计算效率低,而开源时序数据库可运维性、可扩展性较差,无法支撑复杂分析业务,同时也面临数据安全问题,均无法支撑智能工业设备实时产生的大量时序数据。

该企业基于星环科技TimeLyre的实时数据存储、分析能力,打造了高性能时序数据平台。通过星环科技实时流计算引擎Slipstream实时的将散布在数万传感器中的时序数据抽取到TimeLyre中,以此为基础进一步开展行业算子计算、实时作业管理等实时分析,以及时序数据检索、时序数据开发等。同时利用星环科技分布式分析型数据库ArgoDB进行湖仓集一体化建设,实现了大数据灵活分析、离线作业管理等功能,进一步增强了企业业务数据离线分析能力。

项目建成后极大提升了时序数据存储性能,实现了每秒千万级流数据插入,入库性能提升十倍以上;实现了高性能查询,时序数据快速查询能够毫秒级返回结果,查询性能提升十倍以上;大幅提升数据压缩效率,数据平均压缩率达到10倍,有效节约企业硬件成本;联合分布式分析型数据库ArgoDB满足了之前未能实现的实时数仓与离线数仓联合查询的业务需求。

携手头部券商,打造量化投研一体化平台,提升投研效率

金融行业数据往往具有数据架构大、数据频率高、实时性强等特征。某头部券商客户使用Python进行数据处理分析,受技术所限只能进行单机程序部署,不仅需要购买昂贵的高配置单机服务器满足性能和存储需求,还需要业务人员具有较高的技术水平完成复杂查询分析的编写,此外该技术架构也无法完成多年高频数据的分析,导致丧失部分交易机会,整体收益率显著下降。

针对该券商客户遇到的高频交易数据入库存储困难、因子数据分析函数复杂、业务人员技术水平要求高、硬件购置成本高等痛点,星环科技基于TimeLyre打造了量化投研一体化平台TransQuant。

通过TimeLyre Tools和Workflow实现多源数据接入,包括存储在Oracle/MySQL中的数据、以HDF5和PKL格式存储的用户因子数据以及第三方数据等,将这些数据统一存储在TimeLyre时序数据库中,并通过星环科技智能量化投研平台TransQuant对这些数据进行量化回测和因子研究,实现海量数据(603138)的复杂分析。

该平台提供丰富的数据接口,通过Python API与原系统通信,支持多数据源多数据格式迁移导入,实现用户业务的平滑迁移扩展,支撑多种金融应用场景。同时,TimeLyre作为分布式时序数据库大大提升了系统运算能力,提供亿级数据的高速运算,相同场景下达到Pandas单机性能的百倍以上。此外,特别支持了客户应用过程中使用的上千列因子数据表,并提供了节点横向扩展能力。最终通过运用围绕TimeLyre的系列产品实现了对金融行业海量时序数据入库、存储、复杂分析的全面支持。

关键词:

分布式时序数据库TimeLyre 9.1发布:海量存储、高效压缩、实时分析

随着物联网、车联网和工业互联网等的迅速发展,时序数据被广泛应用在各

孙诗博(关于孙诗博简述)

,你们好,今天0471房产来聊聊一篇诗博,诗博简述的文章,网友们对这件

试用期辞职信怎么写最简单(试用期辞职信怎么写)

导读1、你不应该这样写,你应该写,“我来贵公司已经三个星期了,虽然

产业园区板块上市公司有哪些?(2023/8/3)

产业园区板块上市公司有哪些?(2023 8 3),产业园区板块上市公司有哪

美媒:美国内非法雇佣童工现象激增 有儿童无薪工作到凌晨

海外网8月3日电据美国有线电视新闻网(CNN)等媒体7月31日报道,近年来

青岛建设全市服务企业统一平台

8月2日下午,青岛市“深化作风能力优化营商环境”专项行动指挥部办公室

青岛“带押过户”范围再扩大 支持组合贷

日前,记者从市住房公积金管理中心获悉,为进一步支持刚性和改善性住房

6月末普惠小微贷款余额较年初增16.5%

8月2日下午,国家金融监督管理总局青岛监管局党委委员、二级巡视员李继

继峰股份(603997)公司深度报告:电动化浪潮重塑行业格局 格拉默赋能再造座椅龙头

继峰股份(603997)公司深度报告:电动化浪潮重塑行业格局格拉默赋能再造

我们祖先的摇篮是什么(我们祖先的摇篮是什么仿写)

1、《祖先的摇篮》是冀教版语文二年级下册第4课的课文。2、这是一首儿

东方财富证券:给予安井食品增持评级

东方财富证券股份有限公司高博文近期对安井食品进行研究并发布了研究报

第100次发射!我国成功发射风云三号06星

2023年8月3日11时47分,我国在酒泉卫星发射中心使用长征四号丙运载火箭

座无虚席!掌声雷动!2023湛江市少儿艺术展演圆满完成!

点击蓝字关注我们湛江旅游官方微信公众号关注7月29日晚,为传播湛江优

彰显风云力量,风云三号F星团队奋斗记

▲风云卫星在轨效果图(采访对象供图)风云三号F星的发射圆满成功,使

摩根士丹利下调中国股票评级?国内公募反驳:投资理念、投资方法不同

财联社8月3日电,摩根士丹利分析师周三(昨日)在一份报告中称“下调中

广州拟调整幼儿园收费 公办幼儿园保教费最高995元/月

8月2日,广州市发展和改革委员会官网发布关于公开征求《广州市发展改革

Hashkey Exchange或已获批香港虚拟资产新牌照

8月3日消息,HashkeyGroup首席运营官LivioWeng“七爷”在社交媒体发文

超导概念大幅回落 法尔胜跌停 多家公司否认涉足室温超导相关业务

超导概念3日盘中回落走低,截至发稿,法尔胜跌停,该股此前6日斩获4板

6座中大型SUV33万左右哪款好?购车指数选车:第一名你绝对想不到

手握33万左右,想购置一款6座中大型SUV33万左右,市面上的车型那么多,

华测导航:8月2日融资买入189.76万元,融资融券余额5752.98万元

8月2日,华测导航(300627)融资买入189 76万元,融资偿还114 89万元,

杨紫的《长相思》又赢了:情感表达不老套 制作拍摄有讲究

原标题:情感表达不老套制作拍摄有讲究(引题)杨紫的《长相思》又赢了

任天堂 Switch 2 即将发布?新传闻揭示 8 英寸 LCD 屏幕和 512GB 内存

任天堂Switch2爆新传闻:8英寸LCD屏幕与最高512GB内存,随新《3D超级马

柳岩走光,包贝尔和柳岩发生什么事了?

一、包贝尔和柳岩发生什么事了?①2016年3月,包贝尔和包婧文那一场婚

宾尼法利纳展示概念电动车 PURA Vision

宾尼法利纳(Pininfarina)推出了一款名为PURAVision的新型电动概念车。

大庆高新区召开工业产品生产企业落实质量安全主体责任工作推进会议

7月31日,大庆高新区市场监督管理局组织召开了工业产品生产企业落实质

科普|宝宝头上长“犄角”该怎么办?

作为一名专职的小儿神经外科医生,经常在门诊遇到很多出生后头上有鼓包

中图网“被困”上热搜 预计400多万册图书泡水报废:25年来遭遇的最具毁灭性打击

2日晚中图网通过官微发声,称这是中图网25年来遭遇的最具毁灭性的损失

投影仪也卖不出去了 大家更爱买几百元廉价投影:小米等受益

投影仪也卖不出去了大家更爱买几百元廉价投影:小米等受益

传闻:《博德之门1&2》即将加入XGP

《博德之门3》PC版即将于8月3日正式发售,PS5版将于9月6日发售,对于Xb

史丹利化肥50亿跨界酱酒:两千万签梅西、高价收"赤水河",梅西代言白酒合法吗?

搜狐财经向多位行业人士及知情人士求证获悉,梅西授权给赤水河酒的代言

综合资讯

+更多

热点资讯

+更多
股票当天买入可以当天再卖出吗?初学者怎么炒股?
股票当天买入可以当天再卖出吗?1、 当天买入的内资股当天不能卖出,只能在下一个交易日卖出,卖出股票的钱当天不能支取,只能在下一个交易 [详细]

Copyright @ 2008-2020  www.43710.com   All Right Reserved Powered by 财经情报网 版权所有

财经情报网   联系邮箱:562 66 29@qq.com

网站备案:沪ICP备2020036824号-12