学习理财博客空间

理财鱼

您现在的位置是:理财鱼 > 理财方法 >

理财方法

一体化HTAP数据库如此难,为什么他们还要做? 快公司

发布时间:2022-08-01 08:20理财方法 评论

一体化HTAP数据库如此难,为什么他们还要做? 快公司


国产数据库赛道终于要“卷”起来了。

特别是在全球经济增长预期持续下调,科技创新引擎更难挖掘的当下。但这并不影响数据库赛道的创业者投入热情。

据中国信通院《数据库发展研究报告(2021年)》给出的数据,2020年全球数据库市场规模为671亿美元,其中中国数据库市场规模为35亿美元,占全球5.2%。招商证券梳理的一份研究则指出,金融、电信、政务、制造、互联网作为数据库产品及服务采购份额top5的行业,其合计市场份额(按信通院统计口径)高达80%以上,2020年整体采购额超过192亿元。

中国已经成为全球举足轻重的数据库大市场。而在这样的市场中,有从2000年伊始的“四朵金花”的达梦、人大金仓、南大通用、神舟通用,到2014年至今逐渐成熟起来的,基于云时代潮流下的创新企业,如阿里云PolarDB、华为GaussDB、PingCAP等。根据其面向的应用场景,又可分为:基于开源MySQL技术路线或MySQL兼容的关系型数据库,互联网细分应用场景的图数据库、时序数据库、文本搜索等等。

上述信通院研究报告还指出,我国金融行业各类数据库应用占比为:Oracle 55%、DB2 19%、MySQL 13%、PostgreSQL 6%,其他7%。

早期以阿里为代表的互联网公司,曾掀起“去IOE”的潮流,其中“去O”就是以MySQL替代Oracle。或基于MySQL二次改造,或更多兼容MySQL的技术路线,以及相应的数据库社区,在中国实际已成熟多年。

不过在关系型数据库领域,Oracle、SQL server、IBM DB2等商用数据库持续占据主导地位,国产数据库想要异军突起可没有想象中那么容易。

2021年,国有大行之一的邮储银行公布了一则采购成交公告,标的为1.45亿元,投标人和中标人都只有Oracle。其实不止邮储银行,包括银行、保险等金融业、国央企等,直到如今仍会每年支付高额费用在Oracle产品,以支撑其核心业务的平稳运转。

据石原子科技创始人叶建林(花名:自修)所述,“MySQL是一款主要面向OLTP(On-Line Transaction Processing,在线交易处理)场景设计的开源数据库,其开源社区的研发方向侧重于加强其事务处理的能力,如提升单核性能、多核扩展性、增强集群能力等。而在处理大数据量下、复杂查询所需要的能力方面,如优化器处理子查询的能力、高性能算子HashJoin、SQL并行执行等,社区一直放在比较低的优先级上,因此MySQL的数据分析能力提升进展缓慢。”

一体化HTAP数据库如此难,为什么他们还要做? 快公司


石原子科技创始人叶建林

这也是石原子StoneDB数据库产品想要有所突破的地方,力图打造全面兼容MySQL的一体化HTAP(real-time operational analytics)数据库。

石原子创业之初,已吸纳不少数据库架构师,行业资深专家及连续创业者。“和成熟的大公司比我们还很小,但是和其他创业公司相比,我们有非常强的快速执行能力,以及一颗心、一张图、一场仗的能力。”目前,石原子是中国信通院分布式系统稳定性实验室成员单位,中国信通院公布的第十四批“可信数据库”成员单位,2022年浙江省唯一一家入围工信部信创的数据库厂商。

为中小市场服务的源动力

早期客户案例的积累对企业产品研发有重要影响。一开始锁定某个场景切入,将大大降低企业试错成本,但或许也是国产数据库面临高手如林的商业和社区生态竞争中的无奈之举。

在此之前,石原子团队曾做过一番深入调研,通过走访国内数百家企业,他们发现一个很有意思的现象:目前所有的数据库产品都是为大企业客户服务。但这并不意味着中小企业就不存在对数据库的需求。相反,后者这类企业有如下特征:团队高管拥有一定技术背景、(业务)平台同时在线人数大于200人、有数据驱动业务的意识,同时企业多数也选择MySQL作为数据库底座。

在叶建林看来,这也是最具有发展潜力的科技型创业公司。可以说用上MySQL的中小企业用户就是StoneDB的潜在用户。

“大部分互联网企业,在数据库服务年支出在10万元以下的客户,一般都是选择用MySQL作为首选数据库。只有行业顶部的企业,数据库费用年支出千万级别的,会做出更多选择。传统企业的非核心数据在上云的同时,也会使用MySQL、redis和MongoDB。”

但随着数据量增加,业务多态化下,OLAP结合的场景越来越多,MySQL的短板问题越来越凸出。为了解决类似问题,通常会采用MySQL的binlog同步机制或ETL方式抽取到对应的分析平台,再使用Spark、Impala等计算引擎做计算,提供AP的业务支持。但是这样的解决方案具有同步延时高、架构复杂、运维难度大、成本高的缺点。HTAP数据库应运而生,成为了学术界和工业界关注的热点。

梳理StoneDB目前公开的几家客户案例,有诸多原因促使其最终选择切换到StoneDB的数据库架构上,但存在以下共性:一是规模较小,二是有基于业务数据的分析需求,又承担不了数仓之重。

叶建林称,“StoneDB的出现,也是在于目前市场上没有比较能满足这部分客户需求的产品和解决方案。”

不过,对AP能力要求比较高的金融场景,短时间内应该还不是StoneDB主要考虑的方向。

在代码层解决问题,最小代价获取MySQL原生AP能力

就一体化HTAP数据库的技术实现难度本身,叶建林明确指出:“如何让OLTP和OLAP在系统运行的过程中相互干扰最小,是HTAP系统设计的难题。

结合Gartner对HTAP的定义本质来看,HTAP实际上是通过内存计算来实现,它可以使分析业务与事务业务共享同一份数据,通过消除数据在数据库和数据仓库之间的数据迁移,可以对实时事务数据进行实时分析和态势感知,而不只是对数据进行事后分析。

目前传统的解决方案是,在原有的OLTP系统基础上引入独立OLAP数据库,再通过一些同步工具将OLTP数据同步到OLAP数据库,在OLAP数据库内完成业务数据分析。该方案有其优势,但目前存在的问题也较多,如:1)系统复杂,稳定性很难保证;2)数据同步链路长,工具支持不完全,经常出现数据同步链路中断,影响下游业务;3)对于高并发/大事务,消息队列往往会积压很多消息,数据延迟不可控;4)以及引入OLAP数据库后,开发语言与原业务不一致带来的运营成本和学习成本等。总而言之,通过同步工具+消息队列+独立AP数据库的方案,在稳定性、实时性以及管理成本上存在诸多问题。

“客户更期待一个生态兼容性更好、架构更简单、数据延迟更低,和更简单易用的HTAP数据库解决方案。”叶建林指出。

为此,StoneDB的策略是,采用一体化架构部署的方式,即所有代码都构建在MySQL原生代码基础之上,而不是使用第三方OLAP系统来包装。

共2页: 上一页下一页

>相关《一体化HTAP数据库如此难,为什么他们还要做? 快公司》内容:


1、 太保家园杭州国际颐养社区开业 起航服务长三角养老一体化新征程

7月30日,太保家园·杭州国际颐养社区正式开业。这是中国太保旗下继成都颐养社区、大理乐养社区成功运营之后,第三家投入运营的养老社区,也是在长三角地区首个运营的颐养社区。杭州社区的开业,在为长三角地区追求高品质享老生活的长者带来全新体验的同时...【继续阅读】


2、 大麦植发赴港IPO:毛利率高达70%,开拓“养固一体化”模式 IPO速递

图源自视觉中国 港交所迎来第二份植发IPO。继雍禾医疗(02279.HK)去年末上市后,日前,大麦植发医疗(深圳)集团股份有限公司(简称“大麦植发”)向港交所递交招股书,拟香港主板上市。 根据国海证券研报,当前的植发医疗服务供给方有四大类型:一是体量...【继续阅读】


3、 独家腾讯云数据库负责人借了一亿元炒股?知情人士:金额不实

知情人士向《科创板日报》记者表示,林晓斌确实为腾讯云数据库负责人,自去年开始,林晓斌向不少腾讯同事借钱未还,但实际总金额没有一个亿那么多。 《科创板日报》7月28日讯(记者 黄心怡) 今日,有网友在社交平台爆料称,腾讯云数据库负责人林晓斌借了...【继续阅读】