加入收藏 | 设为首页 | 会员中心 | 我要投稿 呼伦贝尔站长网 (https://www.0470zz.com/)- 科技、建站、边缘计算、物联网、开发!
当前位置: 首页 > 云计算 > 正文

"存算分离"已成为分布式数据库的主流趋势

发布时间:2021-06-09 11:10:32 所属栏目:云计算 来源:互联网
导读:分布式数据库是时代的选择 从1970年IBM的E.F Codd在论文《A Ralational Model of Data for Large Shared Data Banks》中提出的数据库系统关系模型,开创了数据库关系方法和关系数据理论的研究,为数据库技术奠定了理论基础,到1977年 Oracle数据库发布,开启
分布式数据库是时代的选择
 
从1970年IBM的E.F Codd在论文《A Ralational Model of Data for Large Shared Data Banks》中提出的数据库系统关系模型,开创了数据库关系方法和关系数据理论的研究,为数据库技术奠定了理论基础,到1977年 Oracle数据库发布,开启了IBM DB2和Oracle等大型商业公司垄断数据库市场二十年。
 
直到90年代中期,随着互联网时代的来临,开源数据库MySQL,PostgreSQL的出现,这种垄断现象才被打破,以MySQL为代表的开源数据库开始迅速发展。
 
21世纪10年代,数据的井喷式增长,对数据库提出了水平扩展,大集群规模,高并发等新诉求,紧接着随着公有云的蓬勃发展,以云为载体兼具高可扩展性、高并发性、高可用性的分布式数据库,如谷歌Spanner,Snowflake,AWS Aurora等逐渐走进我们的视野。
 
至此我们可以看到分布式数据库的诞生是顺应时代的发展,是时代的选择。
 
 
分布式数据库改造,存算一体部署之殇
 
 
分布式数据库最成功的应用场景就是支撑了早期电商业务的快速发展,然而随着企业数字化转型的深入,数据总量和形式呈现指数级的增长,数据库要应对的是不断飙升的业务下高性能、高可靠的挑战;与此同时,不断飙升的业务高峰还要求数据库有极好的弹性伸缩能力、持续服务能力和合理的成本。
 
而原有的分布式数据库“存算一体”,采用服务器本地盘的部署方式就越发显得力不从心。
 
例如,由于计算、存储资源捆绑,在应对如双11这类突发资源高峰时,无法只对计算资源进行快速扩容,分布式改造后无法支持单独弹性扩展,有悖分布式改造的初衷。同时亚马逊、阿里等厂家在自身和云客户的使用中也发现以服务器本地盘的方式部署,在存储可靠性、爆炸半径、综合成本等方面存在难以解决的问题。
 
以某运营商为例,在基于MySQL开源软件自研的数据库使用服务器本地盘部署的模式下,计算资源(CPU和内存)与存储资源(SSD磁盘)存在着不可调和的冲突(使用不均衡、扩容受限、运管困难等),并带来成本的增加。
 
而这类问题在互联网、金融、运营商一些云转型企业中尤为突出:
 
-可靠性低:“服务器可靠性低,出问题数据无法访问甚至就都丢了,必须用多从同步来补可靠性的缺口”,“服务器网络抖动或磁盘亚健康问题很难监控处理,影响系统稳定性”,“服务器故障修复需要比较长时间,不能放太多实例”。
 
-运维困难:“更换设备或扩容需要搬迁数据库,全量同步数据很慢”,“以前数据库数量小,现单库拆分成数10个实例,未来全网整改后,预计上千个实例,运维太复杂”,“原来只有两台小型机,现在需要20多台机器,4、5个机柜,机房和电都不够了”。
 
-成本高:“存算绑定,无法弹性扩容”,“资源闲置,CPU利用率低”,“为保证可靠性增加副本数,现有架构成本是原来的1.5倍”。
 
 
怎么去解决分布式数据库架构上服务器本地盘部署这一系列问题呢?业界一直在不停的探索,2014年AWS首次推出了Aurora,阿里在2017年推出了PolarDB,华为云在2020年推出了GaussDB for MySQL,华为存储也在2021年针对企业自建数据中心,推出OceanData分布式数据库存算分离方案,希望基于成熟的基础设施“云”化技术,解决分布式数据库架构上的短板。

(编辑:呼伦贝尔站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读