加入收藏 | 设为首页 | 会员中心 | 我要投稿 四平站长网 (https://www.0434zz.com.cn/)- 云服务器、对象存储、基础存储、视频终端、数据应用!
当前位置: 首页 > 站长资讯 > 传媒 > 正文

企业如何变得更快、更高效、更具响应能力

发布时间:2021-02-07 13:51:44 所属栏目:传媒 来源:互联网
导读:首先我们需要将我们数据库已经存在的数据进行批量的迁移,然后需要处理新增的这部分数据,需要实时的把这部分数据在写完原本的数据库之后然后写到我们的新的存储,在这一过程中我们需要不断的进行数据校验。当我们校验基本问题不大的时候,然后进行切流操作

首先我们需要将我们数据库已经存在的数据进行批量的迁移,然后需要处理新增的这部分数据,需要实时的把这部分数据在写完原本的数据库之后然后写到我们的新的存储,在这一过程中我们需要不断的进行数据校验。当我们校验基本问题不大的时候,然后进行切流操作,直到完全切流之后,我们就可以不用再进行数据校验和增量数据迁移。

存量数据迁移

首先我们来说一下存量数据迁移应该怎么做,存量数据迁移在开源社区中搜索了一圈发现没有太好用的工具,目前来说阿里云的DTS提供了存量数据迁移,DTS支持同构和异构不同数据源之间的迁移,基本支持业界常见的数据库比如Mysql,Orcale,SQL Server等等。DTS比较适合我们之前说的前两个场景,一个是分库的场景,如果使用的是阿里云的DRDS那么就可以直接将数据通过DTS迁移到DRDS,另外一个是数据异构的场景,无论是Redis还是ES,DTS都支持直接进行迁移。

那么DTS的存量迁移怎么做的呢?其实比较简单大概就是下面几个步骤:

1.当存量迁移任务启动的时候,我们获取当前需要迁移的最大的id和最小id

2.设置一个分段,比如1万,从最小id开始每次查询1万的数据给DTS服务器,交给DTS处理。sql如下:
 

背景

在星爷的《大话西游》中有一句非常出名的台词:“曾经有一份真挚的感情摆在我的面前我没有珍惜,等我失去的时候才追悔莫及,人间最痛苦的事莫过于此,如果上天能给我一次再来一次的机会,我会对哪个女孩说三个字:我爱你,如果非要在这份爱上加一个期限,我希望是一万年!”在我们开发人员的眼中,这个感情就和我们数据库中的数据一样,我们多希望他一万年都不改变,但是往往事与愿违,随着公司的不断发展,业务的不断变更,我们对数据的要求也在不断的变化,大概有下面的几种情况:

  • 分库分表:业务发展越来越快,导致单机数据库承受的压力越来越大,数据量也越来越多,这个时候通常会使用分库的方法去解决这个问题,将数据库的流量均分到不同的机器上。从单机数据库到分库这个过程,我们就需要完整的迁移我们的数据,我们才能成功的分库的方式上使用我们的数据。
  • 更换存储介质:上面介绍的分库,一般来说我们迁移完之后,存储介质依然是同样的,比如说之前使用的是单机Mysql,分库之后就变成了多台机器的Mysql,我们的数据库表的字段都没有发生变化,迁移来说相对比较简单。有时候我们分库分表并不能解决所有的问题,如果我们需要很多复杂的查询,这个时候使用Mysql可能就不是一个靠谱的方案,那么我们就需要替换查询的存储介质,比如使用elasticsearch,这种的迁移就会稍微要复杂一些,涉及到不同存储介质的数据转换。
  • 切换新系统:一般公司在高速发展中,一定会出现很多为了速度快然后重复建设的项目,当公司再一定时间段的时候,往往这部分项目会被合并,变成一个平台或者中台,比如我们一些会员系统,电商系统等等。这个时候往往就会面临一个问题,将老的系统中的数据需要迁移到新的系统中,这个时候就更加复杂了,有可能不仅是存储介质有变动,有可能项目语言也不同,从更上层的角度来看,部门有可能也不同,所以这种数据迁移的难度是比较高,风险也更加的大。

在实际业务开发中,我们会根据不同的情况来做出不同的迁移方案,接下来我们来讨论一下到底应该怎么迁移数据。

数据迁移

数据迁移其实不是一蹴而就的,每一次数据迁移都需要一段漫长的时间,有可能是一周,有可能是几个月,通常来说我们迁移数据的过程基本都和下图差不多:
 

二是在发展5G过程中,政府支持,大家都从网络上尝到甜头了,所以在网络支持上也有了更好的支持态度,为5G的建设创造了良好的环境。特别是各地政府对5G发展高度重视,从专项规划、资源开放、站址协调、基站用电等方面都给予了大力支持,支持力度可以说是前所未有,充分释放了政策的红利,降低了网络的建设难度和企业的经营压力,大大激发了运营商的建设热情,提前完成了今年50万基站的建设目标。

三是建设成本。任何一个网络,随着规模化的部署,网络成本会越来越低。5G建设,包括4G建设会有一个大的投资,其中我们能做的工作,最典型的就是共建共享,共建共享不仅是设备成本的降低,在发展速度上、在部署的速度上也会加快。比如基站,如果每家都建一个站,自己建塔、自己建机房,那就很贵,如果共享铁塔、共享电源、共享机房,成本会很低。这次发频率的时候,中国电信和中国联通5G频段相邻,一个是3400MHz-3500MHz,一个是3500MHz-3600MHz,只要一套设备就可以实现5G网络覆盖,成本就会大大降低,目前两家合建的基站已经有30万个。

四是广阔的5G应用前景将保障投资建设的可持续性。5G不是4G+1G,5G是由传统的面向个人拓展到面向各个行业,可以说在5G上面是一个非常有挑战性的“蓝海”,涉及到很多新兴领域,有些已经取得了进展,有些还在探索当中。我们也看到一些应用非常好,但实话实说,有些应用也不是那么理想,大家都在探索中。总的来看,这个方向是非常明朗的,涉及很多新兴领域,需要经过一个循序渐进、不断完善的过程,需要一段时间才能达到规模化的应用,并形成一个好的市场前景。

闻库表示,未来三年,我国5G仍处于持续上升阶段,仍需保持战略定力,尊重技术演进、网络建设、市场发展的规律,扎实推进5G网络建设,全面加快5G应用的创新步伐,努力形成“以建促用、以用促建”的5G良性发展模式。

(编辑:四平站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读