华为OceanStor MVX存储系统技术漫谈二

相关专题: 华为 大数据

  大数据时代,数据成爆炸式增长,数据总量ZB级,对我们的IT系统提出了更大的容量存储能力和更高的系统性能要求。华为OceanStor MVX存储系统(以下简称MVX系统)采用Scale-Out架构,通过服务器的集群方式构建,可自由横向扩展,提供统一命名空间,这个统一的命名空间可以提供高达170GBps的总带宽,超过300万的OPS,以及很低的时延。MVX系统是如何达到这样的卓越性能的呢?

  SSD加速

  在一个系统中,我们把用来描述数据的数据称为元数据,元数据管理真正的数据。元数据的特征是数据量不大,但访问频繁且离散。我们在并发访问数据的时候,需要先访问元数据,以获得数据的大小,路径等信息再通过这些信息访问数据的内容。传统机械硬盘,顺序访问性能可达100MB级别,但小文件随机访问的性能极低。用传统机械硬盘来存储元数据,元数据往往就成为了整个系统的性能瓶颈。

  近几年固态硬盘(SSD)技术突飞猛进,SSD存储小文件随机访问的性能有目共睹。就存储介质而言,SSD以其高性能引领着存储行业的变革方向。但它同时也面临着高成本和低容量的尴尬困境,而这恰恰是传统硬盘的长项。就目前SSD的发展程度,在大数据时代,面对大容量和低成本的要求,所有场景全部采用SSD的方案是不现实的。

  MVX系统基于分布式架构,数据和元数据分开管理,系统智能控制元数据的分布位置。同时,MVX系统的高性能节点配置SSD。这样,MVX系统把元数据存放在SSD上,数据放在机械硬盘上,既能提升整系统性能,又能提供大容量空间,还能保持低TCO。

  MVX系统不仅仅可以把元数据放在SSD上,加速元数据访问速度,还能自动识别小文件,和热门数据,并自动把部分小文件和热数据放在SSD上。当SSD空间满的时候,MVX通过自动的冷热文件识别,把一部分近期被访问可能性较低的文件转移到SATA或SAS盘上。这样的设计可以让资源得到充分的利用。

  SSD的空间容量毕竟有限,只能放置部分元数据和数据,绝大部分数据都放在传统的,读写性能比SSD低很多的机械硬盘上。如果要保证整系统的高性能,仅仅依靠SSD加速还不够。缓存,一直以来,也是用来提升性能的一大法宝。

  全局缓存

  在一个系统中,数据通常情况下读要比写的频率高,提升数据的读性能,能显著提升整系统性能。数据从缓存中读出,比从硬盘读出快很多倍。传统的做法是尽可能加大节点的缓存,但单节点的缓存总是有上限的。而且传统集群服务器的缓存往往是各自为政,同一块数据有可能被多个节点的缓存分别进行缓存处理,随着节点的增加,缓存命中率不会得到提高,磁盘的读性能得不到改善,数据的一致性保证机制也会非常复杂,进而消耗过多的系统资源。

  MVX系统作为一个分布式,share nothing架构的系统,每个节点都对外提供服务。MVX系统采用全局缓存模式,把所有单节点的缓存联合起来,整合成一个大缓存池,从任一节点访问,读写均可以在全局缓存池中作统一的命中处理。MVX最高可以拥有超过4TB的超大缓存,大大提高缓存命中率,减少读盘次数,降低访问时延,提升系统并发度、进而提升整系统性能。

  把所有单节点的缓存整合成一个统一的全局缓存池,需要通过系统的内部网络来完成数据的交换,如果内部网络性能差,时延大,必然影响整体的系统性能。

1  2  

微信扫描分享本文到朋友圈
扫码关注5G通信官方公众号,免费领取以下5G精品资料
  • 1、回复“YD5GAI”免费领取《中国移动:5G网络AI应用典型场景技术解决方案白皮书
  • 2、回复“5G6G”免费领取《5G_6G毫米波测试技术白皮书-2022_03-21
  • 3、回复“YD6G”免费领取《中国移动:6G至简无线接入网白皮书
  • 4、回复“LTBPS”免费领取《《中国联通5G终端白皮书》
  • 5、回复“ZGDX”免费领取《中国电信5GNTN技术白皮书
  • 6、回复“TXSB”免费领取《通信设备安装工程施工工艺图解
  • 7、回复“YDSL”免费领取《中国移动算力并网白皮书
  • 8、回复“5GX3”免费领取《R1623501-g605G的系统架构1
  • 本周热点本月热点

     

      最热通信招聘

      最新招聘信息

    最新技术文章

    最新论坛贴子