无需增加物理内存便可提高内存处理性能的内存扩展技术

本技术介绍参考了以下链接
English

2019年03月31日

无需增加物理内存便可提高内存处理性能的内存扩展技术
在印度Sify数据中心验证试验成功,达到相当于10台服务器的系统性能

株式会社富士通研究所 (注1) (以下简称:富士通研究所)与富士通株式会社 (注2) (以下简称:富士通)共同研究开发的内存扩展技术“MMGIC” (注3) ,在印度Sify Technologies Limited (注4) (以下简称:Sify)的数据中心进行了验证试验。通过将该技术应用于1台服务器,成功实现了相当于10台服务器的系统性能。这样,与整个系统(包含应用了该技术的服务器)相比,系统性能最高可达原来的3.6倍。

背景

近年来,企业需处理的数据量急剧增加,且高速处理大容量数据的需求也在日益高涨。在内存系统中,存储在服务器内存(DRAM)的数据,由于受到可安装在每台服务器物理内存容量的限制,因此在处理大容量数据时,并不是所有数据都能够加载到内存中,这会导致性能的大幅下降。针对这个课题,富士通研究所和富士通在2015年11月成功研发了利用闪存虚拟扩展内存容量的内存扩展技术“MMGIC”。此次,富士通与从2015年开始便建立了战略合作伙伴关系的Sify合作,在其数据中心进行了本技术的验证试验并确认了此项技术的有效性。

验证试验概要

  1. 时间
    2017年8月~2018年6月
  2. 内容

    在由Sify运营的印度国内面向大众的门户网站“sify.com”的Web系统中,为了更为顺畅地发送内容(尤其重视反馈响应),在对内存处理要求较高的高速缓存服务器上实施完成了此项试验。此次,内存扩展技术被应于可处理3TB数据的10台高速缓存服务器(由富士通的PC服务器“FUJITSU Server PRIMERGY”构建组成)中的1台。该试验通过利用“sify.com”中实际使用的数据与访问模式,对高速缓存服务器的内存仅由DRAM(256GB)组成时,以及基于“MMGIC”闪存(2.5 TB)进行扩展时的,高速缓存服务器和Web系统的性能进行了比较(图1)。

    figure1

    图1. 验证试验的系统构成

  3. 效果

    通过应用“MMGIC”,在不物理增加安装在高速缓存服务器上的DRAM的情况下,将闪存作为虚拟内存,内存容量增加到了原来的10倍(1台服务器实现了相当于10台服务器的性能),且不会降低性能。由此,整个系统的处理能力得到了提高,Web系统的性能是原来的3.6倍(图2)。

    figure2

    图2.通过内存扩展技术“MMGIC”提高系统性能

  4. 应用技术
    1. 内存扩展技术“MMGIC”(2015年11月新闻发布)

      通过服务器上的应用软件直接访问控制类似黑盒子的SSD内的闪存,从而获取更高性能。

    2. 面向“MMGIC”优化的高速缓存系统(2017年3月论文发表)

      使用了由两种类型的存储空间构成的存储控制系统:高速小容量(DRAM)和低速大容量(MMGIC)存储空间。通过将高频访问的数据分配给高速存储器DRAM,将访问频率较低的数据分配给低速存储器“MMGIC”,实现了兼顾高性能和高容量特性的高速缓存系统(图3)。

      figure3

      图3.传统缓存系统与面向“MMGIC”优化的缓存系统的比较

今后

基于该技术,在对内存处理要求较高的系统中,能够将所有处理数据都放置于大容量虚拟内存中,这将实现整个系统的高速化。富士通研究所与富士通将进一步验证此项技术的精度,并推进其产品化。

评价

Sify Technologies Cloud & Engineering Services公司总经理Jitender D.:

Sify的门户网站通过使用服务器集群,在娱乐部门发送图像、视频等各种媒体文件。随着数据量的爆发式增长,我们需要对集群的内存容量进行扩展。这是因为需要内存容量来支持高吞吐量。我们利用这些媒体文件的缓存及检索功能,对富士通的内存扩展技术进行了评估。验证结果表明,容量扩大到了仅使用DRAM系统的10倍,性能则提高到它的3倍。基于这种内存扩展技术,我们可以期待将来在系统扩展方面能够抑制整体资本的支出。

注释

 注1 株式会社富士通研究所:
社长 古田 英范
总公司所在地 日本神奈川县川崎市
 注2 富士通株式会社:
社长 田中 达也
总公司所在地 日本东京都港区
 注3 内存扩展技术:
“面向大数据处理,优化的软件控制型固态硬盘”(2017/02/04研究所技术介绍)
 注4Sify Technologies Limited:
Chairman & Managing Director:Raju Vegesna
总公司所在地 印度金奈市
印度国内为数不多的门户网站,其每日PV(页面浏览量)数约为118万
运营(http://www.sify.com)网站