Skip to main content

Fujitsu

English | 日本語

China

本技术介绍参考了以下链接
English

2017年02月04日

面向大数据处理,优化的软件控制型固态硬盘
世界首次应用于内存数据库,处理性能是传统技术的3倍

株式会社富士通研究所(注1)(以下简称,富士通研究所)开发出了可以通过服务器上的软件直接控制闪存的固态硬盘(以下简称,SSD)。该技术通过对内存数据库的访问进行数据优化配置,实现了高速处理性能,速度是普通SSD的3倍。

开发背景

近年来,计算机处理的数据量,包括来自传感器的各种数据正不断增加。因此,对大数据分析的高速处理技术的需求越来越高,大数据分析可从这些海量数据中产生新的价值。

内存数据库通过将所有数据存储在服务器的动态随机存取存储器(以下简称,DRAM)上实现高速分析,但是当数据量超过DRAM的容量时则无法进行处理。解决这一问题的方法之一是通过使用大容量的SSD来扩大内存容量,目前分别使用DRAM和扩展内存的技术正在取得进展(图1)。

在SSD扩展的内存性能取决于SSD本身的性能,它影响着分析处理的性能,因此需要更加高速的SSD。

图1 内存数据库的内存扩展

图1  内存数据库的内存扩展

课题

SSD配备有多个闪存,对于服务器上运行的软件来说,SSD的内部就像一个黑盒子,不能直接对内置的闪存进行读写操作。因此,有时候对于同一闪存芯片会发生读写竞争,这是造成性能降低的重要因素。

开发的技术

此次,富士通研究所开发了能够从服务器上运行的软件直接读写每个闪存的SSD,和可以对多个闪存芯片进行并行操作读取内存数据库的软件。

本次开发的技术特点如下:

1. 能够从服务器上运行的软件直接读写多个闪存的软件控制型SSD

在制作的原型中,使用的是能够与主板进行高速数据传输的PCI Express接口。为了充分利用PCI Express总线的高带宽,富士通研究所开发的软件控制型SSD,配备了16个控制通道和256个闪存芯片,可以从服务器软件对每个闪存芯片直接进行读写(图2)。该技术实现了大约每秒5.5GB的传输速度。

图2 新开发的软件控制型SSD

图2  新开发的软件控制型SSD

2. 使用内存数据库的数据前先从多个闪存芯片进行并行“预读”

富士通研究所开发的软件,通过分析内存数据库对内存的访问模式,事先从多个闪存芯片中并行读取数据,而不是每次从闪存中读取数据,实现了可避免读写竞争的瞬时数据读取。


效果

富士通研究所本次开发的软件控制型SSD和数据“预读”技术,对于内存数据库的访问,即使DRAM的容量有限,也能实现传统SSD技术3倍的处理性能(图3)。基于该技术,不断增加的大数据的高速分析成为可能。

图3 内存数据库的高速化

图3  内存数据库的高速化


今后

富士通研究所将实施进一步研究,努力提高数据读取的并行化程度,探讨面向内存数据库以外的其它应用。并考虑将这一技术配置到服务器上,目标于2017年投入实际使用。

注释

注1 株式会社富士通研究所:
社长 佐佐木 繁
总公司所在地 日本神奈川县川崎市