富士通开发出业界首个为大数据自动提供分析方案的技术

上海, 2012-09-05

Fujitsu (富士通)今日宣布开发出一项业界领先技术：通过使用数据分析师开发的分析方案模板，自动根据需要分析数据的内容和属性，推荐适用的分析模板以及附加数据的使用组合。

近年来，人们越来越期望借助信息系统学习、挖掘和其它技术进行大数据分析，然后将这些分析结果作为公司业务及管理决策流程的一部分加以运用。顺应这一趋势 的发展，收集、存储和分析数据的平台、技术和工具均取得了迅猛发展。同时，要促进大数据的应用，需要相关人员了解、统计和挖掘相关的分析并掌握具体垂直行 业和工作流程的相关业务知识。如何培训和留住此类人才已经成为整个行业面临的一个重大挑战。

凭借Fujitsu (富士通)最新开发的分析模板的优越特性，用户可以保存和再次使用含有数据分析师开发的分析方案的分析模板。这些分析方案提供了一系列指南，如可以组合使用的数据种类，以及诠释和应用分析结果的最佳方式。由于该项技术可以根据数据的内容和属性推荐适用的分析模板和可能有用的附加数据，因此用户可以利用保存的分析模板轻松进行分析和预测，甚至无需任何相关知识或技术。

富士通株式会社计划将该项技术作为Interstage Business Analytics Modeling Server（构建分析解决方案的中间件文件包）的一部分投入市场。

背景

近年来，人们越来越期望借助信息系统学习、挖掘和其它分析技术进行大数据分析，然后将这些数据与公司的业务和管理决策流程相结合。针对各种大量的无结构数据，如社会媒体和传感器数据以及已有的业务数据，高频率和实时收集、存储和分析的平台、技术和工具已取得迅猛发展。展望未来，如何在业务中运用大数据将成为促进业务发展和获得竞争优势的关键因素。

技术问题

分析方案以及用于数据分析的平台、技术和工具，对于从大数据分析中获取宝贵的信息至关重要。

这些分析方案为您提供一系列指南，如哪类数据可以组合使用，如何预处理分析数据，应该应用何种技术和工具，以及诠释和利用分析结果的最佳方式。拥有一个专家团队对于构建此类分析方案是必不可少的。这些专家需要掌握具体垂直行业和工作流程的业务知识，以及有关统计和挖掘分析的知识。如何培训和留住此类人才已经成为整个行业的一个重大挑战。

富士通的技术成果

Fujitsu (富士通)开发出一项分析模板优越特性，以模板的形式设计和保存分析流程，可轻松地实现数据分析的先进知识和技术的再次使用。根据用户想要分析的数据的内容和特性，该项技术能够自动推荐适用的分析模板和可能有用的附加数据。

因此，用户能够运用保存的分析模板轻松地进行分析，甚至无需任何相关知识或技术（图 1）。

富士通大数据自动分析技术的特性

1.基于数据模型的分析模板管理。在该项新技术中，分析流程（分析处理程序）设计为分析模板的形式，结合了包括预处理和分析流程在内的不同分析组件。这些分析模板代表着分析组件组合和分析组件参数。这些分析组件参数以专门的分析技术为基础，例如，哪类数据可以组合使用，如何进行数据预处理，应该应用何种技术和工具，以及诠释和利用分析结果的最佳方法。利用该项新技术建立模板时，垂直行业/工作流程分类、分析目标，以及其它元数据，和需要分析数据的内容和属性，均予以编码以匹配标准数据模型，因而分析模板的优越特性得以实现。（图 2）

2.基于数据剖析的分析模板推荐。开始一项新的分析时，可以使用元数据推荐分析模板，如垂直行业/工作流程分类和分析目标。然而，这种方法并不适用于涉及多个业务领域或复杂流程的分析问题，而且也不支持在分析开始阶段分析目标尚未完全定义的情况。另一方面，为了处理这些情况（迄今为止分析人员已有成功先例），Fujitsu (富士通)开发的技术采取了一种全新方式，根据需要分析数据的内容和属性推荐分析模板。（图 3）

通过明确要分析的数据（图3）和使用数据剖析技术，Fujitsu (富士通)开发的新技术可以提取并评估数据的内容（数据项的含义）和属性（例如数据量及其分布等属性）（图 3.2）。通过将这些剖析的内容和属性与数据模型匹配的流程，能够为正在分析的数据推荐适用的模板（图 3.3）。

3.关于附加数据可能使用组合的建议。运用大数据时，常见的做法是，对各种异构数据的组合进行多层面的分析，以发现和分析从单一的数据集中无法察觉的隐藏的因果关系（影响）。迄今为止，发现这些数据组合需要专门的分析技术和反复试验。

利用Fujitsu (富士通)开发的新技术，在分析模板的推荐流程中，系统不仅会搜索可能使用的分析模板，而且也将搜索适用于超出特定数据集的附加数据的分析模板。通过为这类附加数据提供建议，能够发现各种数据组合类型（图 4）。

结果

该项新技术能够让用户再次使用和恢复数据分析的专门技术。只要数据能够进行分析，基于数据剖析的推荐就可以实现循环分析流程，从数据集中发现分析模板并应用于分析模板，然后加入可能的附加数据组合，实现分析模板的再次应用。

反之，这可以实现新的分析应用程序的创立和使用，同时也扩展了分析目标范围和可用数据范围（图 5）。

未来发展

通过使用应用该项新技术的分析系统，目前，Fujitsu (富士通)正在开发分析组件和分析模板，以适用于更大范围的工作流程，包括物流业和制造业的客户管理、市场营销、产品推荐、质量保证，和风险管理。Fujitsu (富士通)已经根据迄今为止开发的大量专有技术执行分析方案，这些专有技术包括市场中的缺陷迹象检测技术和风险情景分析技术。展望未来，公司将继续致力于将技术应用于现实世界的问题，同时扩展垂直行业及其所支持工作任务的范围。

富士通株式会社计划将该项技术作为Interstage Business Analytics Modeling Server（构建分析解决方案的中间件文件包）的一部分投入市场。