大数据分析常见的6大工具介绍

，报刊，该文。大统计数据产生的其它范例包括购买交易历史记录，Wikipedia，检查单，军事监视，音频和影像资料库，及大型电商。

在大统计数据和大统计数据挖掘，他们对民营企业的影响有两个浓厚兴趣升温。大统计数据挖掘是研究大批的统计数据的过程中寻找模式，关联性和其它管用的信息，能帮助民营企业更快地适应环境变化，并做出更合情合理的重大决策。

一、Hadoop

Hadoop 是两个能对大批统计数据展开分布式系统处置的应用软件构架。但是 Hadoop 是以一种可信、高效率、可伸缩的形式展开处置的。Hadoop 是可信的，即使它假定排序原素和储存会失利，因而它维护数个组织工作统计数据复本，保证能针对失利的结点重新分布处置。Hadoop 是高效率的，即使它以博戈达的形式组织工作，通过博戈达处置加快处置速度。Hadoop 还是可伸缩式的，能处置 PB 级统计数据。此外，Hadoop 倚赖街道社区伺服器，因而它的成本比较低，其他人都能采用。

Hadoop是两个能让采用者随心所欲构架和采用的分布式系统排序网络平台。采用者能随心所欲地在Hadoop上开发和运转处置海量统计数据的插件。它主要有以下几个缺点：

⒈高可信性。Hadoop按位储存和处置统计数据的能力值得人们尊敬。

⒉高可扩展性。Hadoop是在需用的排序机集簇间分配统计数据并完成排序各项任务的，这些集簇能方便地扩展到数以百计的结点中。

⒊高效率性。Hadoop能在结点之间静态地终端统计数据，并保证各个结点的良性循环，因而处置速度十分快。

⒋高可可扩展性。Hadoop能手动留存数据的数个复本，并且能手动将失利的各项任务重新配置。

Hadoop带管用 Java 词汇撰写的构架，因而运转在 Linux 生产网络平台上是十分平庸的。Hadoop 上的插件也能采用其它词汇撰写，比如 C++。

二、HPCC

HPCC，High Performance Computing and Communications（高效能排序与通讯）的简写。1993年，由美国科学、工程、技术联邦政府协同执委会向参议院递交了”重大挑战项目：高效能排序与 通讯”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的排序系统及相关应用软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。

该项目主要由五部分组成：

1、高效能排序机系统（HPCS），内容包括今后几代排序机系统的研究、系统设计工具、先进的典型系统及原有系统的评价等；

2、先进应用软件技术与算法（ASTA），内容有巨大挑战问题的应用软件支撑、新算法设计、应用软件分支与工具、排序排序及高效能排序研究中心等；

3、国家科研与教育网格（NREN），内容有中接站及10亿位级传输的研究与开发；

4、基本研究与人类资源（BRHR），内容有基础研究、培训、教育及课程教材，被设计通过奖励调查者-开始的，长期 的调查在可升级的高效能排序中来增加创新意识流，通过提高教育和高效能的排序训练和通讯来加大熟练的和训练有素的人员的联营，和来提供必需的基础构架来支 持这些调查和研究活动；

5、信息基础结构技术和应用（IITA ），目的在于保证美国在先进信息技术开发方面的领先地位。

三、Storm

Storm是自由的开源应用软件，两个分布式系统的、容错的实时排序系统。Storm能十分可信的处置庞大的统计数据流，用于处置Hadoop的批量统计数据。Storm很简单，支持许多种编程词汇，采用起来十分有趣。Storm由Twitter开源而来，其它知名的应用民营企业包括Groupon、淘宝、支付宝、阿里巴巴、乐原素、Admaster等等。

Storm有许多应用领域：实时分析、在线机器学习、不停顿的排序、分布式系统RPC（远过程调用协议，一种通过网络从远程排序机程序上请求服务）、 ETL（Extraction-Transformation-Loading的简写，即统计数据抽取、转换和加载）等等。Storm的处置速度惊人：经测 试，每个结点每秒钟能处置100万个统计数据元组。Storm是可扩展、容错，很容易设置和操作。

四、Apache Drill

为了帮助民营企业采用者寻找更为有效、加快Hadoop统计数据查询的方法，Apache应用软件基金会近日发起了一项名为”Drill”的开源项目。Apache Drill 实现了 Google’s Dremel.

据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，”Drill”已经作为Apache孵化器项目来运作，将面向全球应用软件工程师持续推广。

该项目将会创建出开源版本的谷歌Dremel Hadoop工具（谷歌采用该工具来为Hadoop统计数据挖掘工具的互联网应用提速）。而”Drill”将有助于Hadoop采用者实现更快查询海量统计数据集的目的。

“Drill”项目其实也是从谷歌的Dremel项目中获得灵感：该项目帮助谷歌实现海量统计数据集的分析处置，包括分析抓取Web文档、跟踪安装在Android Market上的插件统计数据、分析垃圾邮件、分析谷歌分布式系统构建系统上的测试结果等等。

通过开发”Drill”Apache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系构架，从而帮助支持广泛的统计数据源、统计数据格式和查询词汇。

五、RapidMiner

RapidMiner是世界领先的统计数据挖掘解决方案，在两个十分大的程度上有着先进技术。它统计数据挖掘各项任务涉及范围广泛，包括各种统计数据艺术，能简化统计数据挖掘过程的设计和评价。

功能和特点

耶鲁大学已成功地应用在许多不同的应用领域，包括文本挖掘，多媒体挖掘，功能设计，统计数据流挖掘，集成开发的方法和分布式系统统计数据挖掘。

六、Pentaho BI

Pentaho BI 网络平台不同于传统的BI 产品，它是两个以流程为中心的，面向解决方案（Solution）的构架。其目的在于将一系列民营企业级BI产品、开源应用软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能集成在一起，构成一项项复杂的、完整的商务智能解决方案。

Pentaho BI 网络平台，Pentaho Open BI 套件的核心构架和基础，是以流程为中心的，即使其中枢控制器是两个组织工作流引擎。工作流引擎采用流程定义来定义在BI 网络平台上执行的商业智能流程。流程能很容易的被定制，也能添加新的流程。BI 网络平台包含组件和报表，用以分析这些流程的性能。目前，Pentaho的主要组成原素包括报表生成、分析、统计数据挖掘和组织工作流管理等等。这些组件通过 J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho网络平台中来。 Pentaho的发行，主要以Pentaho SDK的形式展开。

Pentaho SDK共包含五个部分：Pentaho网络平台、Pentaho示例统计数据库、可独立运转的Pentaho网络平台、Pentaho解决方案示例和两个预先配制好的 Pentaho网络伺服器。其中Pentaho网络平台是Pentaho网络平台最主要的部分，囊括了Pentaho网络平台源代码的主体；Pentaho统计数据库为 Pentaho网络平台的正常运转提供的统计数据服务，包括配置信息、Solution相关的信息等等，对于Pentaho网络平台来说它不是必须的，通过配置是能用其它统计数据库服务取代的；可独立运转的Pentaho网络平台是Pentaho网络平台的独立运转模式的示例，它演示了如何使Pentaho网络平台在没有应用伺服器支持的情况下独立运转；

Pentaho解决方案示例是两个Eclipse工程，用来演示如何为Pentaho网络平台开发相关的商业智能解决方案。

Pentaho BI 网络平台构建于伺服器，引擎和组件的基础之上。这些提供了系统的J2EE 伺服器，安全，portal，组织工作流，规则引擎，图表，协作，内容管理，统计数据集成，分析和建模功能。这些组件的大部分是基于标准的，可采用其它产品替换之。