干货分享 | 大数据处理的五大关键技术及其应用

作者 | 互联网大统计数据

统计信息处理是对纷繁的海量统计数据价值的提炼出，而当中最有用的地方在于全面性分析，即可以透过统计数据建模、统计建模、统计数据描述等统计数据发掘形式帮助统计数据生物学家更快的理解统计数据，根据统计数据发掘的结果得出结论全面性重大决策。当中主要就工作各个环节主要就包括：

一、大统计数据搜集控制技术

统计数据是指透过RFID微波统计数据、感测器统计数据、SNS互联网可视化统计数据及移动互联网统计数据等方式获得的多种类型的形式化、半形式化(或称作弱形式化)及非形式化的海量统计数据，是大统计数据科学知识服务数学模型的根本。重点要冲破分布式系统高速路高可信统计数据banlist或搜集、高速路统计数据全PV等大统计数据搜集控制技术;冲破高速路统计数据导出、切换与运载等大统计数据资源整合控制技术;设计产品质量评估结果数学模型，开发统计数据产品质量控制技术。

大统计数据搜集一般分为：

大统计数据智能化可视化层：主要就主要就包括统计数据感测管理工作体系、互联网通信管理工作体系、感测互联网连接管理工作体系、智能化辨识管理工作体系及硬件资源互联网连接系统，实现对形式化、半形式化、非形式化的海量统计数据的智能化辨识、功能定位、追踪、互联网连接、数据传输、讯号切换、监视、先期处理和管理工作等。必须着重于攻下针对大统计管理工作工具的智能化辨识、可视化、互联网连接、数据传输、互联网连接等控制技术。

此基础支撑力层：提供大统计数据一站式所需的交互式伺服器，形式化、半形式化及非形式化统计数据的统计资料库及物联互联网资源等此基础支撑力环境

二、大统计数据后处理控制技术

完成对已接收统计数据的论说、抽出、冲洗等操作。

抽

冲洗：对于大统计数据，并不尽是有用的，有些统计数据并不是我们所重视的内容，而另一些统计数据则是完全错误的干扰项，因此要对统计数据透过过滤“去噪”从而提取出有效统计数据。

三、大统计数据储存及管理工作控制技术

大统计数据储存与管理工作要用储存器把搜集到的统计数据储存起来，建立相应的统计资料库，并进行管理工作和调用。重点解决复杂形式化、半形式化和非形式化大统计数据管理工作与处理控制技术。主要就解决大统计数据的可储存、可表示、可处理、可信性及有效数据传输等几个关键问题。开发可信的分布式系统文件系统(DFS)、能效优化的储存、计算融入储存、大数据的去冗余及高效低成本的大统计数据储存控制技术;冲破分布式系统非关系型大统计数据管理工作与处理控制技术，异构统计数据的统计数据融合控制技术，统计数据组织控制技术，研究大统计数据建模控制技术;冲破大统计数据索引控制技术;冲破大统计数据移动、备份、复制等控制技术;开发大数据建模控制技术。

开发新型统计资料库控制技术，统计资料库分为关系型统计资料库、非关系型统计资料库以及统计资料库缓存系统。当中，非关系型统计资料库主要就指的是NoSQL统计资料库，分为：键值统计资料库、列存统计资料库、图存统计资料库以及文档统计资料库等类型。关系型统计资料库包含了传统关系统计资料库系统以及NewSQL统计资料库。

开发大统计信息安全控制技术：改进统计数据销毁、透明加解密、分布式系统访问控制、统计数据审计等控制技术;冲破隐私保护和推理控制、统计数据真伪辨识和取证、统计数据持有完整性验证等控制技术。

四、大统计数据发掘及发掘控制技术

大统计数据发掘控制技术：改进已有统计数据发掘和机器学习控制技术;开发统计数据互联网发掘、特异群组发掘、图发掘等新型统计数据发掘控制技术;冲破基于对象的统计数据连接、相似性连接等大统计数据融合控制技术;冲破用户兴趣分析、互联网行为分析、情感语义分析等面向领域的大统计数据发掘控制技术。

统计数据发掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用领域统计数据中，提取隐含在当中的、人们事先不知道的、但又是潜在有用的信息和科学知识的过程。

统计数据发掘涉及的控制技术方法很多，有多种分类法。根据发掘任务可分为分类或预测数学模型发现、统计数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖数学模型发现、异常和趋势发现等等;根据发掘对象可分为关系统计数据库、面向对象统计资料库、空间统计资料库、时态统计资料库、文本统计管理工作工具、多媒体统计资料库、异质统计资料库、遗产统计资料库以及环球网Web;根据发掘方法分，可粗分为:机器学习方法、统计方法、神经互联网方法和统计资料库方法。

机器学习中，可细分为归纳学习方法(重大决策树、规则归纳等)、基于范例学习、遗传算法等。统计方法中，可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等)等。神经互联网方法中，可细分为:前向神经互联网(BP算法等)、自组织神经互联网(自组织特征映射、竞争学习等)等。统计资料库方法主要就是多维统计数据发掘或OLAP方法，另外还有面向属性的归纳方法。

统计数据发掘主要就过程是：根据分析发掘目标，从统计资料库中把统计数据提取出来，然后经过ETL组织成适合分析发掘算法使用宽表，然后利用统计数据发掘软件进行发掘。传统的统计数据发掘软件，一般只能支持在单机上进行小规模统计信息处理,受此限制传统统计数据发掘发掘一般会采用抽样方式来减少统计数据发掘规模。

统计数据发掘的计算复杂度和灵活度远远超过前两类需求。一是由于统计数据发掘问题开放性，导致统计数据发掘会涉及大量衍生变量计算，衍生变量多变导致统计数据后处理计算复杂性;二是很多统计数据发掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要透过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

从发掘任务和发掘方法的角度，着重于冲破：

预测分析成功的7个秘诀

预测未来一直是一个冒险的命题。幸运的是，预测分析控制技术的出现使得用户能够基于历史统计数据和分析控制技术(如统计建模和机器学习)预测未来的结果，这使得预测结果和趋势变得比过去几年更加可信。

尽管如此，与任何新兴控制技术一样，想要充分发挥预测分析的潜力也是很难的。而可能使挑战变得更加复杂的是，由不完善的策略或预测分析工具的误用导致的不准确或误导性的结果可能在几周、几个月甚至几年内才会显现出来。

预测分析有可能彻底改变许多的行业和业务，主要就包括零售、制造、供应链、互联网管理工作、金融服务和医疗保健。AI互联网控制技术公司Mist Systems的联合创始人、首席控制技术官Bob fridy预测:“深度学习和全面性AI分析控制技术将会改变我们社会的所有部分，就像十年来互联网和蜂窝控制技术所带来的转变一样。”。

这里有七个建议，旨在帮助您的组织充分利用其预测分析计划。

1.能够访问高产品质量、易于理解的统计数据

预测分析应用领域程序需要大量统计数据，并依赖于透过反馈循环提供的信息来不断改进。全球IT解决方案和服务提供商Infotech的首席统计数据和分析官Soumendra Mohanty评论道:“统计数据和预测分析之间是相互促进的关系。”

了解流入预测分析数学模型的统计数据类型非常重要。“一个人身上会有什么样的统计数据?” Eric Feigl – Ding问道，他是流行病学家、营养学家和健康经济学家，目前是哈佛陈氏公共卫生学院的访问生物学家。“是每天都在Facebook和谷歌上搜集的实时统计数据，还是难以访问的医疗记录所需的医疗统计数据?”为了做出准确的预测，数学模型需要被设计成能够处理它所吸收的特定类型的统计数据。

简单地将大量统计数据扔向计算资源的预测建模工作注定会失败。“由于存在大量统计数据，而当中大部分统计数据可能与特定问题无关，只是在给定样本中可能存在相关关系，”FactSet投资组合管理工作和交易解决方案副总裁兼研究主管Henri Waelbroeck解释道，FactSet是一家金融统计数据和软件公司。“如果不了解产生统计数据的过程，一个在有偏见的统计数据上训练的数学模型可能是完全错误的。”

2.找到合适的模式

SAP高级分析产品经理Richard Mooney指出，每个人都痴迷于算法，但是算法必须和输入到算法中的统计数据一样好。“如果找不到适合的模式，那么他们就毫无用处，”他写道。“大多数统计数据集都有其隐藏的模式。”

模式通常以两种方式隐藏:

模式位于两列之间的关系中。例如，可以透过即将进行的交易的截止日期信息与相关的电子邮件开盘价统计数据进行比较来发现一种模式。Mooney说:“如果交易即将结束，电子邮件的公开率应该会大幅提高，因为买方会有很多人需要阅读并审查合同。”

模式显示了变量随时间变化的关系。“以上面的例子为例，了解客户打开了200次电子邮件并不像知道他们在上周打开了175次那样有用，”Mooney说。

3 .专注于可管理工作的任务，这些任务可能会带来积极的投资回报

纽约理工学院的分析和商业智能化主任Michael Urmeneta称:“如今，人们很想把机器学习算法应用领域到海量统计数据上，以期获得更深刻的见解。”他说，这种方法的问题在于，它就像试图一次治愈所有形式的癌症一样。Urmeneta解释说:“这会导致问题太大，统计数据太乱——没有足够的资金和足够的支持。这样是不可能获得成功的。”

而当任务相对集中时，成功的可能性就会大得多。Urmeneta指出:“如果有问题的话，我们很可能会接触到那些能够理解复杂关系的专家” 。“这样，我们就很可能会有更清晰或更快理解的统计数据来进行处理。”

4.使用正确的方法来完成工作

好消息是，几乎有无数的方法可以用来生成精确的预测分析。然而，这也是个坏消息。芝加哥大学NORC (前国家意见研究中心)的行为、经济分析和重大决策实践主任Angela Fontes说:“每天都有新的、热门的分析方法出现，使用新方法很容易让人兴奋”。“然而，根据我的经验，最成功的项目是那些真正深入思考分析结果并让其指导他们选择方法的项目——即使最合适的方法并不是最性感、最新的方法。”

罗切斯特理工学院计算机工程系主任、副教授shanchie Jay Yang建议说:“用户必须谨慎选择适合他们需求的方法”。“必须拥有一种高效且可解释的控制技术，一种可以利用序列统计数据、时间数据的统计特性，然后将其外推到最有可能的未来，”Yang说。

5.用精确定义的目标构建数学模型

这似乎是显而易见的，但许多预测分析项目开始时的目标是构建一个宏伟的数学模型，却没有一个明确的最终使用计划。“有很多很棒的数学模型从来没有被人使用过，因为没有人知道如何使用这些数学模型来实现或提供价值，”汽车、保险和碰撞修复行业的SaaS提供商CCC信息服务公司的产品管理工作高级副总裁Jason Verlen评论道。

对此，Fontes也表示同意。“使用正确的工具肯定会确保我们从分析中得到想要的结果……”因为这迫使我们必须对自己的目标非常清楚，”她解释道。“如果我们不清楚分析的目标，就永远也不可能真正得到我们想要的东西。”

6.在IT和相关业务部门之间建立密切的合作关系

在业务和控制技术组织之间建立牢固的合作伙伴关系是至关重要的。客户体验控制技术提供商Genesys的人工智能化产品管理工作副总裁Paul lasserr说:“你应该能够理解新技术如何应对业务挑战或改善现有的业务环境。”然后，一旦设置了目标，就可以在一个限定范围的应用领域程序中测试数学模型，以确定解决方案是否真正提供了所需的价值。

7.不要被设计不良的数学模型误导

数学模型是由人设计的，所以它们经常包含着潜在的缺陷。错误的数学模型或使用不正确或不当的统计数据构建的数学模型很容易产生误导，在极端情况下，甚至会产生完全错误的预测。

没有实现适当随机化的选择偏差会混淆预测。例如，在一项假设的减肥研究中，可能有50%的参与者选择退出后续的体重测量。然而，那些中途退出的人与留下来的人有着不同的体重轨迹。这使得分析变得复杂，因为在这样的研究中，那些坚持参加这个项目的人通常是那些真正减肥的人。另一方面，戒烟者通常是那些很少或根本没有减肥经历的人。因此，虽然减肥在整个世界都是具有因果性和可全面性的，但在一个有50%退出率的有限统计资料库中，实际的减肥结果可能会被隐藏起来。

六、大统计数据展现出与应用领域控制技术

大统计数据控制技术能够将隐藏于海量统计数据中的信息和科学知识发掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。

在我国，大统计数据将重点应用领域于以下三大领域：商业智能化 、政府重大决策、公共服务。例如：商业智能化控制技术，政府重大决策控制技术，电信统计数据信息处理与发掘控制技术，电网统计数据信息处理与发掘控制技术，气象信息分析控制技术，环境监测控制技术，警务云应用领域系统(道路监视、视频监视、互联网监视、智能化交通、反电信诈骗、指挥调度等公安信息系统)，大规模基因序列分析比对控制技术，Web信息发掘控制技术，多媒体统计数据并行化处理控制技术，影视制作渲染控制技术，其他各种行业的云计算和海量统计信息处理应用领域控制技术等。