大统计数据的五大预处置与三种预测商业模式
【李论与实建|陈云龙民】
、深入细致的、有商业价值的重要信息。
无论统计数据怎样变化莫测，应用领域情景怎样精巧，统计重要信息处置是基础，如前所述处置后的统计数据再展开深入细致的销售业务应用领域技术创新，或结合AI展开智能化的知觉重大决策，是大统计数据未来发展和应用领域的主要路径。
责任编辑为多年前eBay光阴整理的内容，介绍的五大预处置均为形式化统计重要信息预处置，而五大预测商业模式则是车辆通行的预测路径(参照了相关重要信息)，须要依据具体的销售业务展开破冰到应用领域情景方能呈现统计数据分析的商业价值。
一、 大统计重要信息处置的五个关键步骤
大统计数据的商业价值是为销售业务应用领域技术创新提供服务，只有销售业务产品服务了，统计数据商业价值也就体现了。在企业网络化结构调整操作过程中，须要解决“统计数据在这儿、统计数据去这儿、统计数据怎么用、统计数据怎样看”的难题，因此统计数据的预处置如下表所示图右图：
统计重要信息处置操作过程主要包括统计数据收集、统计重要信息处置、统计数据分析、统计数据分析，加上统计管理工具（霍季尔）和统计数据建模（结果），则形成了统计数据完备应用领域链，现仅说明五个市场主体各个环节。
1、 大统计数据收集
大统计数据的收集是指利用多个统计资料库来转交丽翔应用程序（Web、App、应用领域控制系统或IoT传感器等）的统计数据，使用者可以通过分布式统计资料库来展开简单的查阅和处置工作。比如，销售业务控制系统使用的传统关系型统计资料库MySQL或Oracle来储存外交事务统计数据；在大统计数据收集操作过程中，须要考验是mammalian要求高、动态统计数据周期长等难题，对于相同类型的统计数据须要按照销售业务准则或销售业务需求预设相同的收集策略，比如涉及到突然事件须要收集SNS财经社会舆论而则须要即刻收集、即刻处置。在应用领域相同的收集工具时，须要考量收集端与转交者的统计数据并行，主要包括统计数据的计时器并行、ease、原始统计数据与后置机处置后的统计数据保持唯一恰当等难题，并考量怎样在这些统计资料库之间展开阻抗平衡和新溪洲。
2、 大统计数据预处置
如果对收集端收集回来的海量数据展开有效预测，则须要如前所述一个集中的大型分布式统计资料库，或者分布式储存集群，并且在导入（ETL）时展开清洗和预处置工作。在统计数据导入或预处置时，一般用Storm来对统计数据展开流式计算，用NiFi来对批量统计数据展开处置，用Flume来对日志统计数据展开处置，用KafKa来对高吞吐量的分布式消息展开处置，以满足相同销售业务应用领域的需求。导入与预预处置的特点和考验主要是导入的统计数据量大，每秒导入量会达到百兆，甚至千兆级别。
3、 大统计数据分析
利用分布式统计资料库，或分布式计算集群来对储存于其内的海量统计数据展开预测和分类汇总，以满足大多数常见的预测需求。如果动态性要求较高的应用领域，则可以采用GreenPlum、HANA，以及如前所述MySQL的列式储存Infobright等；而一些批处置，或者如前所述半结构化统计数据的需求可以使用Hadoop。该各个环节大统计数据分析涉及的统计数据量大，其对控制系统资源，特别是I/O、内存会有极大的占用。
4、 大统计数据分析
在大统计重要信息预处置来看，往往将预测与挖掘并提，但实际上他们是有细微的差别的。大统计数据分析主要是依据已知的需求，对统计数据展开建模，建立销售业务所需的主题，然后在统计数据分析时利用预设的主题展开汇总、统计和预测；而大数据挖掘则没有预先预设的主题，而是在现有统计数据基础上展开如前所述各种算法的计算，从而起到预测的效果，实现高级别统计数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Mahout、Spark等。大统计数据分析各个环节可以结合AI技术，深入细致的结合统计数据和算法后，达到自动知觉与自我重大决策的高度。
大统计数据的流程各个环节满足这五个方面的关键步骤，才能算得上是一个比较完整的大统计重要信息处置。
二、 大统计数据分析的三种商业模式
大统计数据分析通常都认为是“预测”为主，其实不尽然。对于大统计数据的预测，最重要的是利用专业的模型和算法将统计数据转换为非专业人员也能清楚理解意义和见解的建模图表，其分析与挖掘结果的建模不仅仅是预测型的，还有描述型、诊断型和知觉型。
1、 描述型
这是最常见的一种，主要是说明：发生了什么？在销售业务预测中，它提供了衡量标准的方法，比如，每月的营收和损失账单。统计数据分析师可以
2、 诊断型
诊断型统计数据分析主要是说明了：为什么会发生？通过评估销售业务描述的统计数据，诊断预测能够让统计数据分析师深入细致地预测统计数据细节，钻取到统计数据的核心。
设计良好的Dashboard能够整合：按照时间序列展开统计数据读入、特征过滤和钻取统计数据等功能，以便更好的预测统计数据商业价值。
3、 预测型
预测型预测主要是说明了：可能会发生什么? 事件未来发生的可能性、预测一个可量化的值，或者是预估事情发生的时间点，都可以通过预测模型来完成。
预测模型通常运用各种可变统计数据来作出预测。统计数据成员的多样化与可能预测的目标是相关联的(比如，人的年龄越大，越可能发生心脏病，我们可以说年龄与心脏病风险是线性相关的)。在充满不确定性因素的环境下，预测能够帮助做出更好的决定。
4、 知觉型
知觉型预测如前所述对“发生了什么”、“为什么会发生”和“可能会发生什么”的预测，来帮助说明：我能做什么?在商业价值和复杂度上，帮助使用者确定要采取的最好的措施。很显然，知觉性预测不是一个单独的行为，实际上它是其他很多行为的主导。比如，交通规划预测考量了每条路线的距离、每条线路的行驶速度、以及目前的交通管制等方面因素，来帮助选择最佳的目标路线。
每一种预测方法或商业模式都对销售业务预测具有很大的帮助，同时也应用领域在统计数据分析的各个方面。在实际统计数据分析操作过程中，可能对其中的一种或多种展开综合运用，以达到大统计数据分析的最佳应用领域方式。
