大数据处理基本过程 - 网站源码_资源分享

什么是大统计数据：大统计数据(big data)，指难以在一间歇间范围内用常规性软件工具展开抓取、管理和处置的统计数据子集，是须要新处置商业模式就可以具有大列佩季哈区的决策力、洞悉发现力和业务流程强化能力的海量数据、高增幅和多元化的重要信息资产。

大统计数据的5V特征：Volume(大量)、Velocity(高速路)、Variety(多样化)、Value(低价值表面积)、Veracity(准确性)，腾讯就行了找找都有。

大统计数据处置业务流程：

1.是统计数据收集,构筑统计基础架构，统计数据收集是把统计数据透过后端埋点，USB笔记初始化流统计数据，统计资料库截取，顾客自己上载统计数据，把这些重要信息基础统计数据把各式各样层次加进去，觉得很多统计数据不行(刚开始做只想著机能，很多统计数据没收集，后来被大哥训了痛打)。

2.统计数据冲洗/预处置：是把接到统计数据单纯处置，比如说把ip转换成门牌号，过滤器掉脏统计数据等。

3.有了统计数据之后就能对统计数据展开研磨处置，统计数据处置的方式很多，整体分为app处置，实时处置，app处置是每晚间歇处置，常见的有穆萨的maxComputer,hive,MapReduce,app处置主要就用storm,spark,hadoop,透过一些统计数据处置架构，能吧统计数据排序成各式各样KPI,在这里须要特别注意一下，不要只想著机能，主要就是把各式各样统计数据层次建起来，基本上统计数据做全，还要可F83E43Se，中后期就能把各式各样kpi就行了女团展现出出。

4.统计数据展现出，统计数据做出不行，要建模，努力做到MVP，是加速做出一个效用，不最合适及时处理调整，这两点有点儿近似于Scrum灵巧合作开发，统计数据展现出的能用datav，神策等，后端好的能忽略，自己来画页面。

统计数据收集：

1.批统计数据收集，是每晚间歇去统计资料库截取统计数据快照，我们用的maxComputer，能根据需求，设置每晚去统计资料库备份一次快照，如何备份，如何设置统计数据源，如何设置出错，在maxComputer都有文档介绍，使用maxComputer须要注册穆萨云服务，

https://help.aliyun.com/product/27797.html，链接是maxComputer文档。

2.实时USB初始化统计数据收集，能用logHub,dataHub,流统计数据处置技术,DataHub具有高可用，低延迟，高可扩展，高吞吐的特征。

高吞吐：最高支持单主题(Topic)每日T级别的数据量写入，每个分片(Shard)支持最高每日8000万Record级别的写入量。

实时性：透过DataHub ，您能实时的收集各式各样方式生成的统计数据并展开实时的处置，

设计思路：首先写一个sdk把公司所有后台服务初始化USB初始化情况记录下来，开辟线程池，把记录下来的统计数据不停的往dataHub,logHub存储，前提是设置好接收统计数据的dataHub表结构，

https://help.aliyun.com/document_detail/47448.html?spm=a2c4g.11186623.3.2.nuizA4，这是dataHub文档,下图是统计数据监控，会看到统计数据会不停流入

3.前台统计数据埋点，这些就要根据业务需求来设置了，也是透过流统计数据传输到统计基础架构，如上述第二步。

统计数据处置：

统计数据收集完成就能对统计数据展开研磨处置，可分为app批处置，实时处置。

1.app批处置maxComputer，这是穆萨提供的一项大统计数据处理服务，是一种加速，完全托管的TB/PB级统计基础架构解决方案，编写统计数据处置脚本，设置任务执行时间，任务执行条件，就能按照你的要求，每晚产生你须要的统计数据，

https://help.aliyun.com/document_detail/30267.html?spm=a2c4g.11174283.3.2.0aBtdh，链接dataworks为文档。下图是检测任务实例运行状态

2.实时处置：采用storm/spark,目前接触的只有storm,strom基本上概念网上一大把，在这里讲一下大概处置过程，首先设置要读取得统计数据源，只要启动storm就会不停息的读取统计数据源。Spout，用来读取统计数据。Tuple：一次消息传递的基本上单元，理解为一组消息是一个Tuple。stream,用来传输流，Tuple的子集。Bolt：接受统计数据然后执行处置的组件,用户能在其中执行自己想要的操作。能在里边写业务逻辑，storm不会保存结果，须要自己写代码保存，把这些合并起来是一个拓扑，整体来说是把拓扑提交到服务器启动后，他会不停读取统计数据源，然后透过stream把统计数据流动，透过自己写的Bolt代码展开统计数据处置，然后保存到任意地方，关于如何安装部署storm，如何设置统计数据源，网上都有教程，这里不多说。