什么是数据挖掘?数据挖掘的一般过程是怎样的?

2023-06-01 0 627

大统计数据黄金时代已经到来,H55N和生活中产生的大批统计数据辨认出问题并缔造价值,使统计数据挖掘成了两门捷伊学科专业和技术。所以甚么是大统计数据挖掘,统计数据挖掘的操作过程是甚么,以及它的具体内容演算法又有什么样?今天这首诗,将带你一同

什么是数据挖掘?数据挖掘的一般过程是怎样的?

01、具体来说,统计数据挖掘究竟是甚么?

非官方的表述,统计数据挖掘(Data Mining)就从大批的、不完全的、有噪音的、模糊不清的、乱数的统计数据中抽取暗含在其中的、人们预先不知道的、但又是潜在性管用的重要信息和科学知识的操作过程。

易懂的说,统计数据挖掘就从大批的统计数据中,辨认出那些我们想的“小东西”。

02 那个“小东西”具体内容指甚么?

一类被称作预估各项任务。

换句话说给了一定的最终目标特性,让去预估最终目标的除此之外一某一特性。假如该特性是对数的,通常来说称作‘进行分类’,而假如最终目标特性是两个连续的值,则称作‘重回’。

另一类被称作叙述各项任务。

这是指找寻统计数据间潜在性的联络商业模式。比如说两个统计数据存在强关连的关系,像大统计数据挖掘辨认出的两个特征:买卫生巾的女性通常来说也会买些咖啡,所以店家根据那个能将这三种货品装箱转卖来提高业绩。除此之外两个十分重要的就是控制点预测,这也是在日常生活统计数据挖掘中应用领域十分十分频密的一类预测,意在辨认出密切相关的探测值西凯努瓦县,能在没有条码的情况下将所有的统计数据分为最合适的四类来进行预测或者最优化。

其他的叙述各项任务还有极度检验,其操作过程近似于控制点的反操作过程,控制点将相近的统计数据裂解在一同,而极度检验将甲草太长的点给剔除出来。

03 统计数据挖掘的通常操作过程包括以下几个方面:

统计数据预处理 统计数据挖掘 后处理

,可能有的统计数据还存在一些缺失值或者无效值,假如不经处理直接将这些‘脏’统计数据放到模型中去跑,十分容易导致模型计算的失败或者可用性很差,所以统计数据预处理是统计数据挖掘操作过程中都不可或缺的一步。

至于统计数据挖掘和后处理相对来说就容易理解多了。完成了统计数据的预处理,我们通常来说进行特征构造,然后放到某一的模型中去计算,利用某种标准去评判不同模型或组合模型的表现,最后确定两个最最合适的模型用于后处理。后处理的操作过程相当于已经辨认出了那个我们想找到的结果,然后去应用领域它或者用最合适的方式将其表示出来。

这里涉及到统计数据挖掘的一系列演算法,主要分为进行分类演算法,控制点演算法和关连规则三大类,这三类基本上涵盖了目前商业市场对演算法的所有需求。而这三类里,最为经典的则是下面这十大演算法。

什么是数据挖掘?数据挖掘的一般过程是怎样的?

1、进行分类决策树演算法C4.5

C4.5,是机器学习演算法中的一类进行分类决策树演算法,它是决策树(决策树,就是做决策的节点间的组织方式像一棵倒栽树)核心演算法ID3的改进演算法。

2、K平均演算法

K平均演算法(k-means algorithm)是两个控制点演算法,把n个进行分类对象根据它们的特性分为k类(k

3、支持向量机演算法

支持向量机(Support Vector Machine)演算法,简记为SVM,是一类监督式学习的方法,广泛用于统计进行分类以及重回预测中。

4、The Apriori algorithm

Apriori演算法是一类最有影响的挖掘布尔关连规则频密项集的演算法,其核心是基于两阶段“频繁项集”思想的递推演算法。其涉及到的关连规则在进行分类上属于单维、单层、布尔关连规则。

5、最大期望(EM)演算法

最大期望(EM,Expectation–Maximization)演算法是在概率模型中寻找参数最大似然估计的演算法,其中概率模型依赖于无法探测的隐藏变量。最大期望经常用在机器学习和计算机视觉的统计数据集聚领域。

6、Page Rank演算法

Page Rank根据网站的外部链接和内部链接的数量和质量,衡量网站的价值。

7、Ada Boost 迭代演算法

Ada boost是一类迭代演算法,其核心思想是针对同两个训练集训练不同的进行分类器(弱进行分类器),然后把这些弱进行分类器集合起来,构成两个更强的最终进行分类器(强进行分类器)。

8、kNN 最近邻进行分类演算法

K最近邻(k-Nearest Neighbor,KNN)进行分类演算法,是两个理论上比较成熟的方法,也是最简单的机器学习演算法之一。该方法的思路是:假如两个样本在特征空间中的k个最相近(即特征空间中最邻近)的样本中的大多数属于某两个类别,则该样本也属于那个类别。

9、Naive Bayes 朴素贝叶斯演算法

Naive Bayes 演算法通过某对象的先验概率,利用贝叶斯公式计算出其后验概率,并选择具有最大后验概率的类作为该对象所属的类。朴素贝叶斯模型所需估计的参数很少,对缺失统计数据不太敏感,其演算法也比较简单。

10、CART: 进行分类与重回树演算法。

进行分类与重回树演算法(CART,Classification and Regression Trees)是进行分类统计数据挖掘演算法的一类,有两个关键的思想:第两个是关于递归地划分自变量空间的想法;第二个想法是用验证统计数据进行剪枝。

什么是数据挖掘?数据挖掘的一般过程是怎样的?

结语:

一入统计数据挖掘深似海,从此奋斗到天明。光是这十大演算法,就够你啃上好一段时间了……

但请不要恐慌,想想自己能利用机器的力量、数学的力量理解世界的运行规律,去预估或者利用研究到的小东西做一些有意思的事情,这也是一类不可多得的享受!

相关文章

发表评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务