Apache大数据常见技术介绍,零基础大数据学习

2023-01-23 0 433

Apache是甚么?

有两个涵义:

1、Apache 是选用最广为的 Web 伺服器应用软件。是由 Apache Software Foundation 合作开发和保护的,是两个完全免费提供更多的开放源码应用软件,加速,可信,安全。

2、Apache应用软件促进会(也是Apache Software Foundation,全称为ASF)是专门针对为运转两个开放源码应用软件工程项目的Apache 的社团提供更多全力支持的非营利性性组织机构,那个开放源码应用软件的工程项目是 Apache 工程项目。

3、Apache开放源码协定,全名Apache Licence,是知名的非营利性开放源码组织机构Apache选用的协定。

Apache大数据常见技术介绍,零基础大数据学习

Apache Hadoop:

是两个分布式系统此基础架构,使用者能在不介绍分布式系统下层控制技术细节的情况下,合作开发分布式系统流程。充分运用软件产业的杀伤力展开高速路演算和储存。它容许选用单纯的程式设计数学模型跨排序机系统软件产业分布式系统处置小型统计数据集。它意在从一般而言伺服器扩展到多台排序机排序机系统,每台排序机系统都提供更多邻近地区排序和储存。

狭义上,Hadoop是原则上代指Hadoop那个应用软件;

狭义上,Hadoop代指大统计数据的两个闭环,主要包括许多其它的应用软件。

Hadoop体系结构中的服务项目配角如是说

https://www.toutiao.com/i6600146084285121032/

Apache-Hive

基于Hadoop的两个统计数据仓库工具。

Apache-HBase:

HBase是两个分布式系统的、面向列的开放源码统计数据库。

Apache zookeeper:

指包含两个或多个节点的软件产业提供更多服务项目架构用于软件产业管理。

Apache大数据常见技术介绍,零基础大数据学习

Apache Spark:

是两个开放源码的、强大的分布式系统查询和处置引擎

它是一种与 Hadoop 相似的开放源码软件产业排序环境,提供更多MapReduce的灵活性和可扩展性,但速度明显更高,是加速、易于选用的架构,容许你解决各种复杂的统计数据问题,无论是半结构化、结构化、流式,或机器自学、统计数据科学。

它也已经成为大统计数据方面最大的开放源码社区之一,拥有来自250多个组织机构的超过1000个贡献者,以及遍布全球570多个地方的超过30万个Spark Meetup社区成员。

SparkSpark此基础入门(Spark相关概念)

https://www.toutiao.com/i6537982075213971972/
Apache大数据常见技术介绍,零基础大数据学习

Apache Storm:

Storm是两个完全免费并开放源码的分布式系统实时排序系统。由Twitter正式开放源码的,是两个分布式系统的、容错的实时排序系统。

Storm可以实时处置统计数据,Storm单纯,能选用任何程式设计语言。Storm的特点之一是可信的消息处置机制,那个机制中最重要的一环是设计两个算法来跟踪Storm中处置的统计数据,确保Storm知道消息是否被完整的处置。

Storm实时合作开发

https://www.toutiao.com/i6691134957210829316/
Apache大数据常见技术介绍,零基础大数据学习

Apache Flink:

是两个分布式系统大统计数据处置引擎,可对有限统计数据流和无限统计数据流展开有状态排序。可部署在各种软件产业环境,对各种大小的统计数据规模展开加速排序。

Flink核心是两个流式的统计数据流执行引擎,其针对统计数据流的分布式系统排序提供更多了统计数据分布、统计数据通信以及容错机制等功能。基于流执行引擎,Flink提供更多了诸多更高抽象层的API以便使用者编写分布式系统任务,还针对特定的应用领域提供更多了领域库。

Apache Flink如是说

https://www.toutiao.com/i6618065157681578500/
Apache大数据常见技术介绍,零基础大数据学习

Apache Kafka:

Apache Kafka是两个加速、可扩展的、高吞吐、可容错的分布式系统发布订阅消息系统

Kafka的优势在于:

可信性:Kafka是两个具有分区机制、副本机制和容错机制的分布式消息系统

可扩展性:Kafka消息系统全力支持软件产业规模的热扩展

高性能:Kafka在统计数据发布和订阅过程中都能保证统计数据的高吞吐量。即便在TB级统计数据储存的情况下,仍然能保证稳定的性能。

Kafka是甚么?工作原理如何:https://www.toutiao.com/i6714191670088303112/

Apache大数据常见技术介绍,零基础大数据学习

Apache-Flume

Flume是Cloudera提供更多的两个高可用的,高可信的,分布式系统的海量日志采集、聚合和传输的系统。

Apache Sqoop:

Sqoop是两个关系型统计数据库与Hadoop间的统计数据同步的工具。

Flume和Sqoop对比:https://www.toutiao.com/i6542386176903348749/

Apache大数据常见技术介绍,零基础大数据学习

相关文章

发表评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务