莱桑代利县云第16次海外华人Grignols技术现场直播文字回看：本次现场直播由大统计数据后台开发技师David，为大家带来了主题分享《Hudi 课堂教学采用 Apache Hudi 构筑新一代统计数据湖》，主要就内容主要就包括：甚么是统计数据湖？Apache Hudi 核心竞争优势、Apache Hudi 设计与架构最强解读、Apache Hudi 最佳课堂教学。Data Lakehouse产生的背景过去十年随着物联网、云应用、社交媒体和机器学习的发展，公司收集的统计信息量呈指数级增长，与此同时对高效率统计数据的需求从几天和数天的频率变为几分钟甚至几秒的时间。数年来统计数据湖作为储存原始和丰富统计数据的储存库发挥了重要作用。但是随着它们的成熟，企业意识到维护高效率、新一代和完全一致的统计数据是非常复杂的。除摄取存量统计数据的复杂性以外，填充统计数据湖还需业务环境和高度倚赖格式化。以下是现代统计数据湖的主要就考验：如前所述查阅的更改统计数据捕捉：抽取存量源统计数据的最常见方式是倚赖定义过滤条件的查询。当表没有有效字段来存量抽取统计数据时，在源统计资料库上添加额外阻抗或无法捕捉统计资料库的每一次更改，如前所述查阅的CDC不主要就包括已删掉的历史记录，即使没有单纯的方式来确定是否已删掉了历史记录。如前所述笔记的CDC是首选方式，可以化解前述考验。本文将进一步讨论该方式。统计数据海中的存量统计信息处置：负责预览统计数据湖的ETL作业必须加载统计数据海中的所有文档进行更改，并将整个统计数据集改写为新文档（即使没有单纯的方式预览历史记录所在的文档）。缺少对ACID外交事务的全力支持：如果与此同时存在随机存取，不遵从ACID外交事务会导致结果不完全一致。统计数据规模的增加和维持新一代统计数据使前述考验更加复杂。Uber、Databricks和Netflix提出了意在化解统计数据技师面临的挑战的化解方案的统计数据湖处置架构，意在在分布式文档系统（比如S3、OSS或HDFS）上的统计数据海中执行插入和删掉操作方式。新一代Data Lakes意在以扩展性、适应性和可靠的方式提供更多新一代统计数据，即Data Lakehouse。甚么是Data Lakehouse具体来说：Data Lakehouse = Data Lake + Data Warehouse现代统计基础架构意在提供更多一个用作储存已针对特定示例/统计数据氢铵，半形式化和非形式化统计数据，以及采用格式化和流传输管道。与统计基础架构较之，统计数据湖包含多种不同储存格式的原始统计数据，可用作当前和将来的示例。但是统计数据湖仍然存在局限性，主要就包括外交事务全力支持（很难使统计数据湖维持新一代状态）和ACID合规（不全力支持mammalian随机存取）。统计数据海中心可利用S3，OSS，GCS，Azure Blob对象储存的统计数据湖低成本储存竞争优势，以及统计基础架构的统计计算机程序和统计数据处置功能。全力支持ACID外交事务并确保mammalian加载和预览数据的完全一致性来克服统计数据湖的限制。此外与现代的统计基础架构较之，Lakehouse能够以更低的延迟和更高的速度消费统计数据，即使能直接从Lakehouse查阅统计数据。Lakehouse的主要就特性如下外交事务全力支持Schema enforcement and governance(模式实施和治理)BI全力支持储存与计算分离发展性全力支持从非形式化统计数据到形式化统计数据的多种不同统计正则表达式全力支持各种工作阻抗起新端流为了构筑Lakehouse，需要一个存量统计信息处置架构，比如Apache Hudi。甚么是Apache Hudi简介Apache Hudi(简称：Hudi)使您能在hadoop相容的储存之上储存大量统计数据，与此同时它还提供更多三种scripts，使除经典的格式化以外，还能在统计数据湖上进行流处置。这三种scripts分别是：Update/Delete历史记录：Hudi采用mammalian的文档/历史记录级别索引来全力支持Update/Delete历史记录，与此同时还提供更多写操作方式的事流，并解锁新的查阅姿势（类别）。这些scripts紧密结合，解锁了如前所述DFS抽象的流/存量处置能力。如果您熟悉流处置，那么这和从kafka主题消费事件，然后采用状态储存逐步累加中间结果类似。设计原则流式读/写:Hudi借鉴了统计资料库设计的原理，从零设计，应用作大型统计数据集历史记录流的输入和输出。为此，Hudi提供更多了索引实现，能将历史记录的键快速映射到其所在的文档位置。同样，对于流式输出统计数据，Hudi通过其特殊列添加并跟踪历史记录级的元统计数据，从而能提供更多所有发生更改的精确存量流。自管理：Hudi注意到用户可能对统计数据新鲜度（写友好）与查阅性能（读/查阅友好）有不同的期望，它全力支持了三种查阅类型，这些类型提供更多实时快照，存量流以及稍早的纯列统计数据。在每一步，Hudi都努力做到自我管理（比如自动优化编写程序的并行性，维持文档大小）和自我修复（比如：自动回滚失败的提交），即使这样做会稍微增加运行时成本（比如：在内存中缓存输入统计数据已分析工作阻抗）。如果没有这些内置的操作方式杠杆/自我管理功能，这些大型流水线的运营成本通常会翻倍。万物皆笔记:Hudi还具有 append only、云统计数据友好的设计，该设计实现了笔记形式化储存系统的原理，能无缝管理所有云提供更多商的统计数据。键-值统计数据模型：在写方面，Hudi表被建模为键值对统计数据集，其中每条历史记录都有一个唯一的历史记录键。此外，一个历史记录键还能主要就包括分区路径，在该路径下，能对历史记录进行分区和储存。这通常有助于减少索引查阅的搜索空间。表设计了解了Hudi项目的关键技术动机后，现在让我们更深入地研究Hudi系统本身的设计。在较高的层次上，用作写Hudi表的组件采用了一种受全力支持的方式嵌入到Apache Spark作业中，它会在全力支持DFS的储存上生成代表Hudi表的一组文档。然后，在具有一定保证的情况下，诸如Apache Spark、Presto、Apache Hive之类的查阅引擎能查阅该表。 Hudi表的三个主要就组件：有序的时间轴元统计数据。类似于统计资料库外交事务笔记。分层布局的统计数据文档：实际写入表中的统计数据。索引（多种不同实现方式）：映射包含指定历史记录的统计数据集。 Hudi提供更多了以下功能来对基础统计数据进行写入、查阅，这使其成为大型统计数据湖的重要模块：全力支持快速，可插拔索引的upsert();高效、只扫描新统计数据的存量查阅；原子性的统计数据发布和回滚，全力支持恢复的Savepoint；采用mvcc(多版本mammalian控制)风格设计的读和写快照隔离；采用统计信息管理文档大小；已有历史记录update/delta的自管理压缩；审核统计数据修改的时间轴元统计数据；满足GDPR(通用统计数据保护条例)、统计数据删掉功能。表类型Copy On Write表 COW表写的时候统计数据直接写入basefile,（parquet）不写log文档。所以COW表的文档片只包含basefile(一个parquet文档构成一个文档片)。这种的储存方式的Spark DAG相对单纯。关键目标是是采用partitioner将tagged Hudi历史记录RDD（所谓的tagged是指已经通过索引查阅，标记每条输入历史记录在表中的位置）分成一些列的updates和inserts.为了维护文档大小，我们先对输入进行采样，获得一个工作阻抗profile,这个profile历史记录了输入历史记录的insert和update、以及在分区中的分布等信息。把统计数据从新打包，这样：1）对于updates,该文档ID的新一代版本都将被改写一次，并对所有已更改的历史记录采用新值2）对于inserts.历史记录首先打包到每个分区路径中的最小文档中，直到达到配置的最大大小。之后的所有剩余历史记录将再次打包到新的文件组，新的文档组也会满足最大文档大小要求。Merge On Read表MOR表写统计数据时，历史记录首先会被快速的写进笔记文档，稍后会采用时间轴上的压缩操作方式将其与基础文档合并。根据查阅是加载笔记中的合并快照流还是更改流，还是仅加载未合并的基础文档，MOR表全力支持多种不同查阅类型。在高层次上，MOR writer在加载统计数据时会经历与COW writer 相同的阶段。这些预览将追加到新一代文档篇的新一代笔记文档中，而不会合并。对于insert,Hudi全力支持三种模式：1）插入到笔记文档：有可索引笔记文档的表会执行此操作方式（HBase索引）；2）插入parquet文档：没有索引文档的表（比如布隆索引）与写时复制（COW）一样，对已标记位置的输入历史记录进行分区，以便将所有发往相同文档id的upsert分到一组。这批upsert会作为一个或多个笔记块写入笔记文档。Hudi允许客户端控制笔记文档大小。对于写时复制（COW）和读时合并（MOR）writer来说，Hudi的WriteClient是相同的。几轮统计数据的写入将会累积一个或多个笔记文档。这些笔记文档与基本的parquet文档（如有）一起构成一个文档片，而这个文档片代表该文档的一个完整版本。这种表是用途最广、最高级的表。为写（能指定不同的压缩策略，吸收突发写流量）和查阅（比如权衡统计数据的新鲜度和查阅性能）提供更多了很大的灵活性。与此同时它包含一个学习曲线，以便在操作方式上掌控他。查阅鉴于这种灵活而全面的统计数据布局和丰富的时间线，Hudi能够全力支持三种不同的查阅表方式，具体取决于表的类型。快照查阅可查看给定delta commit或者commit即时操作方式后表的新一代快照。在读时合并（MOR）表的情况下，它通过即时合并新一代文档片的基本文档和存量文档来提供更多近实时表（几分钟）。对于写时复制（COW），它能替代现有的parquet表（或相同基本文档类型的表），与此同时提供更多upsert/delete和其他写入方面的功能。存量查阅可查看自给定commit/delta commit即时操作方式以来新写入的统计数据。有效的提供更多更改流来启用存量统计数据管道。读优化查阅可查看给定的commit/compact即时操作方式的表的新一代快照。仅将新一代文档片的基本/列文档暴露给查阅，并保证与非Hudi表相同的列查阅性能。采用示例采用更改统计数据捕捉来预览/删掉目标统计数据更改统计数据捕捉（CDC）是指识别和捕捉源统计资料库中所做的更改。它将更改从源统计资料库复制到目的端（在本例中为统计数据湖）。这对于将插入、预览和删掉操作方式捕捉到目标表中特别重要。如前所述笔记的CDC为将更改从源统计资料库复制到统计数据湖库是最好的方案，即使它能够捕捉已删掉的历史记录，而这些历史记录无法采用如前所述查阅的CDC捕捉，即使如果在源统计数据中不存在删掉标志，则无法捕捉。Hudi能通过在现有统计数据集中找到适当的文档并改写它们来处置更改统计数据捕捉。此外它还提供更多了如前所述特定时间点查阅统计数据集的功能，并提供更多了时间旅行。采用CDC工具（比如Oracle GoldenGate，Qlik Replicate（以前称为Attunity Replicate）和DMS）进行近实时统计数据摄取非常通用，将这些更改应用作现有统计数据集至关重要。隐私条例GDPR等新一代的隐私法规要求公司必须具有历史记录级别的预览和删掉功能。通过全力支持Hudi统计数据集中的删掉，能大大简化针对特定用户或在特定时间范围内预览或删掉信息的过程。Hudi的竞争优势化解统计数据质量问题，比如重复历史记录，延迟到达的预览等，这些问题通常在现代的存量格式化ETL管道中存在。提供更多对实时管道的全力支持。异常检测，机器学习示例，实时检测等创建可用作跟踪更改的机制（时间轴）。提供更多对通过Hive和Presto进行查阅的原生全力支持。化解方案案例采用如前所述笔记的CDC工具（Oracle GoldenGate），Apache Kafka和存量统计信息处置架构（在AWS上运行的Apache Hudi），在AWS S3上构筑了统计数据湖，以减少延迟，改善统计数据质量并全力支持ACID外交事务。架构环境Oracle大统计数据Oracle GoldenGate：19cConfluent Kafka：5.5.0Apache Spark：2.4.3Apache Hudi：0.5.3Oracle GoldenGate被用作如前所述笔记的CDC工具从源系统笔记中抽取统计数据，笔记实时地复制到Kafka，从中加载消息并以Hudi格式写入统计数据湖。Apache Hudi与AWS EMR和Athena集成，是存量统计信息处置架构的理想选择。实施步骤采用Oracle GoldenGate复制源统计数据在Kafka中捕捉复制的统计数据从Kafka加载统计数据并以Hudi格式写入S3结论该方案成功化解了现代统计数据湖所面临的考验：如前所述笔记的CDC是用作捕捉统计资料库外交事务/事件的更可靠的机制。Apache Hudi负责（以前由统计数据平台所有者所有）通过管理大规模Lakehouse所需的索引和相关元统计数据来预览统计数据湖库中的目标统计数据。ACID外交事务的全力支持消除mammalian操作方式的麻烦，即使Apache Hudi API全力支持mammalian随机存取，而不会产生不完全一致的结果。随着越来越多的企业采用统计数据平台并增强其统计数据分析/机器学习功能，必须为服务于统计数据的基础CDC工具和管道的重要性不断发展以应对一些最普遍面临的考验。统计数据延迟和交付给下游消费者的统计数据的整体质量的改善表明Data Lakehouse范式是新一代统计数据平台。这将成为企业从其统计数据中获得更大价值和洞察力的基础。
