文本架构：
大统计数据概要怎样彻底摆脱控制技术阿宝Spark SQL 自学架构EMR Studio 上的大统计数据最差课堂教学一、大统计数据概要
大信息处理 ETL (Data → Data)大统计数据挖掘 BI (Data → Dashboard)机器自学 AI (Data → Model)
二、怎样彻底摆脱控制技术阿宝
甚么是控制技术阿宝？
只懂表层，要学其本质比如说：只懂参照自己的 Spark 标识符，要学 Spark 的外在监督机制，要学怎样Listary Spark Job
彻底摆脱控制技术阿宝的良方
懂管理体制专业委员会实用性专业委员会看 Log懂管理体制：Spark SQL Architecture
专业委员会实用性：怎样实用性 Spark App
实用性 Driver• spark.driver.memory
• spark.driver.cores
实用性 Executor• spark.executor.memory
• spark.executor.cores
实用性 Runtime• spark.files
• spark.jars
实用性 DAE………….专业委员会看 Log：Spark Log
三、Spark SQL 自学架构
Spark SQL 自学架构( 结合图形/几何）
1. Select Rows
2. Select Columns
3. Transform Column
4. Group By / Aggregation
5. Join
Spark SQL 执行计划
1. Spark SQL – Where
2. Spark SQL – Group By
3. Spark SQL – Order by
四、EMR Studio 课堂教学
EMR Studio 特性：
兼容开源组件支持连接多个集群适配多个计算引擎交互式开发 + 作业调度无缝衔接适用多种大统计数据应用场景计算存储分离1. 兼容开源组件
EMR Studio 在开源软件 Apache Zeppelin，Jupyter Notebook, Apache Airflow 的基础上优化了做了优化和增强。
2. 支持连接多个集群
一个 EMR Studio 可以连接多个 EMR 计算集群，您可以很方便地切换计算集群，提交作业到不同的计算集群上运行。
3. 适配多个计算引擎
自动适配 Hive、Spark、Flink、Presto、Impala 和 Shell 等多个计算引擎，无需复杂实用性，多个计算引擎间协同工作
4. 交互式开发 + 作业调度无缝衔接
Notebook + Airflow : 无缝衔接开发环节和生产调度环节
利用交互式开发模式可以快速验证作业的正确性.在 Airflow 里调度 Notebook 作业，最大程度得保证开发环境和生产环境的一致性，防止由于开发阶段和生产阶段环境不一致而导致的问题。
5. 适用多种大统计数据应用场景
大信息处理 ETL交互式统计数据挖掘机器自学实时计算6. 计算存储分离
所有统计数据都保存在 OSS 上，包括：• 用户 Notebook 标识符
• 调度作业 Log
即使集群销毁，也可以重建集群轻松恢复统计数据
讲师：简锋，阿里云 EMR 统计数据开发平台 负责人
本文为阿里云原创文本，未经允许不得转载。
