原副标题：Apache Spark 的新C语言
English SDK for Spark : 将英文做为一类捷伊C语言，将聚合式 AI 当作C++， 将 Python 视为二进制码！
责任编辑主要就如是说了 Apache Spark 的英文软件设计组件（SDK）的必要性和最终目标，和它选用聚合式 AI 控制技术来多样Spark 的采用新体验。它还提及了GitHubCopilot 对 AI 远距标识符合作开发的负面影响，和其rk 的声望重大贡献这份精神力量。
书名镜像：https://www.databricks.com/blog/introducing-english-new-programming-language-apache-spark
译者 | Gengliang Wang,Xiangrui Meng,Reynold Xin,Allison Wang,Amanda Liu和Denny Lee
翻译者 | 没错如月
白眉林 | 夏萌
公司出品 | CSDN（ID：CSDNnews）
前言
他们十分兴奋向我们如是说 Apache Spark 的英文软件设计组件（SDK）。这是两个颠覆性的辅助工具，意在多样你的 Spark 采用新体验。Apache Spark™ 在亚洲沿海地区范围内，全面覆盖 208 个北欧国家和沿海地区，年用户数少于 10 万次，早已在小规模数据挖掘应用领域获得了巨大成就。他们的英文 SDK 选用一流的聚合型 AI 控制技术，意在不断扩大那个活耀的街道社区，使 Spark 在可用性通好Branne上达至空前的度！
共相
GitHub Copilot 对 AI 远距的标识符合作开发应用领域产生了深远的负面影响。虽然它功能强大，但用户需要理解聚合的标识符后才能提交。同时，审查者也需要理解标识符才能进行审查。这可能会限制其广泛应用的一大阻碍。当处理 Spark 表和 DataFrames 时，它偶尔也会聚合不正确或不符合预期的标识符。下面的 GIF 动图展示了这一点，Copilot 提出了两个窗口规范，并引用了不存在的dept_id列，这需要一些专业知识才能理解。
与其将 AI 视为副驾驶，为何不让 AI 当作司机，他们坐在豪华的后座享受呢？这就是他们英文 SDK 所要扮演的角色。他们发现，尖端的大型语言模型对 Spark 十分了解，这得益于优秀的 Spark 街道社区，他们在过去十年中，重大贡献了大量的开放的、高质量的内容，比如 API 文档、开源项目、问题和答案、教程和书籍等。现在，他们将这些聚合型 AI 对 Spark 的专业知识融入到英文 SDK 中。你不再需要理解复杂的聚合标识符，只需用简单的英文指令即可得到结果：
transformed_df = df.ai.transform(get 4 week moving average sales by dept)英文 SDK 通过理解 Spark 表和 DataFrames 来处理复杂性，并直接返回两个正确的 DataFrame ！
他们的愿景是：将英文做为一类C语言，并采用聚合式 AI 将这些英文指令编译成 PySpark 和 SQL 标识符。这种创捷伊方式意在降低编程的门槛和简化学习曲线。那个愿景是推动英文 SDK 的主要就驱动力，他们的最终目标是不断扩大 Spark 的声望，让 Spark 从两个成功走向另两个成功。
英文 SDK 的特性
英文 SDK 通过实现以下关键特性，使 Spark 的合作开发过程变得更简单：
：根据你的描述，SDK 可以进行网络搜索，运用大型语言模型 (LLM) 确定最佳结果，然后顺利地将选定的网络数据集成到 Spark 中，这些操作都能在两个步骤中完成。
DataFrame 操作：SDK 对指定的 DataFrame 提供了功能，根据你的英文描述执行转换、绘图和解释操作。这些功能大大提升了标识符的可读性和效率，使得对 DataFrames 的操作更加直接和直观。
自定义函数 (UDFs)：SDK 提供了简洁的创建 UDFs 的流程。你只需要提供一段描述，AI 就可以负责标识符的补全。这一特性简化了 UDF 的创建过程，让你可以专注于函数定义，而 AI 则会处理其余部分。
缓存：SDK 吸取了缓存的优点以提升执行速度，保证结果的可复用性，并节省成本。
示例
为了进一步说明如何采用英文 SDK，他们将通过一些例子进行演示：
如果你是一名数据科学家，需要导入2022年美国全国汽车销售数据，您只需要两行标识符即可完成：
spark_ai = SparkAI auto_df = spark_ai.create_df(“2022 USA national auto sales by brand”)DataFrame 操作
对于给定的 DataFrame 对象，SDK 允许你运行以 df.ai 开头的方法。这包括转换、绘图、DataFrame 解释等等。
要激活 PySpark DataFrame 的部分函数：
spark_ai.activate要预览 auto_df：
auto_df.ai.plot要查看各汽车公司的市场份额分布：
auto_df.ai.plot(“pie chart for US sales market shares, show the top 5 brands and the sum of others”) auto_top_growth_df=auto_df.ai.transform(“top brand with the highest growth”) auto_top_growth_df.show auto_top_growth_df.ai.explain总的来说，那个 DataFrame 正在查找销售增长最快的品牌。它将结果按销售增长率降序排列，并仅返回增长最快的结果。
自定义函数 (UDFs) SDK
支持通过简单而清晰的方式创建自定义函数。采用@spark_ai.udf装饰器，你只需定义两个带有文档字符串的函数，SDK 就会在后台自动完成标识符聚合：
@spark_ai.udf def convert_grades(grade_percent: float) -> str: “””Convert the grade percent to a letter grade using standard cutoffs””” …现在，你可以在 SQL 查询或 DataFrames 中采用那个自定义函数（UDF）
SELECT student_id, convert_grades(grade_percent) FROM grade总结
Apache Spark 的英文 SDK 是两个既简洁又强大的辅助工具，能够显著提升你的合作开发效率。它的最终目标是简化复杂的任务，减少必需的标识符量，使你可以专注于从数据中挖掘洞察。
虽然英文 SDK 还处于早期的合作开发阶段，但未来可期。他们鼓励你去尝试那个创捷伊辅助工具，亲身感受其带来的便利，并考虑为此项目重大贡献自己的这份精神力量。不要在这场革命中袖手旁观，而应该积极参与其中。现在就去 pyspark.ai 上探索和新体验英文 SDK 的强大功能吧。你的参与和洞见，将为不断扩大 Apache Spark 的声望做出重要重大贡献。
▶阿里发布免费的全新可变字体；Stability AI CEO：5年内，人类程序员将不复存在；Perl 5.38发布|极客头条
▶ 因资金短缺，全职合作开发者自述：这款开源软件可能没有未来了！
▶ Mac 上能跑国产系统了！深度 deepin 官宣：正式适配 M1 芯片 更多
