现在有各式各样的统计数据信息系统来储存与管理组织工作统计数据:亲密关系型统计资料库、NoSQL统计资料库,文件格式统计资料库、Key-value统计资料库,第一类储存系统之类。型态多样化的统计数据信息系统为民营企业组织机构在管理组织工作统计数据上增添便捷的与此同时,随之而来的是管理组织工作与充分运用这些统计数据分析储存的统计数据的痛点。
统计数据预测师想预测某一类统计数据信息系统的统计数据,为的是对相同统计管理组织工作工具展开联手查阅,所以就得在应用领域Monpazier中采用相同的应用领域程序去相连相同的统计管理组织工作工具,整座预测操作过程构架繁杂,程式设计出口处多,模块化极为困难,这对牵涉海量统计数据的统计数据预测师来说这样的预测操作过程极为伤痛。
那时 Gitee 所推荐的此款开放源码工程项目是特别针对化解这个难题而生,它是统计数据并行计算发动机 openLooKeng。
项目名称:openLooKeng
工程项目译者:openLooKeng
开放源码许可证协定:Apache-2.0
工程项目门牌号:
https://gitee.com/openlookeng/hetu-core工程项目概要
openLooKeng是一类”照相狸尾豆”的发动机,全力支持在任何人处所(主要包括自然地理上的远距统计管理组织工作工具)对任何人统计数据展开原地预测。它透过SQL 2003USB提供更多了大部份统计数据的自上而下快照。openLooKeng具备可扩展性、手动伸缩式、内建内存和检索全力支持,为民营企业组织工作阻抗提供更多了所需的安全性。
openLooKeng用于全力支持统计数据探索、即席查阅和批处理,具备100+毫秒至分钟级的近实时时延,而无需移动统计数据。openLooKeng还全力支持层次化部署,使自然地理上远距的openLooKeng集群能够参与相同的查阅。利用其跨区域查阅计划优化能力,牵涉远距统计数据的查阅可以达到接近“本地”的性能。
应用领域场景
高性能的交互式查阅场景跨源异构的查阅场景跨域跨DC的查阅场景计算储存分离的场景快速展开统计数据探索的场景工程项目特性
专为海量统计数据设计的内存计算框架openLooKeng 具备 SQL on Hadoop 的分布式处理构架,采用了储存与计算分离的设计理念,可方便的实现计算或储存节点的水平扩展。
ANSI SQL2003语法的全力支持用户采用openLooKeng语法展开查阅时,无论底层统计管理组织工作工具是RDBMS还是NoSQL 或者其他统计数据信息系统,借助openLooKeng的Connector框架,统计数据可以依然存放在原始的统计管理组织工作工具中,从而实现统计数据“0搬迁”的查阅。
多种多样化的统计管理组织工作工具 ConnectoropenLooKeng特别针对这些统计数据信息系统开发了多种多样化的统计管理组织工作工具Co
跨域跨DC的DataCenter Connector透过这个新Connector可以相连到远端另外的openLooKeng集群,从而提供更多在相同统计数据中心间协同计算的能力。
高性能的查阅优化技术openLooKeng在内存计算框架的基础上,还利用动态过滤、算子下推等多种查阅优化技术来满足高性能的交互式查阅的需要。
参与共建
openLooKeng 目前也在期待广大对大统计数据感兴趣的开发者们一起加入到 openLooKeng 开源社区中,如果你想看看它的代码长什么样,所以就点击下方了解更多去工程项目主页看看吧。