5月22日，二进制颤动宣布开放源码 ByConity 云原生植物统计基础构架，项目门牌号：https://github.com/ByConity/ByConity。
ByConity 如前所述 ClickHouse Mach开发，选用计算储存分立的构架、非主流的 OLAP 发动机和暗鞘的表发动机，提供更多快捷的灵活性扩缩容和全速的预测操控性，全面覆盖动态预测和海量统计数据的app预测，帮助企业更快地发掘统计数据价值。
ByConity 于 2022 年电云、林宏吉控股等项目组。部份项目组采用 ByConity 展开了 TPC-DS 试验，也有许多广度试玩的项目组选用生产统计数据和具体情景展开了试验。
在此之后，街道社区接到了很多项目组对于 ByConity 操控性的积极意见反馈，当然也有项目组碰到了许多布署中的痛点和妨碍，并为街道社区提供更多了许多非常不错的改良建议。在和街道社区使用者沟通交流的过程中他们发现，不同的项目组可能会碰到许多相近的痛点，也会如前所述各自的业务需求设计相关联的软件系统。今 现职研制技师展开了一次沟通交流，希望将街道社区的经验撷取给碰到同样痛点和正在考虑解决方法的项目组。参与本次沟通交流的两位来宾为：Kevin Fang，二进制颤动 ByConity 现职研制技师赵金涛，宏碁大统计数据研制技师徐庆岳，中电云统计资料库Mach控制技术专家曹唐，MetaApp 大统计数据研制技师责任编辑根据本次沟通交流中的部份关键点重新整理而成。相识 ByConity
Q1：诸位在平常工作中会采用大统计数据的什么样控制技术和产品？是什么契机让你们碰触到 ByConity？曹唐：他们主要是做了一个 OLAP 笔记预测网络平台，已经开始选的是 ClickHouse，中间存在许多痛点，后来通过二进制颤动 ClickHouse 控制技术Russey了解到二进制对 ClickHouse 展开了强化，输入到 ByConity 中，做了开放源码 ，他们就已经开始试著。徐庆岳：他们是在做定制云计算，自己也有许多统计资料库产品。在私有云的部份项目中碰到了许多痛点，比如说有些产品统计数据量特别大，每天会有 2 个 PB 的统计数据进来，查询一般需要是秒级，响应要求也比较高。在产品中，除了查询需求，也有汇入的需求，比如单节点汇入需求要达到差不多 400 兆每秒，查询也要比较快。按照他们自己目前的方法，汇入需求能达到，但查询的时候，甲方会希望“能不能再快一点？”当时他们如前所述自己开发项目组的许多产品感觉有点吃力，就对其他产品做了许多了解，比如 ClickHouse、腾讯云和二进制的产品，当然也有许多创业型公司的项目。当时得知 ByConity 开放源码了，他们想有更多了解，就邀请 ByConity 负责人展开了沟通交流。沟通后发现有些控制技术方面确实值得借鉴，于是他们做了许多针对性试验，看看某些功能点上是不是可以采用。赵金涛：他们内部也在广泛采用 ClickHouse，在采用过程中发现它存在许多构架上的短板，比如说扩缩容的成本很高，扩缩容的时候需要刷元统计数据、停 merge、停 mutate、搬迁统计数据等代价非常大，集群的资源难以根据负载灵活调整，存在浪费。这个时候看到包括 ClickHouse 公司在内，大统计数据领域有非常多的产品都在构建云原生植物能力。他们认为云原生植物是大统计数据的必然趋势。也是这个时候，我们从网上得知二进制把在 ClickHouse 领域多年的控制技术积累贡献出来，开放源码给街道社区了。如前所述这个打下基础，他们投入到街道社区里面来，希望借鉴 ByConity 的许多思想，把 ClickHouse 打造成一个高操控性的云原生植物统计资料库。Q2：其实咱们碰到的很多的痛点都是有共性的，例如在应用 ClickHouse 解决业务痛点的时候，碰到扩缩容、操控性方面的许多痛点。那想问诸位老师，大家觉得在解决这些痛点的过程中有哪些难点，他们最需要攻克的关键控制技术点是什么？曹唐：一是在计算方面，希望能够计算得快许多；再就是能够支持更多的统计数据源；另外是能够支持更庞大的统计数据量。徐庆岳：通过对 ByConity 控制技术的了解，它应该是按 Snowflake 论文来走的，包括元统计数据、统计数据的存算分立以及分布式的 MPP。在扩缩容这一块，S3 或者 HDFS 确实是一个很大的提高。但是在计算方面，未来怎么能够感知每个查询所需的计算资源多少？比如一个查询需要一台机器，下一个查询可能需要 100 台机器，从计算方面如何灵活性？这可能也是云计算本身存在的最大的一个理由，就是能够感知什么时候把计算资源根据租户来分配，或者根据不同的查询来分配。如果是根据租户，比如根据每个租户的节点拓扑走不同的查询，ByConity 应该是这种路线实现的。但是如果能够更智能地感知当前的查询需要多少个计算资源，那就更快了。赵金涛：我认为在大统计数据多维预测领域有两点是需要平衡的，第一是操控性，第二是灵活性，极高的操控性必然会损失灵活性。比如像 ClickHouse，它的各节点是完全对等的，元统计数据和统计数据都分片保存在节点上，这种 ShareNothing 的构架结合 ClickHouse 强大的 MPP 计算能力和极致的细节强化使得 ClickHouse 操控性非常快。如果他们想在保证 ClickHouse 操控性的基础上，具备更高的灵活性，让它灵活扩缩容，这种诉求和 ClickHouse 原生植物构架存在冲突。所以如前所述 ClickHouse 的原生植物构架去发展很难实现类似灵活性伸缩这样的灵活性。那他们就需要对 ClickHouse 构架改造升级，需要在比较高的灵活性下，仍然能保证操控性。在这个过程中，就存在控制技术挑战，比如需要将统计数据和节点的绑定解耦，需要实现节点的彻底无状态，元统计数据要从本地磁盘抽到统一的元统计数据中心，统计数据要从本地磁盘推到 HDFS 或者是 S3 等的这些对象储存上。对于大统计数据预测发动机来讲，这种构架升级涉及的细节非常多，牵一发而动全身，控制技术挑战也很大。而这种改造必然会带来操控性的降低。这时他们要采取其他的许多控制技术手段，比如缓存等，来提升操控性。一手体验：易布署、高操控性、沟通成本低……
Q3：在了解项目之后是如何上手的？是否碰到了许多障碍？体验如何？曹唐：他们最初采用 ByConity，是如前所述街道社区提供更多的 TPC-DS 试验项目来上手的。街道社区有一个比较详细的教程介绍如何通过 Docker 来布署 ByConity。把 ByConity 布署以后，跑了 TPC-DS 统计数据。在教程中会涉及到许多不清楚的点，加上他们想修改许多配置，由于对这些配置的了解情况并不是很多，所以就没有达到需要的效果。目前经过跟街道社区展开沟通，已经解决了这些痛点。他们现在已经将 ByConity 布署在 K8s 上，并且如前所述 ByConity 提供更多了笔记预测服务。他们项目组对 ByConity 街道社区一个最大印象就是沟通的成本非常低，非常有效果，他们碰到一个痛点的时候，在街道社区提出，很快就有街道社区的相关同学，以及街道社区中的许多其他爱好者来协助他们解决这些痛点。徐庆岳：他们项目组也在 Docker，他们会从源码级角度去看。和街道社区碰触的过程中，项目组的响应很快。在试验中他们也给街道社区找出了一个 bug。在采用中感觉 ByConity 的操控性提升很多，比如查询操控性。如果说把单个 libHDFS 上拿出来做对比的话，跟 ClickHouse 街道社区比可以达到百分之四五十的操控性提升。后续他们还会再测一测强化函数操控性提升如何。赵金涛：ByConity 开放源码以后，他们首先跑了雏形，然后预测了 ByConity 的源码和如前所述 ClickHouse 的许多改良点。在此过程中，发现 ByConity 是想构建一个比较完善的云原生植物的统计资料库，对 ClickHouse 的各种功能角色解耦非常彻底。他们也和街道社区一起共建，比如 MergeTree 支持对象储存，Hive 外表支持对象储存，Hive 外表的功能完善等等。在过程此中他们多次和街道社区一起讨论，一起把能力打磨成熟。近期他们在采用的时候发现某些情景下相比 ClickHouse 操控性大幅劣化，也正在和街道社区一起去预测瓶颈，提升操控性。ByConity 业务情景
Q4：后续项目组希望将 ByConity 用于什么业务情景，有什么短期和长期的规划？曹唐：现阶段他们主要将 ByConity 用在笔记预测网络平台的搭建。他们采用了 ByConity 的一个 Map 类型来将笔记保存起来。一般来说大家都会选用固定的许多字段来做。但他们用了 Map，是因为他们笔记中不确定的字段太多，所以他们根据名字和类型，通过创建 3 个 Map 来将他们的笔记保存起来。这样笔记查询的时候只需要拿到笔记的 schema，就可以根据 schema 相关联的类型来拿到相关联的笔记。现在他们每天会打入几百万条数笔记统计数据，目前表现还是非常不错的。另外他们有一个 OLAP 的统计数据预测网络平台，会有 A/B 试验，统计数据指标预测等功能，现阶段是如前所述 ClickHouse 来做的，未来他们可能会用 ByConity 来展开试著，替代 ClickHouse 来把这一部份的业务给推起来。徐庆岳：云计算公司，像大家都知道的比如火山发动机、宏碁云都有暗鞘的产品，但不可能每个产品都暗鞘，也会采用开放源码项目。ByConity 跟街道社区版的 ClickHouse 构架差异比较大，也会在某些情景下符合他们的许多需求，在选型的时候就会考虑采用 ByConity。同时他们也会考虑 ByConity 的项目组怎么样，以及街道社区的活跃度。街道社区如果不能继续推进的话，对于后续许多功能的采用就会有影响。未来他们也会和街道社区和项目组做沟通交流，看他们有什么样合适的采用情景，有什么样控制技术点是双方可以一起来提升的，以及什么样是可以回馈街道社区的。因为大家都是技术爱好者，希望能够相互成就。赵金涛：他们的首版本还在构建中，会用于多维预测情景。首先会借鉴 ByConity 构建一个比较完善的云原生植物的统计资料库，实现资源灵活性伸缩。他们还会借鉴 ByConity 的构架，构建湖仓一体的能力，不仅仅能够用于预测情景，还能用于数仓的情景，比如说可以预测 Hive 外表、Iceberg、Hudi 等等。首先他们会聚焦第一个情景，会和街道社区一起解决许多迫在眉睫的痛点。比如查询操控性，ByConity 热读的操控性比较理想，但冷读的查询操控性还有比较大的提升空间。所以这段时间他们会把精力放在提升 ByConity 的冷读操控性上，他们正在预测冷读的情景，想方法让 ByConity 能够持平或者至少接近 ClickHouse 的原生植物版本。操控性提升之后，他们会借鉴 ByConity 资源隔离以及云原生植物的能力，来构建一个比较完善的云原生植物统计资料库，能够实现集群的灵活性伸缩，集群能够根据查询量的大小动态的去分配资源等等，这些是他们未来的目标。他们还发现某些异常情景下偶现统计数据丢失等现象，他们会着重提升可靠性，确保运行稳定可靠。
操控性和可靠性提升后他们会借鉴 ByConity 资源隔离以及云原生的能力，来构建一个比较完善的云原生植物统计资料库，能够实现集群的灵活性伸缩，集群能够根据查询量的大小动态的去分配资源等等，这些是他们未来的目标。
开发人员对 ByConity 的期待
Q5：对 ByConity 技术路线的看法和诉求曹唐：他们对 ByConity 目前的功能，包括未来想要做的云原生植物数仓的愿景，都非常看好。之后是否能够支持 ClickHouse 相关的许多统计数据迁移工作，或者说能够给出许多迁移 ClickHouse 的帮助？这样的话能够让 ByConity 可以更快地去应用起来。再就是 ByConity 未来是否可以变成一个更通用的分布式计算发动机，可以对更多的统计数据源展开许多计算。徐庆岳：这个痛点还是比较大的，我觉得每个产品都有自己的情景，对于采用方来说可能主要是看产品的成熟度，如果做得好，甚至可以培养使用者的习惯。不同的统计资料库产品大多采用方法不同，可能采用的 SQL 语句都不同，如果对产品不熟悉，更换产品的对于大多数人来说上手都比较困难。如果 ByConity 成熟之后，在很多情景下，操控性和灵活性都兼具了，使用者多了，也就慢慢培养了使用者的习惯。统计资料库的控制技术路线，我想做统计资料库的应该都知道，比如存算分立、读写分立等，但是如何把一个产品做成功，可能跟产品未来的发展、街道社区的发展相关。比如多云布署是否支持等。赵金涛：ByConity 的 GA 版本已发布，我认为接下来首先要把 ByConity 的能力继续完善，补齐功能，增强冷读操控性，提升可靠性，构建一个比较完善的云原生植物统计资料库。第二点是把 ByConity 强大的操控性拓宽到其他领域，比如说能够把它用到数仓领域，在一定程度上或者在某些情景下能够替代 Spark，能够加速模型层的计算。Q6：在街道社区建设方面大家有什么看法曹唐：作为现职使用者，对街道社区的最大的诉求，一是能够有更详细的文档帮助使用者快速上手，以及许多比较详细的配置文档，能够让他们对 ByConity 的许多参数展开调整，达到一个更快的状态。再就是与街道社区沟通中快速意见反馈的方式。另外就是街道社区进度的同步，是否有定期的活动。Kevin：文档化建设是街道社区非常重要的一部份，后面会有两种类型的文档，一种是给使用者看的，比如使用者手册，另外一个是面向开发人员，会有更多的控制技术细节。大家在看文档中碰到许多痛点也欢迎随时提出。关于痛点意见反馈，他们最推荐的还是 GitHub 的 issue，大家都能看到，也能帮助遇到相同痛点的人。定期活动他们肯定是有的，比如他们每月都会举办的 webinar，就会有一个专题去讲这些内容。前面讲了 ByConity 的许多控制技术构架的点，后面会撷取许多计划要做的内容。徐庆岳：之后希望看到 ByConity 控制技术点和功能迭代更加完善，也希望看到许多好的实现方法。街道社区共建这块，我觉得可以针对运维同学做许多事情，比如做开设许多课程培训，并展开认证，可以加深对于产品的熟悉程度，也培养了更多的使用者。Kevin：这个角度特别好，目前他们面向的更多是开发人员，随着被用了更多之后，第一手碰触的大部份是运维人员。对于这批人他们如何提供更多更友好的支持，比如教程、上手以及解决痛点的通道。后续他们也可以一起商量，通过街道社区一起来做。赵金涛：后续可以定期组织许多 meetup，邀请不同企业的开发人员来撷取各自的实践。另外还可以组织许多代码解读的活动，解读 ByConity 的构架和关键控制技术，比如它的查询强化器、导入、集群管理等等，尤其许多关键流程是如何实现的，这样也能让更多的开发人员参与进来繁荣街道社区。总结Kevin：非常欢迎大家参与街道社区共建，一起形成控制技术的输入。比如每个项目组侧重做的模块不一样，可能对某个模块会有非常深的理解，这些他们是不是可以用文章的形式发布出来，汇总起来，放到街道社区中，让其他的开发人员都能够从中受益。最后希望大家在平常业务当中总结出来的，包括在自己业务上得到验证的许多经验方法，一方面能够回馈给街道社区，让有共性的这些业务情景能够去采用；另外一方面也希望业界的诸位专家们一起加入 ByConity，把 ByConity 打造得更快。彩蛋本次访谈中还有许多精彩的控制技术沟通未在责任编辑章展开，如：在 Map 采用过程中的许多建议和处理方式ByConity 冷读和热度的查询操控性差异统计数据湖在 ByConity 未来发展中的考虑与应用情景统计数据迁移工具的相关讨论如何采用云原生植物展开降本增效Keeper 高可用的探讨本次访谈完整视频已上传 ByConity B站，点击【】直接观看。
