性能全面超数据库专家,腾讯提基于机器学习的性能优化系统 | SIGMOD 2019

2023-05-31 0 499

百度与浙江大学密切合作的新一代科研成果入围了世界性资料库世界顶级全会SIGMOD的收录于学术研究论文,并将于6月30日

百度与浙江大学密切合作的新一代科研成果入围了世界性资料库世界顶级全会SIGMOD的收录于学术研究论文,并将于6月30日在荷兰鹿特丹召开SIGMOD 2019世界性全会上公开发表。

入围学术研究论文的试题为“An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning”,该项研究开创性的实现了如前所述AI控制技术的资料库操控性Listary结论首度全面性胜过资料库研究者实战经验判断的传统方法。该成果由浙江大学武汉微电子国家研究中心松讷教授项目组和百度控制技术工程事业群云构架网络平台部CDB资料库项目组密切合作完成,研究生张霁为第一作者。

智能化云纳米控制技术联手研究中心由百度与浙江大学于2018年成立,意在透过强强联手,建设世界级的智能化云纳米控制技术革新和人才培养网络平台。透过吸引汇集顶级专才,百度与浙江大学在分布式系统纳米控制技术、高操控性储存发动机、业务阻抗预测等方面开展联手控制技术科技攻关,突破Sierentz云储存服务项目控制系统的诸多控制重重困难,推动智能化云纳米控制技术的科技创新及控制技术应用破冰。本次入围的学术研究论文,正是智能化云纳米控制技术联手研究中心的联手科研成果之一。

SIGMOD数据处理世界性全会是资料库领域具有最高学术研究地位的世界性性学术研究全会,名列资料库方向世界顶级全会之首。

随着云计算的迅速发展,较大型企业透过买回云资料库服务项目控制系统,来代替自有和维护资料库服务项目控制系统的情形愈来愈多,以便节省物力。然而,大多数采用者在买回云资料库服务项目控制系统后仅仅逗留在采用微观上,在采用过程中经常遇到资料库控制系统操控性上升的情形。

由于缺乏资料库管理控制系统操控性强化的实战经验,采用者很难发现导致资料库控制系统操控性上升的原因并有效地化解,这就需要云服务项目提供商为采用者及时地调整资料库控制系统模块,以保证资料库的操控性维持在一个更优的状态。对于拥有数千计采用者示例的云服务项目提供商来说,完全依赖资料库研究者进行资料库模块Listary显然是不现实的,如何利用AI控制技术化解资料库控制系统操控性问题已经变得愈来愈重要和迫切。

该书首度提出了一种如前所述深度强化学习的端到端云数据库手动操控性强化控制系统CDBTune,如图1所示。该控制系统可以在缺乏相关实战经验数据训练的情形下建立强化模型,为云资料库采用者提供新浪网手动强化资料库操控性的服务项目,操控性Listary结论首度全面性胜过资料库研究者,这将大幅提升数据库运维效率。

性能全面超数据库专家,腾讯提基于机器学习的性能优化系统 | SIGMOD 2019

图1  强化学习与资料库操控性强化关系图

如图2所示,在多种不同阻抗和不同类型的资料库下进行的大量实验证明,CDBTune操控性强化结论明显优于目前已有资料库Listary工具和DBA研究者。即使在弹性云环境下,采用者买回资料库内存或磁盘大小发生变化,或阻抗发生变化(类型不变)的情形下,实验证明CDBTune依然保持了较好的适应能力。

性能全面超数据库专家,腾讯提基于机器学习的性能优化系统 | SIGMOD 2019

图2  CDBTune操控性测试结论

在实际控制系统中,如图3所示,当采用者或者控制系统管理员有资料库操控性强化需求时,可以透过相应的交互接口提出调参强化请求,此时云端控制器透过给智能化强化控制系统发出调参请求,并根据采用者真实阻抗建立的深度强化学习模型推荐出的相应的模块配置,然后将该配置在资料库中进行设置。反复执行上述的执行过程,直到待调参的资料库操控性满足采用者或控制系统管理员的需求即停止调参。

性能全面超数据库专家,腾讯提基于机器学习的性能优化系统 | SIGMOD 2019

图3  CDBTune控制系统交互图

对于该学术研究论文,SIGMOD评审委员的评价是:“本文是关于利用机器学习方法强化资料库的控制技术,这是一个令人振奋的新领域。 特别是它采用了强化学习的方法。这篇文章不仅仅是简单地抛出一个机器学习控制技术,而且非常好地解释了机器学习是如何与特定的问题进行完全的匹配,同时也阐述了与传统机器学习术语之间的类比问题。鉴于在资料库社区中并非每个人都能对这些控制技术了如指掌,这也是一种教学方式,因此我们非常赞赏这篇文章。”

每年SIGMOD全会都会吸引大量全球学术研究组织和工业界资料库研究人员参会和分享,也汇集了学术研究界和工业界在资料库领域最前沿的控制技术研究动向。

(*本文为 AI科技大本营转载文章,转载请联系连作者)

相关文章

发表评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务