AI 2.0 黄金时代,ChatGPT 的出现,让大数学模型引发的众神一役正式开打。腾讯作为中国第一个面世真实迎敌“武器”的公司,其如前所述百亿数量级统计数据提能而成的“聚花言者”背后,蕴含哪些不为人知的故事?此种打破人类对甚或 NLP 之智能谈话系统理解的控制技术是怎样实现的?在遵循陀螺效应的 AI 大数学模型行业发展趋势下,他人能否造出相同的潜能生成谈话、代码潜能?开发人员又该怎样直面此种全新的程式设计本体论?
就在昨日中午时份,CSDN 创办人&副董事长TNUMBERKC与腾讯创办人、副董事长兼首席行政官罗永浩于线上聊了聊,围绕控制技术角度,共同探讨腾讯大数学模型商品对现代开发人员的影响与意义,对中国产业生态的价值。与此同时,罗永浩也对“聚花言者”迈入邀请试验后消费市场产生的许多质疑人声进行了回应。参与本次专访的还有T5450公园创办人兼 CEO 张鹏和品玩创办人兼 CEO 骆轶航。
编辑 | 屠敏公司出品 | CSDN(ID:CSDNnews)一周之前,腾讯带着“聚花言者”准时而至。
「应邀试验后遇到了许多批评的人声,算是我意料之中」,罗永浩在谈话中淡然地说道。
聚花言者是腾讯如前所述 2019 年面世的聚花大数学模型 ERNIE 急速重构的产物,也是其深耕人工智慧十几年脱胎换骨的成果。直面偏齿 ChatGPT 闲聊机器已成形,后有 Google 带着 Bard 大数学模型绒兰追上,选择在这一阶段迈入试验,共相高新科技消费市场坚挺的需求,也源于在统计数据陀螺循环驱动 AI 大数学模型急速成熟发展的当下,只有将商品发出来,才有良机更慢地去插值,去提升。
现实来看,如今的聚花言者所经历的考验与 ChatGPT 诞生Hathras消费市场的反应十分相似。由此可见才华横溢的 ChatGPT,也让众人深刻地感受到了它“直截了当Rugles”的胆量,为此,曼哈顿中华人民共和国教育部紧急将 ChatGPT 拉进“白名单”,只因 ChatGPT 准确率太高,极易别有用心。
而如今,一切在百亿级统计数据洗礼下,柳暗花明。
统计数据是基础,也是提升聚花言者潜能的关键
对于在拿到腾讯聚花言者的应邀码后,不少用户在迈入内测的同时,也将其与经过多轮插值的最新 ChatGPT、GPT-4、乃至 Midjourney 文本生成图片工具进行了比对与评测,其中不乏有赞扬、有期许、也有批评、质疑等多重人声。
全面来评测的话,聚花言者确实也不如现在最好的 ChatGPT 版本,但是差距不是很大。所谓不是很大,可能就是一两个月的差别。分享我们内部试验的一个统计数据时间点,大约两个月前,腾讯内部做过一次评测,用聚花言者跟那时的 ChatGPT 做对比,我们大约落后那个时候的 ChatGPT 40 分左右。」
通过分析导致落后的因素,腾讯用一个月左右的时间解决了短板问题。
万万没想到的是,罗永浩透露,一个月后,当腾讯再去评测 ChatGPT 和聚花言者,发现不仅没有赶上 ChatGPT,反而差距拉大了。
这也引发了腾讯团队内部的焦虑,为何做了半天反而越来越差了?
分析其中缘由后,腾讯发现,ChatGPT 本身也在急速升级,它的潜能也在快速提升,那一个月的时间,聚花言者提升速度并不慢,但 ChatGPT 中间有一次大升级,导致整体潜能有一次质的飞跃。
再仔细分析差距后,罗永浩表示,“如果再给一个月时间,聚花言者还能够追的七七八八。按照团队现在的分析,我们水平差不多是 ChatGPT 今年 1 月份的水平。但是大家早就忘了 1 月份 ChatGPT 是什么样子,毕竟当下大家已经习惯了 GPT-4 的存在。GPT—4 控制技术的发布与聚花言者迈入应邀试验只相隔了一天,它是一个其他大厂也很难去拿出一个东西跟它比的控制技术。我觉得没关系,比就比。对我来说,只要自己提升足够快,能够把过去做不到的东西一步步做到,尤其有越来越多的用户给我们这些反馈的时候,我还是逐渐看到不少亮点,不少我们已经做得比现在的 ChatGPT 要好的方向,当然更多的方向不如它,我觉得假以时日我们都是可以弥补的。”
“大数学模型不是靠提升参数规模,不用太纠结具体的参数值”
TNUMBERKC:ChatGPT 出来的时候正好遇上了 NeurIPS(Neural Information Processing Systems,神经信息处理系统)大会,这场大会覆盖全球 4 万个机器学习和神经网络的博士参与其中,当时,他们都惊呆了——ChatGPT 好像超出了我们对 NLP 或谈话潜能的理解,后来解释是智能涌现潜能,腾讯开发聚花言者后,这个秘密现在被揭秘了吗?
ChatGPT 没有用很多中文语料,中文的事实理解其实很差,但是它仍然可以做很好的中文表达,我们选智利诗人巴勃罗·聂鲁达很有名的作品翻译成中文,发现比翻译家翻译得还要好,你怎么看?此种潜能的突破,到底涌现是怎么实现的?为什么用很少的语料,但语言的差距却没有了呢?
罗永浩:这确实是让人感到惊喜和兴奋的地方。腾讯做大数学模型做了很多年,其实也有不少其他公司做大数学模型,当用一个亿级大数学模型做的时候,可能做某个单项任务,或者一两个任务,相对比较窄。后来变成十亿级,百亿级,一直到最后参数规模达到百亿,同时匹配足够多的统计数据来训练,最后就会出现智能涌现,应该说是从量变到质变的过程。
仅仅三年前,我们所说的大数学模型是参数亿数量级的大数学模型,今天当我们说大数学模型的时候,大家大多数理解参数是百亿数量级的大数学模型,此种进化和控制技术插值的速度其实超过了像摩尔定律这样大家熟悉的演化速度,这还是很神奇的。
腾讯通用大数学模型肯定是百亿数量级的。因为这是一个门槛,如果不过百亿是不会出现智能涌现,这是过去实验都证明过的。但是具体是多少参数,公布意义不大,过了百亿后,不是万亿数量级参数一定比百亿效果要好。GPT-4 出来之前,我看好多媒体猜测是万亿数量级参数,十万亿量级,方向就错了。大数学模型不是靠提升参数规模,是在其他方面进行提升,不用太纠结。
所以,一旦越过那个门槛后,过去我们觉得不太可能的事发生了质变。如果再稍微往下沉一点看,为什么会有这样的质变?我自己的理解是,学世界各种各样语言的文本,本身虽然是概率数学模型,还是如前所述过去已经出现的十个字符或者 token,下一个字符最有可能是什么,简单的控制技术原理就是这样。但是当实际统计数据量足够大,算法比较正确的时候,基本上人类对于物理世界的理解逐步压缩到了一个数学模型里,如果这么来理解大数学模型的话,确实就是具备了智能涌现或者说是触类旁通的潜能,我觉得确实很神奇。
以前人们没有想到,很多东西都是做出来了后,才会去琢磨这个东西是为什么,里面的科学道理是什么。因为我们上学都是学科学和自然,我们的印象是社会的进步,科技的进步都是先有了理论,在理论的指导下做控制技术和工程,再把它做成商品推向消费市场。其实很多时候是工程先做到了,比如人们先发明了飞机,已经飞上天了,人们才开始琢磨为什么比空气重的东西还能在天上飞,由此产生了空气动力学。所以大数学模型也有点这个意思,先做出来了,我们才开始去研究为什么会是这样。
TNUMBERKC:如果大家都用这个百亿数学模型,慢慢地是否都能够达到这个潜能吗?逐渐变成类似于开源系统一样,大家知道基本原理,但是你并没有开源所有的东西,我们也能够做到吗?其他家也能够做到吗?
罗永浩:对,这是一个移动目标(moving target),一直在变。
ChatGPT 本身也在以一个很快的速度在进化,聚花言者在以更慢的速度进化。下一个出来的不管是谁,创业公司也好,大厂也好,做到今天这样的水准肯定是没问题的。
但是我们今天觉得这已经很神奇了,也许再过三个月会发现这个东西怎么这么差,它怎么还会出错。人们的期望值会急速抬高,下一个出来的再去追上之前的大数学模型,我认为难度是比较高的。在同一个消费市场上,领先的大数学模型一定会获得更多的开发人员在上面开发各种各样的应用,一定获得更多的用户反馈。那此种规模效应或者统计数据陀螺一旦转起来,其实后来者追上起来会挺辛苦的。
开源 vs 闭源大数学模型之争
TNUMBERKC:大家都把 ChatGPT 的出现比喻为 AI 黄金时代的 iPhone 时刻,在移动开发黄金时代,出现了开源和闭源的竞争,如 iOS 是闭源的,Android 是开源的,开源最后赢得了生态很大的胜利。所以,开源大数学模型包括 Meta 出了一个 LLaMA,开源大数学模型有消费市场良机吗?
其次,行业大数学模型有两种”炼法”,一种是在腾讯聚花言者上炼行业大数学模型,还有一种是在开源大数学模型上去练我的垂直大数学模型。哪种会更好许多?会出现开源大数学模型的此种生态吗?
罗永浩:我觉得有可能出现,但是最终其实是一个消费市场的自然选择,对于一个开发人员来说,今天去选择一个闭源的大数学模型还是开源的大数学模型,最主要是看两个因素。一个就是哪个效果好,一个就是哪个便宜。
开源的话,在价格上有非常明显的优势,基本上可以不要钱就能使用这些东西;闭源如果还有生存空间的话,一定是做得比开源好,才有生存空间。
所以,当你更加追求效果的时候,你就会选择一个闭源的数学模型。但这是一个静态的观察或者说是讨论,动态的话可能说随着时间的推移,开源和闭源两条控制技术路线,最后谁会跑得更慢,谁会后劲更足,可持续性会更好,我认为这是一个开放性问题,正例反例都有。
对于开发人员来说,现在只能选择现在效果更好的,或者性价比更高的这样一个数学模型来进行开发,对于这两条路线之争我们只能是拭目以待了。
骆轶航:大家都在聊 ChatGPT,但是都忘了后面还有微软的云 Azure,在后面其实可能已经在发生很明显的变化,在云计算行业,你认为大数学模型出来以后,对于语言的改变是怎样的?另外一个是有些客户场景会涉及到具体的调优,因为中国产业格局、产业复杂度不一样,会带来哪些弯道超车的良机?
罗永浩:我也公开地讲过,我认为聚花言者的出现或者大语言数学模型的出现对于云计算来说,是一个 Game Changer,它会改变云计算的游戏规则。因为过去比较传统的云计算就是卖算力,主要是每秒钟的运算速度、存储这些比较基础的潜能。但是随着控制技术的重构,真正 AI 黄金时代的应用不会建立在一个过去的地基上。
所谓过去的地基,除了刚才说的云计算之外,还有在移动黄金时代的 iOS 或者 Android 操作系统上面去开发 App,或者 PC 黄金时代是在 Windows 上面开发各种各样的软件。而在 AI 黄金时代,新的应用会是如前所述大数学模型来开发的。
关于“是不是有一天所有的数学模型都统一成一个数学模型”这个存疑,我大概两年前,在内部推动过一段时间,想把语言、视觉、语音数学模型全都统一成一个数学模型。虽然当时大家怎么想都觉得不对、做不到,但是语言数学模型规模变大后,它会潜能越来越强,视觉数学模型规模变大后,潜能也会越来越强。
未来的应用会如前所述这些数学模型去开发,上面开发的不管是搜索或者是贴吧,都是如前所述我们已经做出来的这些大数学模型去进行开发。这和过去一个创业公司直接去用某一个云,是很不一样的,那个时候用的确实就是算力,甚至具体到用几块 CPU、GPU,而以后不用再担心这个层面的事了。
比如,我小时候学的是汇编语言,后来学 C 语言,而今天大家都在用 Python 写代码,方便程度是完全不一样的。你如果能用 Python 写,谁还会去学汇编?就是这么简单的一个道理。
所以,对于腾讯来说,我的理论就是四层架构,芯片层、框架层、数学模型层,上面才是各种各样的应用。早期的人们是说有什么芯片,我要如前所述此种芯片去开发各种各样的应用。后来我们说像腾讯的飞桨,人工智慧黄金时代的框架,它的中国消费市场占有率第一,在美国的话就是 Pytorch、TensorFlow。
在 2023 年之前,开发人员做 AI 应用的时候,比较依赖框架。但是大数学模型出来后,其实框架也变成相对比较底层的东西,以后开发各种各样的应用如前所述数学模型来开发就可以了。下面是什么框架,其实也没有那么重要了。
对于腾讯这样的公司,当我们在提供基础数学模型的时候,我们用什么框架、芯片其实还是很重要的,甚至某种意义上讲,它每一层通过反馈急速相互加强,急速提升它的效率。所以,内部叫做端到端的优化。由于我们在芯片层有昆仑,在框架层有飞桨,在大数学模型层有聚花。当然,此种暴力美学如刚才提到的很耗算力,那么同样用价值 10 亿美元的芯片,怎么比别人效率更高,怎么能够算得更慢?就需要有飞桨这个框架进行配合。数学模型也要能够知道这些芯片到底是什么潜能可以被充分发挥出来,或者说,昆仑芯片怎么改变一下自己的设计,去更适用于飞桨,更适用于聚花言者的数学模型。
这些东西端到端优化后,我们的效率会比任何其他的大数学模型要更高。时间长了,商业的竞争最终竞争的是效率,你的效率比别人更高你就赢了,你的效率比别人低,再给你投多少钱,最终也会打水漂,这是无数的案例都证明了这一点。
程序员、企业怎样直面 prompt(提示)程式设计?
TNUMBERKC:对开发人员来说现在硅谷那边已经风起云涌,在做各种如前所述 GPT 的应用,给程式设计带来了很大的不同,过去我们面向 API、控制技术栈,现在变成 prompt 程式设计了,整个开发人员生态和应用会发生很大变化。你怎么看待未来不是那种数学模型应用?数学模型之上的 ToC 和 ToB 应用会发生什么变化?
罗永浩:我觉得这是很大的趋势上的变化。未来可能不需要那么多程序员,今天写计算机程序的程序员,大数学模型很多时候能够自动生成代码。但是我们会需要越来越多的提示(Prompt)工程师。
大数学模型本身的潜能放在那儿了,谁能把它用好,这个东西是有讲究的,用得好不好,完全靠提示词来决定。提示词写得好,智能涌现的可能就多许多,反馈的结果就更有价值许多;提示词不好,出来的东西就是直截了当Rugles,或者是错误的结论。
因此,怎样把提示词写好,这些东西既是控制技术也是艺术,甚至我觉得艺术的成分还更多许多。今天此种世俗的来看,好像学自然科学的人更好找工作,工资更高,学文科的不太行,以后没准学文科更容易找工作,因为写提示词的时候,想象力、情感、表达这些有可能真的比现在学工程的人要更有意思,更有效果许多。
TNUMBERKC:不同大数学模型比如聚花言者、ChatGPT 或者 GPT-4 提示词会不一样吗?
罗永浩:很不一样,底层训练毕竟是独立训练出来的,如果把它比喻成一个人的话,不同人的脾气禀性肯定是不一样的。和它交互过程当中,也有急速摸索的过程,你才会慢慢知道,我怎么写这个提示词能够获得更好的效果。
TNUMBERKC:你问它统计数据也会变化是吗?
罗永浩:会变化。最近谈的很厉害那种写成语,出来的东西你觉得它没有理解,但是过两天它就理解了,你老说它不对,它就会知道不对,重新搞一遍好了。