ChatGPT伤风败俗年来，大词汇数学模型和Transformer基本上成了代名词，不过吗这般吗？
才刚，两个由儒者主导力量，一共27所理工学院、科学研究政府机构和子公司组成的开放源码科学研究项目组，联署刊登备受瞩目学术论文《RWKV：在Transformer的黄金时代再次发明者RNN》
RWKV是学术论文中明确提出的新广度自学数学模型构架，以循环式数学模型RNN为依据魔改而来。
事实上RWKV数学模型的开放源码正式发布比学术论文要早许多，因此早已在开放源码街道社区和金融行业内造成十分大声望。
其创办人彭博社在chan等网络平台也十分活耀。
在人类玩家打分的大数学模型匿名竞技场Chatbot Arena最新一期榜单中，RWKV在一众Transformer中排名第6，因此与7-11名相比拉开两个分数段。
因此RWKV也有在线Demo可玩。（地址在文末）
有意思的是，参与学术论文的EleutherAI实验室表示，学术论文还不是完全版本，由于不便公布的截止日期而被迫提前正式发布，以后还会继续完善。
那么就先来看一下，到目前为止RWKV项目组都做出了哪些成果。
时间复杂度比GPT低
RWKV设计灵感来自苹果21年的科学研究《An Attention Free Transform》，项目组意识到如果在公式中使用循环式矩阵（circular matrices）就可以将网络结构写成RNN。
与GPT系列的时间复杂度O(n^2)相比，RNN的时间复杂度只有O(n),空间复杂度是O(1)。
这意味着生成内容的速度不会随长度而夸张增涨，显存占用也是恒定的。
一作彭博社在接受36kr采访时曾这样形容：
GPT每写两个字就要再次看一遍前面所有文字，效率很低。而RWKV就相当于人类读了一遍资料后，在不再看资料的情况下直接回答。
传统RNN由于并行化的方式难以扩大规模，RWKV通过使每个通道的时间衰减与数据无关，可以在训练期间像Transformer一样做并行化。
训练好的140亿参数RWKV在多个数据集上的表现与开放源码Transformer大数学模型相当。
另外项目组指出RWKV并非没有缺陷，虽然大致与Transformer的性能匹配，但对提示更敏感，并难以整合十分长的信息。
物理出身现在卖灯的学术论文一作
RWKV背后是一支十分大的学术论文项目组，一共27家理工学院、科学研究政府机构和子公司共同组成，作者达30人。
学术论文一作Peng Bo，毕业于香港理工学院物理系，编程经验20+年，曾在世界最大外汇对冲基金之一Ortus Capital就职，负责高频量化交易。
还出版过一本关于广度卷积网络的书籍《广度卷积网络·原理与实践》。
在，尤其是小说生成。
目前，Peng Bo在Github有1.3k的followers，chan粉丝早已超过了11万人，随着RWKV学术论文的正式发布，这个数字还在增加。
瓜网友们最讶异的还是Peng Bo的身份之多样：
不仅仅是RWKV数学模型一作、元智能OS创办人，他的最主要公开身份是一家灯具子公司禀临科技的联合创办人，主要是做阳光灯、吸顶灯、便携台灯什么的。
乍一看这个跨行有点猛，物理出生，搞过量化金融，写了20年程序，然后主业卖灯，根据爱好搞了个大数学模型，走的还不是主流transformer路线……
因此Peng Bo本人应该是两个喵星人资深爱好者，Github、chan、微信头像，以及灯具子公司的官网首页、微博上，都有一只黄色橘猫的身影。
ps. 如果你也好奇RWKV这个词该怎么读，根据元智能OS项目组在播客《三五环》的读法，应该是“Rua库”
学术论文地址：https://arxiv.org/abs/2305.13048RWKV数学模型下载：https://huggingface.co/BlinkDL/rwkv-4-raven在线试玩：https://www.codewithgpu.com/i/app/BlinkDL/ChatRWKV/RWKV-4-Raven-7B
参考链接：[1]https://twitter.com/AiEleuther/status/1660811180901019648[2]https://zhuanlan.zhihu.com/p/618011122[3]https://36kr.com/p/2257744759205508[4]https://www.xiaoyuzhoufm.com/episode/645b68e0306513184c97034b
