潘虹 丽翔 凹非寺
现职合作开发元老，总算禁不住他们出创业者了。
Georgi Gerganov，去年四月曾开放源码了llama.cpp工程项目，GitHub上已破二万隆哥蒙，要晓得Stable Diffusion也但是8.8k。
那个工程项目能让合作开发人员在没GPU情况下运转Meta的LLaMA数学模型，即使是在X3100派、MacBook上运转大数学模型也统统不尽然~
即使还赢得成功招揽了小扎的特别注意：Meta也在运转llama.cpp。
可能将虽然回响太好，那位小弟下定决心把另一面核心理念纯C词汇架构ggml拿出创业者：原先是二周前的本业工程项目。
在官宣前另一家子公司就早已赢得源自GitHub前CEONat Friedman、Y Combinator股权投资顾问Daniel Gross的种籽前股权投资。
最新消息一时间，为数众多合作开发人员赶过来恭贺。
其中不乏一些坚定的拥护者：ggml正在将大数学模型普及到边缘设备。
没过多久就有人建议：苹果应该将它收购了。（狗头）
llama.cpp作者创业者
ggml，是一个纯C词汇编写的张量库，可帮助合作开发人员在消费级硬件上运转大数学模型，GitHub隆哥蒙数达到4.4k。
虽然加速效果惊人，一下子收获了不少合作开发人员的支持。
By the way，ggml的gg恰好是他名字的缩写。
小弟他们的两个上万隆哥蒙的项目llama.cpp和whisper.cpp都使用了它。
后者是为OpenAI的Whisper自动语音识别数学模型合作开发的加速方案，可在Mac、Windows、Linux、iOS、安卓、X3100派以及web上运转。
△使用whisper.cpp在 X3100派上检测短语音命令
不少初创子公司，比如主打生活搜索引擎的rewind都使用了这套解决方案。
还有两个工程项目同时在终端上运转。
△在单个M1Pro上同时运转4个13B LLaMA+Whisper Small实例
根据个人介绍，ggml张量库具有以下这些特点：
支持 16bit 浮点数；支持整数量化（包括 4 位、5 位、8 位）；自动微分；内置优化算法（例如 ADAM、L-BFGS）；为苹果芯片设置特定优化；在 x86 架构上使用AVX / AVX2 Intrinsic；通过WebAssembly和WASM SIMD提供Web支持；无第三方依赖；运转时零内存分配；支持指导型词汇输出……
目前那个库以及相关工程项目都是免费开放源码，合作开发过程也全公开；当然也不排除合作开发授权给一些商业用途的工程项目。
用C/C++重写神经网络代码
而这另一面的合作开发元老Georgi Gerganov也值得说道说道。
他的个人网站十分简单直接，甩出各种开放源码工程项目，除此之外别无其他。可以看出，他是C/C++的狂热爱好者，信仰Vim。
此前，他曾用C/C++词汇重写神经网络推理代码，这样几乎不依赖于其他库，以此提升效率。至于llama.cpp也是他一晚上Hacking出的。
除此之外，他还有一些有意思的工程项目。
比如检查键盘是否可以通过麦克风窃听、猜Hacker News的标题，Wordle克隆版等等。
One More Thing
值得一提的是，另一面的这两个股权投资者也有点意思。
他们还专门给创业者者提供算力集群，只需在网站上申请即可。这波是在Next Level上了~
参考链接：
[1]https://ggerganov.com/[2]http://ggml.ai/[3]https://twitter.com/ggerganov— 完 —
量子位 QbitAI · 头条号签约
