chatGPT绝对是去年AI圈中的头等大事，其出现将一连串的AI术语推到了大众的眼前，例如自然语言处理（natural language processing）、通用人工智能（Artificial general intelligence )、语言模型（language model），其中，语言模型是解释chatGPT最核心的概念，或者说，chatGPT就是一个语言模型。
语言模型是如何生成的呢？简单地说，就是收集一大堆文本（例如维基百科的所有文章），喂给某个程序，这个程序不停地学习这些文章，例如怎么给定上文写下文，做完形填空，直到程序在这些任务上的表现让程序员满意，这个程序就可以当作一个语言模型来使用了。这么看来，语言模型只要有程序员就能做，那是不是除了openAI之外的其他大中小厂都能做，是不是我们很快就能看到chatGPT的竞争者？
事实上竞争者已经出现。其中之一就是由清华大学知识工程实验室主导的GLM-130B。GLM是General Language Model的缩写；130B，是130 billion的缩写，1300亿，是该语言模型的参数数量（整个语言模型完整下载，是240G）。
该语言模型有以下优点：
● 双语：同时支持中文和英文。
● 高精度（英文）：在 LAMBADA 上优于 GPT-3 175B（+4.0%）、OPT-175B（+5.5%）和 BLOOM-176B（+13.0%），在 MMLU 上略优于 GPT-3 175B（+0.9%）。
● 高精度（中文）：在 7 个零样本 CLUE 数据集（+24.26%）和 5 个零样本 FewCLUE 数据集（+12.75%）上明显优于 ERNIE TITAN 3.0 260B。
● 快速推理：支持用一台 A100 服务器使用 SAT 和 FasterTransformer 进行快速推理（提速最高可达 2.5 倍）。
● 可复现性：所有结果（超过 30 个任务）均可通过我们的开源代码和模型参数轻松复现。
● 跨平台：支持在 NVIDIA、Hygon DCU、Ascend 910 和 Sunway 处理器上进行训练与推理。
上述官方宣称的优点中，有两点至关重要：
1. 开源，这意味着成本大大降低，不需要给OpenAI支付知识产权的费用了。
2. 使用成本低，只要一台A100服务器（8张显卡，每张40G显存）就能把玩。一台配备8张显卡的A100服务器，按某云平台的租用报价，是9美元/小时。
不过，上面这些优点和实惠，其成本也是实打实的。他们说到正式训练（前面还有许多的实验）该语言模型的时长和配置：
“从 5 月 6 日开始在 96 台 A100（40G*8）服务器上启动了 GLM-130B 模型的训练......整个训练过程横跨两个月。”
姑且让我们按9美元/小时的租用费用来计算，这2个月的服务器成本都在15万5520美刀了；假如这还不算贵，或许还能将人力成本算进去，科研人才的价值，才是最硬的。
当然，除了清华大学外，国内还有多家大模型出街。我们接下来也会逐步向大家介绍各家的大模型能力和特点。
当下使用我们的产品 https://kua.ai，可以迅速创造出带来流量增加转化的内容。未来也可以通过我们，深度体验到不同大模型在内容制造方面的特点和能力。
PS: 本文由稳住（我们的算法科学家）撰写，并非AI生成。
标题图片来源
1. kua.ai 文案工具中输入：“描述一个语言大模型的场景，数字化，科技化，气氛激烈一点，图中必须包含一台挖掘机。英文，100字“
2. 获得 描述：In this scene, technology and digitalization are in full force with a mining machine at the center of it all. The atmosphere is intense, with sparks of electricity crackling through the air as the machine dives into the ground. Data streams around it, making calculations and analyses in an instant. In the background, people work diligently to keep this massive machine running and up to date, while also ensuring its safety. The power of the language model is evident here, and it is clear that the future of technology lies in its hands.
3. 依据上述输入，在我们的AI作图工具中随机生成图片。该工具即将上线。
加入社群
