有关ChatGPT的一些非专业认知

ChatGPT兴起后，我以最大热情去阅读论文和各种专业材料，包括反复请教大模型方向的的专家，对ChatGPT逐渐形成了一些基础认知。因为最近不少非AI专业的朋友对ChatGPT很感兴趣，今天分享出来希望能对大家有用。

一、ChatGPT不是聊天机器人

ChatGPT的内核是大语言模型（LLM，也称大模型），本质是“生成”（Generation），对话只是个表皮。所以ChatGPT用在其他领域，比如微软将其与办公软件结合（智能写邮件），与搜索引擎结合，这是再正常不过的事情。

也不要因为“生成”，而对AI开始惊讶。遮盖掉句子中的一个词，让AI进行填空也是“生成”，这种完形填空已经是AI领域里存在几十年的经典任务。只不过以前AI只需要根据上下文“猜出”中间那一个词，现在要“猜出”后面一堆的词，甚至形成一篇通顺的文章。

完形填空这个逻辑还能套用在AI作画上，遮掉一张人脸照片中的眼睛，AI可以凭借数学计算补上一双它想象出的眼睛。AI作画就是靠这样一点点地猜想，不断地做拼图，最后形成一张全新的画面。

二、ChatGPT不是突然冒出来的，而是学界持续研究的结果，是大模型路线的胜利

ChatGPT发展的根源是预训练模型的发展。预训练模型首先要归功于谷歌2017年提出transformer架构，爆发点是OpenAI在2020年提出的GPT-3，1750亿的超大参数带来了很多超乎想象的能力，AI开始能够写作文、写代码等，曾经引起科技圈的不少讨论。

预训练模型是AI的全新研究范式，能够让AI从传统任务型模型（一千个任务需要一千个模型，研发成本高），走向一个模型解决多种任务（先训练一个基础模型，然后再针对下游任务进行微调），大模型更是如此，其目标是one for all，一个模型解决所有任务，这就离通用人工智能不远了。

但不是所有人都看好大模型，暴力美学毕竟不太优雅，一些顶级AI学者在尝试其他道路，比如朱松纯一直在提倡小数据、大任务。他回国建立了北京通用人工智能研究院，其愿景和OpenAI极为相似，都是发展通用人工智能。

三、ChatGPT是伟大的AI产品，但未必是0-1的原始创新。

图灵奖得主杨立昆最近批评ChatGPT缺乏创新，虽然听起来有点酸，但也反映了一种重要的视角。对于AI研究者来说，真正的原始创新，是CNN、BP、GAN、Transformer这样的重大理论创新，他们构成AI的基石。

ChatGPT的伟大更多是工程上的，证明了大模型+HFRL（基于人类反馈的强化学习）的技术路线的成功。它既不是HFRL的提出者，那是谷歌在2017年提出来的；ChatGPT重点使用的强化学习算法PPO，也是业界的成熟算法。

杨立昆的批评其实也可以用于AlphaGo，很多人会把它当成AI的重大创新，当成AI行业的里程碑，其实它只是强化学习的一个应用，原始创新有限。（这里多说一句，腾讯跟随AlphaGo做了绝艺，那创新意义就更加有限了）

四、ChatGPT的成功背后，是OpenAI坚持走不寻常路。

谷歌基于Transformer做了BERT，直接改变了自然语言理解（NLU）这个领域，引起了多数AI研究者的跟随。但OpenAI另辟蹊径，不是去做理解，而是做生成（generation），所以有了GPT（Generative Pre-trained Transformer）系列模型。

从GPT-1到GPT-3，OpenAI做了两年多时间，用大力出奇迹的办法（GPT-3训练成本高达百万甚至千万美金），证明了大模型的可行性，参数从1.17亿飙升至1750亿，也似乎证明了参数越多大，AI能力越强。也因此，在GPT-3成功后，包括谷歌在内竞相追逐做大模型，参数高达惊人的万亿、甚至10万亿规模，掀起了一场参数竞赛。

但这时候，反而是OpenAI沉寂了下来，没有再推高参数，而是又用了近两年时间，将人类反馈和强化学习引入大模型。业界虽然也有人在做类似工作，将知识融入大模型，将强化学习引入大模型…但大都是试探性的，没有大手笔和坚持不懈的投入，因为这条技术路线一直未被有效证明。

Open AI延续大力出奇迹的方法，花费重金，用人工标注大量数据，从而跑通了这条技术路线。由于论文没有公开，我们目前无从知道标注量，但数量肯定是极大的，成本是极高的。可以佐证的是，Open AI这几年只有GPT、DALL等少数几个项目，但却花费了数亿美金，之前甚至遭到不少媒体的质疑。

五、ChatGPT现在暴露出来的问题，大多不是真问题

对ChatGPT的很多批评是，它生成的内容经常是不真实的，或者是带有偏见的，ChatGPT很有可能会污染互联网。作为一个技术进步主义者，我倾向于认为这样的指责除了展现批评者的道德优越感外，意义不大。因为AI技术一大特点就是它能够快速进步，昨天的问题到今天也许有些困扰，但到了明天就不是问题。

GPT-3出来时，曾经出现过一个广泛流传的质疑，如果你问它太阳有几只眼睛，它会回答一只或两只，批评者以此来证明GPT-3缺乏常识。GPT-3也经常出现一本正经的胡说八道的现象，离题万里或者内容经不起验证。

但在ChatGPT上，这些已不是大问题，它难免还是会出错，但大体还是较为合理、有根据的，它甚至拥有了自我纠正的能力。如果经常使用ChatGPT，还会发现，ChatGPT特别会讲政治正确的话，会搞平衡，避免歧视和偏见。比如当你问A和B谁更好时，它会回答说各有优势，这就是不断训练优化的结果。按照这样的速度发展，ChatGPT的理性完备程度会超乎想象。

当然，ChatGPT还是会被不当利用，比如一些学生拿去写作业造假，但很难算是ChatGPT的错……互联网的出现，让抄袭变得轻而易举，让低质量信息泛滥，我们也许会偶尔怀旧纸质时代，但不大可能回去。ChatGPT只是一个工具，如何利用好工具，这是人类要面临的问题，而不是工具本身的问题。何况，还有以魔法来对抗魔法，既然可以有ChatGPT生成内容，那同样可以有模型来做对抗性的检测。

ChatGPT无疑导致人员失业——这是技术进步必然带来的副产品，已经在人类历史中多次重演。ChatGPT注定会替代某些低水平、重复性的劳动，让一些岗位消失，但也会带来一些新的、更具创造性的岗位。从农业时代进入工业时代，再从信息时代进入AI时代，人类的工作和生活注定迎来巨变，我们需要积极拥抱变化，而不是期待回到过去。

六、中国企业没有做出ChatGPT，可以骂，但不值得鞭笞

中国在AI领域缺乏原始创新、跟随美国的确是现状，要分析原因能说出一大堆，但我们不必因此就妄自菲薄。

从全球来看，AI行业已经形成了一超一强的格局，一超指美国，一强指中国，其他国家不足道矣（虽然加拿大有Hinton，英国有DeepMind），因为只有这两个国家才形成了AI的全面研究和广泛的产业应用，这和互联网行业的发展紧密相关。当然，更是因为AI行业的极致开放，AI研究没有秘密可言，这才让AI技术发展迅速，日新月异在这里不是形容词，一些榜单成绩的刷新甚至以天来计算。

我们虽然没有第一个推出ChatGPT，但并不代表我们这方面的工作处于空白或者卡脖子状态（AI和芯片全然不同）。可以确定地说，中国版的ChatGPT的推出只是时间问题，几个月或者最多一年，因为我们已经在路上了。

ChatGPT的核心是GPT系列模型，中国一些企业已经打造出GPT-3水准的大模型，重点是要再加入SFT（Supervised Fine-Tuning）和HFRL。这固然不是容易的事情，但在技术路线已经被证明的情况下，肯定可以实现，别怀疑中国人的工程能力。

......

先写到这里，最后说说个人感想。

20年我刚入AI行业时，整个行业充满了悲观的论调，深度学习撞墙，AI泡沫即将破灭，尤其是以AI四小龙流血上市、大厂裁撤AI Lab标志，AI行业仿佛岌岌可危……但ChatGPT等AIGC技术在2022年的出现，一扫阴霾，AI仿佛新生，已成全民热议的话题。

我相信这种轮回还会不断出现，AI技术目前远远没有达到成熟的程度，AI产业还极为稚嫩。但这可能就是AI的魅力，当你以为AI技术不过如此、AI产业就是这个样子的时候，某一项AI技术的突破，忽然打开了新的天空，让外人看起来石破惊天。