本文是新浪微博新技术研发负责人、中国中文信息学会理事张俊林在知乎问题「OpenAI 发布 GPT-4，有哪些技术上的优化或突破？」下的回答，总结了 GPT4 技术报告里指出的三个方向，还提及了两个其它技术方向。

    在这个历史性的时刻，回答个问题，留下自己作为历史见证人的足迹。

    GPT4 的技术报告里很明确地指出了三个新的方向：

    第一，LLM 最前沿研究的封闭化或小圈子化。技术报告里说了，出于竞争以及安全等方面的考虑，未公布模型规模等技术细节。从 GPT 2.0 的开源，到 GPT 3.0 的只有论文，再到 ChatGPT 连论文也没有，直到 GPT 4.0 的技术报告更像效果评测报告。一个很明显的趋势是，OpenAI 做实了 CloseAI 的名号，之后 OpenAI 的 LLM 最前沿研究不会再放出论文。

    在这个情形下，其它技术相对领先的公司有两种选择。一种是做更极致的 LLM 开源化，比如 Meta 貌似选择了这条道路，这一般是竞争处于劣势的公司作出的合理选择，但是往往相关技术不会是最前沿的技术；另外一种选择是跟进 OpenAI，也选择技术封闭化。Google 之前算是 LLM 的第二梯队。但在 " 微软 +OpenAI" 的一顿组合拳下，现在局面有点狼狈不堪。GPT 4.0 去年 8 月就做好了，估计现在 GPT 5.0 正在炼丹过程中，这么长的时间窗口，结果 Google 都能落到目前这个局面，想想 Transformer、CoT 等非常关键的一些研究都是自己做出来的，竟沦落至此，不知一众高层作何感想。Google 在后面能快速跟进，维持在第二梯队应该问题不大，很可能比第三名技术也领先很多。出于竞争关系考虑，我猜 Google 大概率会跟进 OpenAI 走技术封闭的路线，最先进的 LLM 技术优先用来炼属于自己的丹，而不是写成论文放出来普惠大众尤其是普惠 OpenAI。而这很可能导致 LLM 最前沿研究的封闭化。

    从现在算起，国内在经过一阵时间后（要做到 ChatGPT 的 6 到 7 折应该比较快，要追平估计要较长时间），必然被迫进入自主创新的局面。从最近三个月国内的各种情况看，将来会如何？大概率不太乐观。当然，这个关肯定很难，但必须得过，只能祝愿有能力且有初心者尽力加油了。

    第二，GPT 4 技术报告里提到的 LLM 模型的 " 能力预测（Capability Prediction）" 是个非常有价值的新研究方向（其实之前也有个别其它资料，我记得看过，但是具体哪篇记不起来了）。用小模型来预测某些参数组合下对应大模型的某种能力，如果预测足够精准，能够极大缩短炼丹周期，同时极大减少试错成本，所以无论理论价值还是实际价值巨大，这个绝对是非常值得认真研究具体技术方法的。

    第三，GPT 4 开源了一个 LLM 评测框架，这也是后面 LLM 技术快速发展非常重要的方向。尤其对于中文，构建实用的中文 LLM 评测数据和框架具备特别重要的意义，好的 LLM 评测数据可以快速发现 LLM 目前存在的短板和改进方向，意义重大，但是很明显目前这块基本处于空白状态。这个对于资源要求其实没那么高，适合很多机构去做，不过确实是个辛苦活。

    除了 GPT 4 技术报告里明确指出的三个方向，因为最近 LLM 各方面新闻比较多，顺手再写两个其它技术方向。

    首先，斯坦福大学近在 Meta 的 7B 开源 LLaMA 基础上，加上技术构造的，也代表了一个技术方向。如果归纳下，这个方向可以被称为 " 低成本复现 ChatGPT" 的方向。所谓 Self Instruct，就是采取一定技术手段，不用人工标注 Instruct，而是从 OpenAI 的接口里，好听点叫 " 蒸馏 " 出 Instruct，也就是不用人标注，而是 ChatGPT 作为 teacher，给你的 Instruct 打上标注结果。这个把 Instruct 标注成本直接打到了几百美金的基准，时间成本就更短了。再加上模型 7B 规模也不大，所以可以看成一种 " 低成本复现 ChatGPT" 的技术路线。

    我估计国内早就有不少人采取这个技术路线了。毫无疑问，这是一条捷径，但是走捷径有好处有坏处，具体不展开谈了。在追赶 ChatGPT 的过程中，先把成本打下来去复现 ChatGPT 到七八成，我个人还是觉得可行也支持的，毕竟穷人有穷人的玩法。当然，追求把模型做小，效果又不怎么往下掉，如果能扎扎实实去做，是非常具有价值的。

    另外，毫无疑问会是 LLM 下一阶段的重点研究方向。这方面的代表就是前阵子 Google 放出来的。目前的 GPT 4，我们可以认为人类创造出了一个超级大脑，但还是把它封锁在 GPU 集群里。而这个超级大脑需要一个身体，GPT 4 要和物理世界发生联系、交流和互动，并在物理世界中获得真实的反馈，来学会在真实世界里生存，并根据真实世界的反馈，利用比如强化学习来学习在世界游走的能力。这个肯定是最近的将来最热门的 LLM 研究方向。

    多模态 LLM 给予了 GPT 4 以眼睛和耳朵，而具身智能给予 GPT 4 身体、脚和手。GPT 4 和你我发生一些联系，而依托于 GPT 4 本身强大的学习能力，这个事情估计很快会出现在我们身边。

    如果你细想，其实还有很多其它有前途的方向。我的个人判断是：未来 5 到 10 年，将会是 AGI 最快速发展的黄金十年。如果我们站在未来 30 年的时间节点，当我们回顾这 10 年时，我们中一定会有人，想起下面的诗句：" 懂得，但为时太晚，他们使太阳在途中悲伤， 也并不温和地走进那个良夜。"

资讯来源：知乎 作者：张俊林

原文链接：https://www.zhihu.com/question/589639535/answer/2937928726