GPT-4是什么?
GPT-4,全称是Generative Pre-training Transformer 4,是OpenAI正在开发的一种语言生成模型。
GPT是Generative Pre-trained Transformer的缩写,即生成式预训练Transformer模型。
GPT-4是GPT 系列语言模型的第四次迭代,经过训练找出数十亿个模式,生成类似人类的文本,比如:推文、诗歌和计算机程序。
GPT-4功能
我们可以了解GPT-4的如下表现:
- GPT-4能够很好的进行文本的总结和加工,能够完成一些GPT-3.5做不了的文章总结任务,比如将一段文本总结为均由G开头字母组成的一句话,将一段文本总结成一段能够押韵的话语等。
- GPT-4的代码生成功能更加强大,能够用GPT-4实现一个Discord机器人,它通过先生成伪代码,然后根据伪代码一步一步实现具体功能。
- GPT-4可以接受图像输入,能够要求它对图片进行描述。
- GPT-4生成回答的文本长度大大增加,现在可以达到32000个tokens。
- 能够根据人类绘制的原型图草图生成HTML。这个功能真的是太强大啦。
GPT-4工作原理
GPT-4 毫无疑问是目前最强的文本生成模型,GPT 系列模型整体可以总结为下图:
GPT的工作过程可以简单分成四步:
第一步:输入处理:把输入转化成向量。
第二步:捕捉特征:把向量传递给Transformer模型,神经网络捕捉它们的特征和关系。
第三步:理解上下文:自注意力机制,使模型关注输入中的不同部分,理解它们之间的关系。
第四步:生成内容:根据已经生成的文本和输入,生成最可能的词。
ChatGPT和GPT-4的区别
非正式的对话中,GPT-3.5和GPT-4之间的区别可能不太明显。
但是当任务的复杂性达到足够的阈值时,差异就会显现出来——相比GPT-3.5,GPT-4更可靠、更有创造力,并能够处理比较微妙的指令。
为了理解这两个模型之间的差异,openai对多种基准进行了测试,包括模拟最初为人类设计的考试。
下面是这些考试的测试结果,可以看到 GPT-4的得分基本全部优于 GPT-3.5。