自从整合进ChatGPT后必应一路开挂,昨日,必应日活用户破亿的喜讯传开。微软野心不止于此,它希望ChatGPT融入各种软件生态,不禁加快了技术升级动作。就在当天,微软德国首席技术官 Andreas Braun 在一场会议上提到了将于下周发布GPT-4
自从整合进ChatGPT后必应一路开挂,昨日,必应日活用户破亿的喜讯传开。微软野心不止于此,它希望ChatGPT融入各种软件生态,不禁加快了技术升级动作。
就在当天,微软德国首席技术官 Andreas Braun 在一场会议上提到了将于下周发布GPT-4。ChatGPT 的内核即将从 GPT-3 升级为 GPT-4 ,参数规模可能并不会比 GPT-3 大很多,但关键细节是,GPT-4 是多模态的。
2023年3月9日的“AI in Focus - Digital Kickoff”的会议主题是介绍微软展示几款类如GPT一样牛逼的大型语言模型(LLM)产品的。
在展开对Azure-OpenAI 产品介绍时,由于 GPT-4 相关关注热情过高,微软德国首席技术官 Andreas Braun 对 GPT 的发布时间进行了回应:它快来了,下周。德国微软是 OpenAI 的重要合作伙伴,在关于GPT-4传言回应可以说是最接近官方的。从三月初 Kosmos-1发布以来,微软就再不断用 OpenAI 对多模态进行微调。Andreas Braun 提到了即将发布的数据,诸多信息在官宣前还要保密,但可以透露的是,GPT-4将是多模态的。之前就有业务消息流出,OpenAI 在 beta 测试版 GPT-4 中采用了更强大的大语言模型,相较前代 GPT-4 可能不会有参数量上的显著上升,但会在其他方向寻求提高,“OpenAI 也确实在开发一款通过文字能生成视频的 AI 模型”。这意味着,GPT-4 不单单可以生成文字,还可以生成语音,图像,视频。这对于 ChatGPT 只能够生成文本的进步幅度是显著的。本内容( LLM)的 ChatGPT 相比,Kosmos-1 属于多模态大型语言模型(MLLM),目前能同时理解文字与图像内容,GPT-4的多模态可谓令人期待。近两年的时间里,Chat GPT-1到GPT-4在目标和概念、使用的数据集、模型架构和实现细节历经了四次迭代。GPT-1 通过生成预训练(GPT-1)提高语言理解,但监督模型有两个限制——大量注释数据来学习通常不容易获得的特定任务;也无法概括自己所接受训练以外的任务。该模型显示了生成性预训练的力量,并为其他模型开辟了道路,这些模型可以通过更大的数据集和更多的参数更好地释放这种潜力。GPT-2 使用更大的数据集和向模型中添加更多参数以学习更强大的语言模型方面,但GPT-2对WebText数据集的拟合不足,需要减少困惑并使语言模型更好地理解自然语言。GPT-3 是少样本学习者语言模型,能够生成高质量的文本,但有时它会在制定长句子时开始失去连贯性,并一遍又一遍地重复文本序列。GPT-4 将能更准确地推断用户的意图。GPT-4 不需要比 GPT-3 大很多就可以更强大。语言模型的最大缺点之一是用于训练的资源。公司通常决定以较低的价格交换准确性,从而导致 AI 模型明显未优化。微软的 ChatGPT 对业内无疑是一条投进沙丁鱼群的鲶鱼,迅速引发了鱼群应激。行业老大哥谷歌手握类ChatGPT技术两年,由于发生了几次类如谷歌 Bard 聊天机器人公开演示中犯错导致股价大跌的事情后,团队变得过度谨慎,放缓了产品化和商品化进度,结果一次次被微软 OpenAI 抢先。OpenAI实力和运气都显得很好。选择去年11月底推出ChatGPT是个明智之举,22年初期演示的时候还是GPT-3.0,年底推出了GPT-3.5,3.0到3.5做了很多优化,例如CoT(思维链,Chain of Thought)能力,一经面世给了用户很多惊喜。昨日微软必应发布喜讯,称日活用户破亿。搜索领域一直被谷歌制霸,微软历经数年疲软,此次增长十分振奋士气。这让诸多厂家看到了希望,先是原来手握大语言模型主动权的谷歌和微软差点打起来;比尔·盖茨、埃隆·马斯克、英伟达CEO黄仁勋等大佬也紧密关注动向;国内Baidu、Alibaba、网易、360、字节等大厂争相布局;创投圈也都做着“一朝人工智障变人工智能”的美梦“看好就投”。就在昨日维科网人工智能还报道了美团王兴投资好友做GPT相关方向的创业。微软德国首席技术官 Andreas Braun 称微软在做的大语言模型是“游戏改变者”,它们教会机器理解自然语言,它将向着拥有人类的解释能力这一目标进步。微软目前运气不错,至于会不会被谷歌或后起之秀的厂商偷家?也许这波热浪稍微降温之后会看得更清楚,过热会盲判。