谷歌于 2023 年 5 月 10 日在 Google I/O 2023 上推出了下一代 Pathways Language Model (PaLM 2)。其新的大型语言模型 (LLM) 比其前身 (PaLM) 有很多改进，最终可能成为准备迎接其最大的竞争对手 OpenAI 的 GPT-4。
但是谷歌到底做了多少改进呢？ PaLM 2 是否是谷歌希望的差异化制造者，更重要的是，具有如此多的相似功能，PaLM 2 与 OpenAI 的 GPT-4 有何不同？
PaLM 2 与 GPT-4：性能概述
PaLM 2 比其前身具有新的和改进的功能。 PaLM 2 相对于 GPT-4 的独特优势之一是，它的尺寸更小，适用于某些没有那么多板载处理能力的应用程序。
所有这些不同尺寸的动物都有自己的小模型，分别称为壁虎、水獭、野牛和独角兽，壁虎是最小的，其次是水獭、野牛，最后是最大的独角兽。
谷歌还声称 WinoGrande 和 DROP 的推理能力比 GPT-4 有所提高，前者在 ARC-C 中以微弱优势领先。 但是，在 PaLM 和 SOTA 方面，全面有了显着改进。
根据谷歌 91 页的 PaLM 2 研究论文 [PDF]，PaLM 2 在数学方面也更好。 然而，谷歌和 OpenAI 构建测试结果的方式使得很难直接比较这两个模型。 谷歌也省略了一些比较，可能是因为 PaLM 2 的表现不如 GPT-4。
在 MMLU 中，GPT-4 得分为 86.4，而 PaLM 2 得分为 81.2。 HellaSwag 也是如此，其中 GPT-4 得分为 95.3，但 PaLM 2 只能达到 86.8，以及 ARC-E，其中 GPT-4 和 PaLM 2 分别获得 96.3 和 89.7。
PaLM 2 系列中最大的型号是 PaLM 2-L。 虽然我们不知道它的确切大小，但我们知道它比最大的 PaLM 模型小得多，但使用了更多的训练计算。 根据谷歌的说法，PaLM 有 5400 亿个参数，因此“明显更小”的 PaLM 2 应该有 10 到 3000 亿个参数。 请记住，这些数字只是基于谷歌在 PaLM 2 论文中所说的假设。
如果这个数字接近 1000 亿或以下，PaLM 2 的参数很可能比 GPT-3.5 小。 考虑到一个可能低于 1000 亿的模型可以与 GPT-4 并驾齐驱，甚至在某些任务上击败它，这令人印象深刻。 GPT-3.5 最初将一切都从水里吹了出来，包括 PaLM，但 PaLM 2 已经完全恢复了。
GPT-4 和 PaLM 2 训练数据的差异
虽然谷歌尚未公布 PaLM 2 训练数据集的大小，但该公司在其研究论文中报告说，新的 LLM 训练数据集要大得多。 OpenAI 在推出 GPT-4 时也采用了相同的方法，未对训练数据集的大小做出任何声明。
Google PaLM 2
然而，谷歌希望专注于对数学、逻辑、推理和科学的更深入理解，这意味着 PaLM 2 的大部分训练数据都集中在上述主题上。 谷歌在其论文中表示，PaLM 2 的预训练语料库由多个来源组成，包括网络文档、书籍、代码、数学和对话数据，使其得到全面改进，至少与 PaLM 相比是这样。
PaLM 2 的会话技能也应该在另一个层面上，考虑到该模型已经用 100 多种语言进行了训练，以使其具有更好的上下文理解和更好的翻译能力。
至于 GPT-4 的训练数据得到确认，OpenAI 告诉我们，它已经使用公开可用的数据及其许可的数据训练了模型。 GPT-4 的研究页面指出，“数据是一个网络规模的数据集，包括数学问题的正确和错误解决方案、弱推理和强推理、自相矛盾和一致的陈述，并代表各种各样的意识形态和想法。”
当 GPT-4 被问到一个问题时，它可以产生各种各样的回答，但并不是所有的回答都与您的查询相关。 为了使其与用户的意图保持一致，OpenAI 使用强化学习和人类反馈来微调模型的行为。
虽然我们可能不知道这些模型的确切训练数据，但我们知道训练意图非常不同。 我们将不得不拭目以待，看看这种训练意图的差异如何在实际部署中区分这两种模型。
PaLM 2 和 GPT-4 聊天机器人和服务
访问这两个 LLM 的第一个门户是使用他们各自的聊天机器人，PaLM 2 的 Bard 和 GPT-4 的 ChatGPT。 也就是说，GPT-4 在 ChatGPT Plus 的付费墙后面，免费用户只能访问 GPT-3.5。 另一方面，Bard 对所有人免费，并且在 180 个国家/地区可用。
这并不是说您也不能免费访问 GPT-4。 微软的 Bing AI Chat 使用 GPT-4，完全免费，向所有人开放，并且仅次于谷歌在该领域最大的竞争对手必应搜索。
Google I/O 2023 充斥着关于 PaLM 2 和生成式 AI 集成将如何通过 AI 功能改善 Google Workspace 体验的公告，这些 AI 功能将出现在 Google Docs、Sheets、Slides、Gmail 以及这家搜索巨头提供的几乎所有服务中。 此外，谷歌已确认 PaLM 2 已经集成到超过 25 种谷歌产品中，包括 Android 和 YouTube。
相比之下，微软已经将 AI 功能引入了 Microsoft Office 程序套件及其许多服务中。 目前，您可以在 AI 大战中正面交锋的两家竞争对手公司的类似产品中体验这两个 LLM。
然而，由于 GPT-4 很早就出现了，并且一直小心避免谷歌在最初的 Bard 上犯下的许多错误，它实际上已经成为第三方开发人员、初创公司以及几乎任何其他想要合并的 LLM。 到目前为止，在他们的服务中有能力的 AI 模型。
这并不是说开发人员不会切换到或至少不会尝试 PaLM 2，但谷歌仍然需要在这方面追赶 OpenAI。 事实上，PaLM 2 是开源的，而不是被锁定在付费 API 后面，这意味着它有可能比 GPT-4 得到更广泛的采用。
PaLM 2 可以抗衡 GPT-4 吗？
PaLM 2 仍然很新，所以它能否与 GPT-4 抗衡还有待回答。 然而，鉴于谷歌所承诺的一切以及它决定使用的激进方式来传播它，看起来 PaLM 2 确实可以与 GPT-4 相媲美。
然而，GPT-4 仍然是一个非常有能力的模型，并且如前所述，在很多比较中都击败了 PaLM 2。 也就是说，PaLM 2 的多个较小型号赋予它无可辩驳的优势。 Gecko 本身非常轻巧，即使在离线状态下也可以在移动设备上工作。 这意味着 PaLM 2 可以支持可能难以使用 GPT-4 的完全不同类别的产品和设备。
人工智能竞赛正在加剧
随着 PaLM2 的推出，AI 主导地位的竞争已经升温，因为这可能是第一个与 GPT-4 对抗的有价值的对手。 随着一种名为“Gemini”的更新的多模态人工智能模型也在训练中，谷歌在这方面没有表现出任何放缓的迹象。
