ChatGPT于 2022 年 11 月 30 日发布，受到了热烈的关注和大量的抵制。人们很快就发现，人们想问人工智能的问题和他们问谷歌的问题一样，而ChatGPT往往无法给出答案。问题有很多。ChatGPT 的回复已经过时，没有引用消息来源，并且经常产生新的和不准确的细节。当时，华盛顿大学计算语言学实验室主任艾米丽·本德 (Emily Bender)表示，人工智能搜索是“星际迷航中的幻想，你拥有一台可以提出问题的全知计算机”。Perplexity 最初希望构建一个由人工智能驱动的文本到 SQL 工具。但公司的 Slack 渠道中开始酝酿一些不同的事情。

Perplexity 成立于 2022 年 8 月，这家初创公司偶然发现并竞相构建一个人工智能驱动的搜索引擎，该引擎每天更新并通过引用多个来源来响应查询。它现在每月拥有超过 1000 万用户，最近还获得了杰夫·贝佐斯 (Jeff Bezos) 的投资。“我认为谷歌是人类有史以来构建的最复杂的系统之一。就复杂性而言，它甚至可能超越飞向月球。”Perplexity.ai 联合创始人兼首席技术官Denis Yarats说道。

一开始，它是一个 Slack 机器人
Yarats 表示，Perplexity 最初希望构建一款由人工智能驱动的文本到 SQL 工具，让开发人员可以用自然语言查询和编写 SQL 代码。但公司的 Slack 渠道中开始酝酿一些不同的东西——一个将搜索与 OpenAI 的大型语言模型 (LLM) 结合起来的聊天机器人。然后，2022 年 11 月下旬，ChatGPT 上市，成为历史上增长最快的消费者应用程序，两个月内用户数量达到 1 亿。人们向 ChatGPT 提出各种各样的问题，其中许多问题它无法回答。但 Yarats 表示 Perplexity 的 Slack 机器人可以。“实际上，我们在两天内创建了一个简单的网站，并将其连接到 Slack 机器人的后端基础设施，然后将其作为有趣的演示发布，”Yarats 说。“老实说，效果不是很好。但考虑到有这么多人喜欢它，我们意识到其中有一些东西。”有一段时间，Perplexity 继续致力于其 Text-to-SQL 工具。它还创建了Twitter搜索工具 BirdSQL，让用户可以查找超具体的推文，例如“埃隆·马斯克 (Elon Musk) 给杰夫·贝索斯 (Jeff Bezos) 的推文”。但人工智能驱动的搜索引擎脱颖而出，并在几个月内成为该公司新的、艰巨的使命。

人工智能驱动的搜索如何成为可能？
这引出了一个明显的问题。Perplexity 是一家不到两年前由四人创立的公司（现已发展到大约 40 人），它是如何解决看似让人工智能在搜索方面变得糟糕的问题的呢？二十年来谷歌竞争对手的失败已经证明“体面”还不够好。这就是人工智能提供的捷径。检索增强生成（RAG）是该公司努力的支柱之一。RAG由 Meta、伦敦大学和纽约大学的研究人员发明，将生成式 AI 与“检索器”配对，“检索器”可以查找并引用向量数据库中的特定数据，该数据会传递给“生成器”以产生响应。“我确实同意 RAG [对于搜索很有用]，”AI 基础设施公司Weaviate的联合创始人兼首席执行官 Bob van Luijt 说道。“[RAG] 所做的是允许普通开发人员，而不仅仅是在 Google 工作的人员，无需太多麻烦即可构建此类 AI 原生应用程序。” 他指出，实现 RAG 的资源可以在 AI 开发者资源 HuggingFace 上免费获得。这导致了广泛采用。Weaviate 使用 RAG 帮助客户将人工智能代理的知识建立在专有数据的基础上。Nvidia 使用 RAG 来减少ChipNeMo中的错误，ChipNeMo 是一种旨在帮助芯片设计人员构建的人工智能模型。拉蒂默用它来对抗种族偏见并放大少数群体的声音。困惑让 RAG 转向搜索。但要使 RAG 发挥作用，模型必须有可检索的内容，而这里 Perplexity.ai 采用了更传统的搜索技术。该公司使用自己设计的网络爬虫（称为 PerplexityBot）来索引互联网。“当试图在最新信息（例如新闻）中表现出色时……我们无法每天或每小时重新训练模型，”Yarats 说。但以 Google 的规模抓取网络也是不切实际的。Perplexity 缺乏这家科技巨头的资源和基础设施。为了管理负载，Perplexity 将结果分割成“域”，这些域的更新程度或多或少是紧迫的。新闻网站每小时更新一次以上。另一方面，不太可能快速变化的网站每隔几天更新一次。
Perplexity 还利用了来自 Transformers 的双向编码器表示(BERT)，这是 Google 研究人员于 2018 年创建的一种 NLP 模型，该模型又被用来更好地理解网页。谷歌将 BERT 开源，为 Perplexity 等公司提供了在此基础上进行开发的机会。“它可以让你获得一个简单的排名。它不会像谷歌那么好，但也不错，”Yarats 说。

让谷歌陷入困境
但二十年来谷歌竞争对手的失败已经证明“体面”还不够好。这就是人工智能提供的捷径。“对于谷歌来说，有很多限制。最大的是广告。主页的空间非常优化。”
——DENIS YARATS，PERPLEXITY.AI 首席技术官

法学硕士非常擅长解析文本以查找相关信息——事实上，查找模式就是他们的全部工作。这使得法学硕士能够根据提示生成令人信服的文本，但它也可以用于有效地解析并呈现法学硕士检查的信息。您可以通过将 PDF 上传到 ChatGPT、Google Gemini 或 Claude.ai 来亲自尝试。法学硕士可以在几秒钟内获取文档，然后回答有关文档的问题。困惑本质上对网络也有同样的作用，并且从根本上改变了搜索的工作方式。它不会尝试对网页进行排名以将最佳页面放置在列表查询的顶部，而是分析排名良好的页面索引中提供的信息，以找到最相关的内容并生成答案。这就是秘诀。“你可以把它想象成法学硕士完成最终的排名任务，”亚拉茨说。“[LLM] 不关心 [SEO] 分数。他们只关心语义和信息。它更加公正，因为它基于实际的信息增益，而不是谷歌工程师出于任何原因优化的信号。”当然，这引出了一个问题：谷歌不能也这样做吗？

Yarats 表示，Perplexity 意识到对抗 Google 的难度，因此将重点放在搜索的“发行版头”上。Perplexity 不提供图像搜索、缓存旧网页、让用户将结果范围缩小到特定日期或时间，或者包含购物结果，仅举几个很容易被视为理所当然的 Google 功能。他还认为，谷歌将面临的问题不是与技术执行有关，而是与现有的、高利润的广告业务有关。“对于谷歌来说，有很多限制，”他说。“最大的是广告。主页的空间非常优化。您不能只是说，让我们删除此广告，然后我将显示答案。我们没有那个。我们可以进行实验。”