Cloudflare在10月2日的官方博客中宣布,通过AI Gateway推出Web Search API,首批合作伙伴包括Ceramic.ai、Exa和Linkup。这项能力面向需要获取实时互联网信息的AI应用,让AI智能体通过搜索寻找相关资料,并以实时信息作为回答依据。
博客用一个常见问题说明搜索的作用:AI智能体抓取实时网页时,往往先猜测网址,再调用工具获取页面;如果猜错,就可能收到404错误。网页搜索提供了另一条路径——先查询相关信息,而不是反复猜测页面地址。
按Cloudflare的介绍,将Web Search API直接接入推理流程后,应用可以把来自网页的新鲜、结构化片段注入模型上下文。这针对的是模型训练完成后知识停留在某个时间点的问题,适用场景包括近期事件、变化中的API和快速更新的新闻。
Cloudflare还以自身开发工具为例:AI智能体可能不了解其Birthday Week期间推出的新产品和功能,网页搜索则可用于检索最新文档及发布信息。这里补充的是模型可使用的上下文,而不是宣称模型本身的训练知识已经更新。
合作同时包含内容抓取要求。Cloudflare表示,合作伙伴已承诺遵守其爬虫标准:搜索提供商使用的爬虫必须符合开发者文档中公开列出的“Verified bots”要求,网页搜索响应必须包含指向被抓取内容所在位置的链接。公司将这些规则与网站所有者对内容使用的透明度和控制权联系起来。
