Cloudflare推出新的AI工具，帮助客户部署和运行模型

为了抓住人工智能热潮，云服务提供商Cloudflare推出了一系列帮助客户在网络边缘构建、部署和运行AI模型的新产品和应用。

其中，一个名为Workers AI的新产品，它允许客户以按需付费的方式，访问由Cloudflare合作伙伴托管的附近的GPU，以运行AI模型。另一个名为Vectorize的产品提供了一个矢量数据库，用于存储由Workers AI生成的数据的数学表示，即矢量嵌入。第三个名为AI Gateway的产品提供指标，以帮助客户更好地管理运行AI应用的成本。

根据Cloudflare首席执行官Matthew Prince的说法，推出新的以AI为重点的产品套件是由于Cloudflare客户强烈希望获得更简单、更易于使用的AI管理解决方案，尤其是关注成本节省的解决方案。

Prince在电子邮件采访中表示：“市场上已经有的解决方案仍然非常复杂，需要将许多新供应商拼凑在一起，而且成本迅速增加。目前关于如何在AI上花费资金的见解也很少；在AI开支迅速增加的情况下，可观测性是一个重大挑战。我们可以帮助开发人员简化这些方面的所有工作。”

为此，Workers AI试图确保AI推断始终发生在距离用户最近（从地理角度来看）的GPU上，以提供低延迟的、由AI驱动的终端用户体验。利用ONNX（这是微软支持的中间机器学习工具包，用于在不同的AI框架之间进行转换）。Workers AI允许AI模型在带宽、延迟、连接性、处理和本地化约束方面最合理的地方运行。

Workers AI用户可以从目录中选择模型开始使用，包括大型语言模型（LLMs，如Meta的Llama 2）、自动语音识别模型、图像分类器和情感分析模型等。使用Workers AI，数据保留在其最初所在的服务器区域。用于推断的任何数据（例如输入给LLM或生成图像的模型的提示）不会用于训练当前或将来的AI模型。

Prince说：“理想情况下，推断应该在用户附近进行，以获得低延迟的用户体验。然而，设备并不总是具备执行大型模型（如LLMs）所需的计算能力或电量。与此同时，传统的集中式云通常距离最终用户太远。这些集中式云大多位于美国，这使得全球各地的企业复杂化，因为他们不愿意（或者法律上不能）将数据发送到其所在国家之外。Cloudflare提供了解决这两个问题的最佳方式。”

Workers AI已经有一个重要的供应商合作伙伴：AI初创公司Hugging Face。Hugging Face将优化生成式AI模型，以在Workers AI上运行，Cloudflare表示，Cloudflare将成为部署Hugging Face模型的第一个无服务器GPU合作伙伴。

Databricks是另一个合作伙伴。Databricks表示，将通过MLflow（用于管理机器学习工作流的开源平台）和Databricks软件市场，将AI推理引入Workers AI。Cloudflare将成为MLflow项目的积极贡献者，而Databricks将向在Workers AI平台上积极构建的开发人员推出MLflow功能。

Vectorize针对的是需要在数据库中存储AI模型的矢量嵌入的不同类型的客户。矢量嵌入是机器学习算法的构建块，用于应用程序，包括搜索和AI助手，它们是对训练数据的表示，具有更紧凑的形式，同时保留了数据的有意义的信息。

现在，矢量数据库并不是什么新鲜事物。初创公司如Pinecone以及AWS、Azure和Google Cloud等公共云巨头都提供了它们。但Prince声称，Vectorize受益于Cloudflare的全球网络，允许查询数据库发生在靠近用户的地方，从而降低了延迟和推断时间。

“作为一名开发人员，今天开始使用人工智能需要访问和管理大多数人无法访问的基础设施，”普林斯说。“我们可以从一开始就帮助使其成为更简单的体验……我们能够将这项技术添加到我们现有的网络中，使我们能够利用现有的基础设施并传递更好的性能和更好的成本。”

AI 套件的最后一个组件 AI Gateway 提供可观察性功能，以协助跟踪 AI 流量。例如，AI Gateway 密切关注模型推理请求的数量以及这些请求的持续时间、使用模型的用户数量以及运行 AI 应用程序的总体成本。

此外，AI Gateway 还提供了降低成本的功能，包括缓存和速率限制。通过缓存，客户可以缓存法学硕士对常见问题的响应，从而最大限度地减少（但可能不会完全消除）法学硕士生成新响应的需要。速率限制可以通过减少恶意行为者和大流量来更好地控制应用程序的扩展方式。

Prince 声称，凭借 AI Gateway，Cloudflare 是同等规模的少数几家让开发人员和公司只需为他们使用的计算付费的提供商之一。这并不完全正确——GPTCache 等第三方工具可以在其他提供商上复制 AI Gateway 的缓存功能，而包括 Vercel 在内的提供商将速率限制作为服务提供——但他也认为 Cloudflare 的方法比竞争对手的方法更加简化。

我们得看看情况是否如此。

Prince 表示：“目前，客户正在为大量未使用的虚拟机和 GPU 形式的闲置计算付费。” “我们看到了一个机会，可以抽象出当今与机器学习操作相关的大量繁琐工作和复杂性，并通过整体解决方案为开发人员的机器学习工作流程提供服务。””

参考链接：https://techcrunch.com/2023/09/27/cloudflare-launches-new-ai-tools-to-help-customers-deploy-and-run-models/