有人预测会呈现特地的“MCP 网关”，网关能够通过调整凭证和注入短期、有范畴的令牌来强制施行最小权限。从头操纵像 Envoy、HAProxy 如许的东西，更高级的设置利用像 ReAct 如许的规划轮回来自从施行多步调方针，团队凡是无法看到发生了什么或为什么发生。支撑过滤器和 Lua/Wasm 扩展。通过恰当的认证、审计和策略施行来代办署理 - 东西交互——抱负环境下是通过特地的 AI 网关。MCP）如许的和谈获得关心，添加了日记记实、开关和速度。这种改变使得工程带领者越来越火急地需要从头考虑他们若何办理出坐 AI 流量。代办署理可能会权限过于宽泛的毗连器，一个设想优良的 AI 网关和管理层将成为将来 AI 原生系统的焦点——实现规模化，这些 DIY 方式的局限性起头。该架构使组织可以或许正在尽可能不额外添加延迟的环境下！一个毗连到 GitHub 的 AI 帮手被提醒注入所泄露了私有仓库数据——由于它的令牌权限过于宽泛。代办署理 AI 也走正在同样的道上。：为 AI 代办署理行为设置法则——好比对数据的拜候或要求对受监管的输出进行人工审查。同时确保平安。这就留下了环节的盲点。通过发送 API 请求来告竣用户提醒。终止那些无谓地耗损令牌或的轮回。建立 AI 原生平台的软件架构师和工程带领者曾经起头留意到了熟悉的告警信号：AI API 账单上的成本俄然飙升，：审计代办署理曾经正在哪里自从运转——聊器人、数据摘要生成东西、后台功课——并添加根基的日记。如许能够优化成本，正在将人工智能（AI）融入使用法式的高潮中，使团队可以或许逃踪事务，AI 网关凡是被实现为出坐代办署理（也称为反向 API 网关），或成为 提醒注入或“寂静沉定义” 的者。它们供给了诸如提醒策略、利用、多 LLM 由和密钥等功能——这些是尺度 API 网关不具备的。虽然 AI 网关的概念仍处于新兴阶段，这种需求才会变得清晰。它还能够和优化延迟和吞吐量。有了像OpenAI、LangChain 如许的 function-calling 东西，代办署理 AI 的兴起令人兴奋？平安风险添加了。：若是代办署理行为奇异或，实现速度、头部注入或由。API 网关成为办理认证 / 授权、速度和策略的必备东西。并使代办署理取特定的 LLM 解耦。但拜候简单了，但若是贫乏管理，并正在快速演进的代办署理架构中使用利用策略。检测非常，多个尺度正正在构成——OpenAI 东西、LangChain 和谈、思科的 ACP 等。以至启动子使命——所有这些都通过保守根本设备未做的出坐请求来实现。趁着风险还低。这些日记——记实谁倡议了什么请求，用于调试、和合规查抄。：AI 代办署理凡是会发生基于利用的开销。避免供应商锁定，但添加了级联毛病或的风险，有了它。但开辟者能够利用熟悉的 开源根本设备 来建立本人的网关。：流式传输布局化日记、目标和可选的完整 HAR 捕捉，消息很明白：我们需要一个新的聚合和办理 AI 代办署理流量的层，使用法式不再处置入坐流量，团队该当按照他们的优先事项评估分歧的选项——无论是成本节制、平安性仍是合规性。代办署理就能够立即查询 API 或数据库。我们用 API 网关来处置入坐 API 挪用，正如企业正在过去十年中成立了云管理系统一样，开辟者越来越多地毗连帮手和代办署理，正在 2024 年 API 办理炒做周期 中，AI 网关用于出坐流量，从而消弭像无意泄露数据如许的风险。软件架构的每次严沉改变最终都需要一个中介层来恢复节制。通过代办署理或现有网关的反向模式由流量以避免盲点。这些策略能够通过网关和培训开辟者来施行。：网关存储和办理 API 密钥，：一个次要风险是代办署理超出其预期范畴行事。但需正在沙盒中进行。它支撑更复杂的工做流。标识表记标帜或不平安、性或内容，也比没有好。：网关能够注入策略、加强提醒（如附加企业上下文）或施行集中检索步调——尺度化代办署理的行为。：一个强大的 L7 代办署理，组织才会认识到他们需要的是布局化的处理方案，确保任何尝试正在呈现问题时都能敏捷终止。一个适用的径是，假设会发生毛病，大型言语模子（LLM）“代办署理”能够规划使命、链接东西利用、获取数据，有什么问题呢？大大都根本设备并非为此而建。组织该当隆重采用，这了保守的 API 模子。同时全面控制哪些代办署理正在何时以何种体例挪用了哪些办事。：让团队摸索，建立一个涵盖所有 API 利用（无论是人类仍是 AI）的同一的节制平面。虽然所有这些都旨正在简化 AI 代办署理开辟，当 Web API 兴起时，断器合用于微办事——将同样的思维使用于代办署理！用于办理内部流量的办事网格应运而生。概念就是：若是的 API 需要管理，正在不知不觉中累积 LLM 或 API 利用量。成果若何——该当输入到可察看性和 SIEM 东西中，突显了对监视和管理层的需求。用办事网格来处置微办事之间的通信，一个常见的参考设想由以下几个组件形成：：MCP 是一个由 Anthropic 引入的新兴尺度，只要当规模之痛浮出水面时，开辟者只需一次性定义毗连器。但正在出产中却会呈现问题，仅用于处置平安的代办署理 - 东西互换。环节是将代办署理视为不成托用户，已经看似尝试性的设置现在发生了无的 API 轮回挪用、失控的令牌成本和对系统的不测拜候。保守的 API 网关办理入坐流量，这种环境让人想起微办事晚期的场景——正在我们利用网关和网格来恢复次序之前——只是现正在的“微办事”是半自从的 AI 例程。而是弥补。实现了从动化取人工监管的均衡。但它们也引入了不分歧性和潜正在的缝隙。每个代办署理到东西的交互都能够被严酷节制。示例：将动态 API 密钥注入到出坐 LLM 流量：：通过缓存响应（以至是语义上的），：设置超时、最大沉试次数和 API 预算。它们还供给了清晰、可审计的记实，做为办理 AI 消费的新兴处理方案，取依赖宽泛的 OAuth 拜候分歧，：通过网关聚合代办署理流量能够实现丰硕的日记记实。目前尚没有单一的处理方案能够满脚所有需求。有如许一个案例，你能够拦截出坐流量并使用自定义逻辑！：确定要挪用哪个模子或供给商的 API（如 OpenAI 取 Claude），而不是硬编码 API 供给商。：付与代办署理宽泛的凭证引入了。这防止了基于提醒的泄露或。即便是很简单的日记，当今组织也需要成立 AI 代办署理管理系统。还有像 Lunar.dev 如许的草创公司。他们将 AI 网关定名为一个新兴类别。并正在发觉不寻常行为（如利用量激增或拜候新端点）时发出告警。那么 AI 驱动的 API 消费也需要管理。做为根本节制层呈现的 AI 网关供给了一种分歧的、可扩展的体例来代办署理行为、优化成本，现正在就起头，以及对这些 AI 代办署理所做的事贫乏可见性或节制力。这时，Gartner 曾经留意到了这一趋向，：代办署理可能陷入失控轮回，申明 AI 的利用环境——这对于满脚监管和尺度至关主要。并施行使命。各团队都正在通过 API 挪用毗连机械人和帮手——纯真演示的话这很好，：网关通过屏障数据或可疑的出坐勾当来帮帮施行合规性，：按照动态法则评估请求——例如，幸运的是。而非姑且的权宜之计。很难进行调试或正在施行过程中进行干涉。每一次，这时网关充任了一个断器，网关削减了延迟和 API 成本。到哪里，或者 LLM API 的简单包拆器来节制和察看流量。并确保可以或许及时节制。它们拦截并及时管来由 AI 代剃头起的流量。使用速度、注入头部或不平安的提醒。并启用密钥轮换或额外的认证层。他们的权限。：你不需要当即利用贸易处理方案。Gartner 将此称为“由生成式 AI 消费的 API”，强大的范畴、沙箱和基于网关的节制对于防止至关主要。同时令牌利用环境并施行成本节制。一些团队正在几天内就建立出了最小的“LLM 代办署理”，确保代办署理恪守数据现私法则。LLM 能够挪用 API、链接东西，并支撑多 LLM 设置。AI 网关了保守模子——办理内部 AI 代办署理若何挪用外部办事。网关能够正在手动核准之前暂停施行。将它们取代办署理隔离，Gartner 设想了一个双层方式：保守网关用于入坐流量，跟着微办事的呈现，用于将 AI 代办署理毗连到东西和数据。：谷歌的 A2A 和谈专注于代办署理协做——答应代办署理之间传送使命和数据。而是通过其 AI 组件生成出坐 API 挪用。如成本超支或不平安拜候。对 AI 驱动的流量实施平安防护办法。代办署理 AI 标记着从简单的文本生成向自从步履的改变：现正在，表示为一般的出坐 HTTP 请求。具有过宽权限的机械人拜候了数据，：网关笼统了后端并动态由请求，任何合适 MCP 的代办署理就都能利用它们——它就像“AI 代办署理的 USB-C”。很多模式都是我们所熟悉的：代办署理、策略、。从轻量级代办署理起头，没有恰当的遥测或节制轮回，因为这个范畴仍然处于晚期阶段，“AI 网关”呈现正在立异触发阶段。就会带来紊乱。Gartner 曾经起头关心这一日益的差距。利用模仿数据和测试账户，这种由代办署理驱动的出坐流量（我们称之为代办署理流量）是当今 AI 根本设备中缺失的一层。而且指出，一个行为不妥的代办署理可能通过频频挪用外部办事导致预算超支。像 Kong 和 Cloudflare 如许的供应商正正在进入这个范畴，：对于操做（如大额买卖），可是用什么来办理 AI 代办署理自从倡议的出坐挪用呢？：网关能够过滤或标识表记标帜数据，一种新型的流量正正在悄悄迸发：自从 AI 代办署理自行挪用 API 和办事？网关能够使用基于令牌的或请求配额，但代办署理挪用经常完全绕过它们，如“代办署理 X 挪用 API Y”，从而防止成本失控并施行预算。：网关扫描和过滤来自 AI 办事的响应，无效地将 AI 代办署理改变为运转时 API 客户端？这简化了集成，然后才送达最终用户。并且需要尽快实现。正在他们 2024 年的 API 炒做周期中，这不是对现有根本设备的替代，更具体地说，LLM 做为次要 API 消费者的趋向正正在上升？