亚马逊云科技推提示词优化工具，助力企业扩展 AI 降本增效！

助力生产环境中扩展 AI 的经济性分析师称该工具专注于自动优化提示词将帮助企业应对运营挑战特别是在生产环境中扩展生成式 AI 工作负载时面临的成本问题。Avasant 研究总监 Gaurav Dewan 表示企业对这类工具的需求是由扩展 AI 时的成本压力和运营复杂性共同驱动的而非单一因素。他还指出随着企业将生成式 AI 工作负载从实验阶段推向生产阶段推理成本迅速成为董事会层面关注的问题。当应用大规模运行时即使提示词效率有适度提升也能对运营成本产生显著影响。这位分析师进一步指出延迟也正成为一项关键指标尤其是对于面向客户的 AI 服务而言响应速度较慢会直接影响用户接受度提示词优化可以通过更系统地优化质量、延迟和成本而不是依靠反复试验在这方面发挥作用。此外Greyhound Research 首席分析师 Sanchit Vir Gogia 表示企业对多模型 AI 策略的采用不断增加也使得对自动提示词优化工具的需求日益增长。他说随着企业寻求根据成本、性能和治理要求在不同模型之间灵活转移工作负载多模型的采用正在加速而提示词优化对于确保应用和工作流能够在不同模型之间切换同时避免出现行为不一致或性能下降的情况正变得越来越关键。超大规模云服务提供商之间竞争加剧事实上在企业将生成式 AI 部署投入运营的过程中并非只有 AWS 着眼于提示词优化。谷歌云Google Cloud已在其 Gemini Enterprise Agent Platform 中提供了类似的提示词优化工具该工具可以使用评估数据集和指标自动优化提示词并在不同模型间进行基准测试而微软 Azure AI Foundry 则提供了类似的功能专注于企业 AI 应用的提示词编排、评估管道、变体测试和工作流基准测试。Gogia 认为超大规模云服务提供商之间竞争的加剧反映了一场围绕企业 AI 运营层控制权的更广泛竞争该运营层负责大规模地评估、监控、治理、优化、迁移、保障和管理 AI 系统。在他看来AWS 通过将多模型访问与提示词优化、评估、迁移支持和治理功能相结合将 Amazon Bedrock 定位为这一运营层。同时Gemini Enterprise Agent Platform前身为 Google Vertex AI正在利用其 AI 和分析生态系统微软 Azure AI 正在将 AI 治理融入企业软件工作流而 OpenAI 和 Anthropic 则在加强与自身模型生态系统紧密相关的以开发者为中心的评估和提示词工具。他补充说与此同时Databricks 和 Snowflake 等平台正在将 AI 可观测性和治理功能更紧密地嵌入企业数据环境而 LangSmith 等框架和 Promptfoo 等开源工具则吸引着寻求更高可移植性和模型中立性的企业。