AI基础设施 AI原生

AI infra AI原生基础设施是支撑生成式AI应用的新一代技术栈融合了模型推理引擎数据检索组件和云原生技术为智能环境提供高效可扩展的运行环境AI infra的核心组件LLM模型与推理引擎向量数据库vector DBLLM应用编排连接LLM和vectorDB构建复杂工作流代表是langchainAIgateway负责客户端与后端LLM服务之间的流量和策略AIgateway支持统一模型接入多模型路由流量治理基于token使用量计费和费用控制并提供内容安全过滤会话状态维护流式响应等功能AIinfra各层流转路径用户请求流入AI网关进行治理身份认证内容审核流控等然后由应用编排层如langchain根据需要查询向量数据库获取知识并调用底层LLM推理引擎生成答案最后由网关响应流式传回用户AIinfra与传统云原生对比传统云原生多为无状态微服务易于水平扩展和快速启动AI工作负载通常是有状态的模型上下文KV缓存计算量大且耗时高且需要高性能计算支持对低延迟高吞吐量和连续计算有特殊要求云原生栈采用k8s调度容器服务网格治理服务间流量APIgateway网关管理北向接口AI场景下需要进行升级支持GPU等算力调度框架分布式训练机制针对模型推理的路由和负载均衡按token流量计费的策略云原生强调应用无状态化与数据库状态化解耦状态多存于数据库而AI较依赖于内存状态模型权重上下文缓存和大规模非结构化数据语料库向量知识库要求基础设施提供高效内存管理和管理能力云原生服务可支持快速扩容多副本分担流量LLM服务扩容则复杂的多还要考虑并发推理还要考虑昂贵的计算机资源云原生主要关注网络通信加密访问控制AI场景下gateway网关还要考虑内容安全权限治理行为审计复杂的多SDD规范驱动开发相比早期的vebicodingSDD更强调先指定规范再生成内容SDD开发流程规范制定规划设计任务分解实现与测试部署交付SDD开发的好处1.开发者角色变化从代码作者转为规范制定者与AI协作者2.质量与测试左移从事后调试转为事前规定即时验证AI应用的典型开发周期1.需求场景分析2.数据准备与知识库构建3.模型选择与推理架构配置4.提示设计与链路编排5.应用集成与部署上线6.监控反馈与持续改进AI编排的实质是让多个agent之间的协作变得高效可控且可观测AI编排器实现了这一点协调多个智能体工具上下文以流程化受控的方式实现目标AI编排器类似k8s的控制平面协调agent的生命周期上下文权限与安全其功能在于上下文协调在不同模型数据库工具之间交换信息安全与治理防止prompt注入限制敏感任务人机协同在关键结点引入人工监督agent生命周期管理定义创建部署监控优化mcp主要解决agent与工具之间的通信A2A主要解决agent之间的对话AI编排可分为三个层次确定有哪些步骤需要执行由哪些agent执行持续检查任务执行方向是否正确在必要时触发人类监督干预AI可观测性的核心挑战1.可靠性2.成本3.质量4.合规