Vector aws_sns Sink 配置详解将日志事件发布到 AWS SNS 主题【免费下载链接】vectorA high-performance observability data pipeline.项目地址: https://gitcode.com/GitHub_Trending/vect/vectorVector 的aws_snssink 用于将可观测性事件发布到 AWS Simple Notification ServiceSNS主题是日志投递、事件扇出与多订阅者分发的常用出口组件。本文基于仓库中该 sink 的文档参考页 website/content/en/docs/reference/configuration/sinks/aws_sns.md 及其底层 CUE 元数据与 Rust 源码完整梳理aws_sns的组件能力、全部配置参数、可运行的配置示例、FIFO 主题的校验规则以及健康检查与发布链路的实现细节帮助你在生产中正确配置该 sink。组件概览与能力矩阵文档参考页的内容由 CUE 元数据驱动生成其权威数据源是 website/cue/reference/components/sinks/aws_sns.cue 和自动生成的配置字段定义 website/cue/reference/components/sinks/generated/aws_sns.cue。从这两份元数据可以确认aws_sns的核心属性组件类型sink开发状态为stable交付语义为at_least_once至少一次投递无状态stateful: false。支持的输入仅日志logs: true不支持 metrics 与 traces。这与源码一致——SnsSinkConfig::input只保留编码输入类型与DataType::Log的交集见 src/sinks/aws_s_s/sns/config.rs。端到端确认ACK支持acknowledgements: true。健康检查支持通过 SNS 的GetTopicAttributesAPI 验证目标主题可达。编码必须配置encoding支持的 codec 为json与textenabled: false的压缩项表明该 sink 不支持传输压缩。网络能力支持代理proxy: enabled: true与 TLS默认启用、按 scheme 启用、可校验证书与主机名。出站接口通过 HTTP 与 Amazon SNS API 交互SSL 为必选项。对应的 IAM 权限策略在元数据中声明为两条Action用途Publish发布消息到主题必需GetTopicAttributes健康检查仅 healthcheck 需要即最小权限配置下运行 Vector 的 IAM 主体需要对目标主题 ARN 同时具备sns:Publish与sns:GetTopicAttributes权限。完整配置参数aws_sns的配置由三部分构成topic_arn、区域/端点region与endpoint二选一并集、以及与 SQS sink 共享的BaseSSSinkConfig基础字段见 src/sinks/aws_s_s/config.rs。各参数说明如下字段定义来源website/cue/reference/components/sinks/generated/aws_sns.cue。核心参数参数必填类型说明topic_arn是string目标 SNS 主题的 ARN例如arn:aws:sns:us-east-2:123456789012:MyTopic或 FIFO 主题arn:aws:sns:us-east-2:123456789012:FifoTopic.fifo。源码对其施加了uri格式校验region否string目标服务的 AWS 区域例如us-east-1endpoint否string自定义端点用于 AWS 兼容服务如本地测试环境例如http://127.0.0.0:5000/path/to/serviceencoding是object编码配置决定事件如何编码为原始字节以及支持的输入类型codec 取json或textFIFO 主题专用参数参数必填说明message_group_idFIFO 主题必填指定消息所属的分组仅可应用于 FIFO 主题作为模板渲染message_deduplication_id否消息去重 ID 模板应渲染为每个事件唯一的字符串供 AWS 识别重复消息这两个字段在BaseSSSinkConfig中定义src/sinks/aws_s_s/config.rs校验逻辑见下文“配置校验与 FIFO 规则”一节。通用 AWS / 请求 / TLS 参数参数必填说明auth否与 AWS 服务交互的认证策略AwsAuthenticationrequest否出站请求中间件设置并发/速率限制、超时、重试行为文档明确重试退避遵循斐波那契序列tls否TLS 配置acknowledgements否控制该 sink 的确认方式可取布尔或对象形式文档元数据中给出的request默认展示值来源website/cue/reference/components/sinks/aws_sns.cue为速率限制rate_limit_duration_secs: 1、rate_limit_num: 5重试retry_initial_backoff_secs: 1、retry_max_duration_secs: 10请求超时timeout_secs: 30。可运行的配置示例SnsSinkConfig实现了GenerateConfig配合vector generate类命令输出示例配置仓库内内置的官方示例为src/sinks/aws_s_s/sns/config.rssinks: my_sns: type: aws_sns topic_arn: arn:aws:sns:us-east-2:123456789012:MyTopic region: us-east-2 encoding: codec: json对于 FIFO 主题配置必须补充message_group_id否则启动校验即失败sinks: my_fifo_sns: type: aws_sns topic_arn: arn:aws:sns:us-east-2:123456789012:FifoTopic.fifo region: us-east-2 message_group_id: {{ .host }} message_deduplication_id: {{ .message_id }} encoding: codec: json request: retry_initial_backoff_secs: 1 retry_max_duration_secs: 10 timeout_secs: 30 acknowledgements: true其中message_group_id、message_deduplication_id均按模板渲染源码中经UnconfinedTemplate解析见 src/sinks/aws_s_s/config.rs。在本地用兼容 AWS 接口的环境如 LocalStack做连通性验证时可以使用endpoint覆盖真实端点仓库集成测试的默认约定即是http://localhost:4566见 src/sinks/aws_s_s/sns/integration_tests.rssinks: local_sns: type: aws_sns topic_arn: arn:aws:sns:us-east-1:123456789012:MyTopic region: us-east-1 endpoint: http://localhost:4566 encoding: codec: json配置校验与 FIFO 规则从源码结构看aws_sns的校验入口是SnsSinkConfig::validatesrc/sinks/aws_s_s/sns/config.rs它做三件事调用共享的message_group_id()辅助函数以topic_arn.ends_with(.fifo)判定目标是否为 FIFO 主题将message_deduplication_id解析为模板校验encoding配置。message_group_id()的四象限逻辑src/sinks/aws_s_s/config.rs定义了明确的错误边界message_group_id主题类型结果配置了FIFO通过解析为模板配置了标准主题报错message_group_id is not allowed with non-FIFO queue.未配置FIFO报错message_group_id should be defined for FIFO queue.未配置标准主题通过单元测试直接覆盖了“FIFO 主题缺少message_group_id必须拒绝”的行为validate_rejects_fifo_without_message_group_idsrc/sinks/aws_s_s/sns/config.rs保证该规则在版本间稳定。健康检查与消息发布链路健康检查build阶段会同步构造健康检查闭包其实现就是对目标主题发起一次GetTopicAttributes调用src/sinks/aws_s_s/sns/config.rs。这也解释了为何元数据中GetTopicAttributes被标注为required_for: [healthcheck]——即使你不启用健康检查只要启用了默认的健康探测IAM 策略就必须包含该 Action。发布流程buildsrc/sinks/aws_s_s/sns/config.rs按如下链路组装 sinkcreate_client基于auth、region/endpoint、代理与 TLS 配置构造aws_sdk_sns::Client以topic_arn封装出SnsMessagePublisherSSRequestBuilder持有message_group_id/message_deduplication_id模板与编码配置负责把事件渲染、编码成单条消息体最终由SSSink事件流 sink驱动批量发送。真正的 AWS API 调用在 src/sinks/aws_s_s/sns/client.rssend_message将编码后的消息体作为message连同可选的message_group_id与message_deduplication_id一起提交给publish操作并记录本次发送的字节规模用于内部遥测。与测试体系的印证仓库为该 sink 提供了两类测试可作为“配置是否正确”的验证参考配置校验测试内联于 src/sinks/aws_s_s/sns/config.rs验证 FIFO 主题的message_group_id强制规则与常规主题的通过路径。集成合规测试src/sinks/aws_s_s/sns/integration_tests.rssns_send_message_batch测试在SNS_ADDRESS指定的本地端点默认http://localhost:4566上创建主题与 SQS 队列将队列以RawMessageDeliverytrue订阅到主题运行 sink 合规套件后从 SQS 侧取回消息并与输入行逐一比对证明端到端数据不丢失——这与文档声明的at_least_once交付语义相符。小结aws_sns是一个仅面向日志输入、支持端到端确认与健康检查的稳定 sink最小配置只需topic_arn、region与encodingFIFO 主题必须显式提供message_group_id需要本地调试时可用endpoint指向兼容服务。结合 website/cue/reference/components/sinks/aws_sns.cue 的元数据与 src/sinks/aws_s_s/sns/ 目录下的源码可以完整确认其配置语义、校验边界与发布链路便于在生产环境中按最小 IAM 权限PublishGetTopicAttributes安全接入。【免费下载链接】vectorA high-performance observability data pipeline.项目地址: https://gitcode.com/GitHub_Trending/vect/vector创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Vector aws_sns Sink 配置详解：将日志事件发布到 AWS SNS 主题
Vector aws_sns Sink 配置详解将日志事件发布到 AWS SNS 主题【免费下载链接】vectorA high-performance observability data pipeline.项目地址: https://gitcode.com/GitHub_Trending/vect/vectorVector 的aws_snssink 用于将可观测性事件发布到 AWS Simple Notification ServiceSNS主题是日志投递、事件扇出与多订阅者分发的常用出口组件。本文基于仓库中该 sink 的文档参考页 website/content/en/docs/reference/configuration/sinks/aws_sns.md 及其底层 CUE 元数据与 Rust 源码完整梳理aws_sns的组件能力、全部配置参数、可运行的配置示例、FIFO 主题的校验规则以及健康检查与发布链路的实现细节帮助你在生产中正确配置该 sink。组件概览与能力矩阵文档参考页的内容由 CUE 元数据驱动生成其权威数据源是 website/cue/reference/components/sinks/aws_sns.cue 和自动生成的配置字段定义 website/cue/reference/components/sinks/generated/aws_sns.cue。从这两份元数据可以确认aws_sns的核心属性组件类型sink开发状态为stable交付语义为at_least_once至少一次投递无状态stateful: false。支持的输入仅日志logs: true不支持 metrics 与 traces。这与源码一致——SnsSinkConfig::input只保留编码输入类型与DataType::Log的交集见 src/sinks/aws_s_s/sns/config.rs。端到端确认ACK支持acknowledgements: true。健康检查支持通过 SNS 的GetTopicAttributesAPI 验证目标主题可达。编码必须配置encoding支持的 codec 为json与textenabled: false的压缩项表明该 sink 不支持传输压缩。网络能力支持代理proxy: enabled: true与 TLS默认启用、按 scheme 启用、可校验证书与主机名。出站接口通过 HTTP 与 Amazon SNS API 交互SSL 为必选项。对应的 IAM 权限策略在元数据中声明为两条Action用途Publish发布消息到主题必需GetTopicAttributes健康检查仅 healthcheck 需要即最小权限配置下运行 Vector 的 IAM 主体需要对目标主题 ARN 同时具备sns:Publish与sns:GetTopicAttributes权限。完整配置参数aws_sns的配置由三部分构成topic_arn、区域/端点region与endpoint二选一并集、以及与 SQS sink 共享的BaseSSSinkConfig基础字段见 src/sinks/aws_s_s/config.rs。各参数说明如下字段定义来源website/cue/reference/components/sinks/generated/aws_sns.cue。核心参数参数必填类型说明topic_arn是string目标 SNS 主题的 ARN例如arn:aws:sns:us-east-2:123456789012:MyTopic或 FIFO 主题arn:aws:sns:us-east-2:123456789012:FifoTopic.fifo。源码对其施加了uri格式校验region否string目标服务的 AWS 区域例如us-east-1endpoint否string自定义端点用于 AWS 兼容服务如本地测试环境例如http://127.0.0.0:5000/path/to/serviceencoding是object编码配置决定事件如何编码为原始字节以及支持的输入类型codec 取json或textFIFO 主题专用参数参数必填说明message_group_idFIFO 主题必填指定消息所属的分组仅可应用于 FIFO 主题作为模板渲染message_deduplication_id否消息去重 ID 模板应渲染为每个事件唯一的字符串供 AWS 识别重复消息这两个字段在BaseSSSinkConfig中定义src/sinks/aws_s_s/config.rs校验逻辑见下文“配置校验与 FIFO 规则”一节。通用 AWS / 请求 / TLS 参数参数必填说明auth否与 AWS 服务交互的认证策略AwsAuthenticationrequest否出站请求中间件设置并发/速率限制、超时、重试行为文档明确重试退避遵循斐波那契序列tls否TLS 配置acknowledgements否控制该 sink 的确认方式可取布尔或对象形式文档元数据中给出的request默认展示值来源website/cue/reference/components/sinks/aws_sns.cue为速率限制rate_limit_duration_secs: 1、rate_limit_num: 5重试retry_initial_backoff_secs: 1、retry_max_duration_secs: 10请求超时timeout_secs: 30。可运行的配置示例SnsSinkConfig实现了GenerateConfig配合vector generate类命令输出示例配置仓库内内置的官方示例为src/sinks/aws_s_s/sns/config.rssinks: my_sns: type: aws_sns topic_arn: arn:aws:sns:us-east-2:123456789012:MyTopic region: us-east-2 encoding: codec: json对于 FIFO 主题配置必须补充message_group_id否则启动校验即失败sinks: my_fifo_sns: type: aws_sns topic_arn: arn:aws:sns:us-east-2:123456789012:FifoTopic.fifo region: us-east-2 message_group_id: {{ .host }} message_deduplication_id: {{ .message_id }} encoding: codec: json request: retry_initial_backoff_secs: 1 retry_max_duration_secs: 10 timeout_secs: 30 acknowledgements: true其中message_group_id、message_deduplication_id均按模板渲染源码中经UnconfinedTemplate解析见 src/sinks/aws_s_s/config.rs。在本地用兼容 AWS 接口的环境如 LocalStack做连通性验证时可以使用endpoint覆盖真实端点仓库集成测试的默认约定即是http://localhost:4566见 src/sinks/aws_s_s/sns/integration_tests.rssinks: local_sns: type: aws_sns topic_arn: arn:aws:sns:us-east-1:123456789012:MyTopic region: us-east-1 endpoint: http://localhost:4566 encoding: codec: json配置校验与 FIFO 规则从源码结构看aws_sns的校验入口是SnsSinkConfig::validatesrc/sinks/aws_s_s/sns/config.rs它做三件事调用共享的message_group_id()辅助函数以topic_arn.ends_with(.fifo)判定目标是否为 FIFO 主题将message_deduplication_id解析为模板校验encoding配置。message_group_id()的四象限逻辑src/sinks/aws_s_s/config.rs定义了明确的错误边界message_group_id主题类型结果配置了FIFO通过解析为模板配置了标准主题报错message_group_id is not allowed with non-FIFO queue.未配置FIFO报错message_group_id should be defined for FIFO queue.未配置标准主题通过单元测试直接覆盖了“FIFO 主题缺少message_group_id必须拒绝”的行为validate_rejects_fifo_without_message_group_idsrc/sinks/aws_s_s/sns/config.rs保证该规则在版本间稳定。健康检查与消息发布链路健康检查build阶段会同步构造健康检查闭包其实现就是对目标主题发起一次GetTopicAttributes调用src/sinks/aws_s_s/sns/config.rs。这也解释了为何元数据中GetTopicAttributes被标注为required_for: [healthcheck]——即使你不启用健康检查只要启用了默认的健康探测IAM 策略就必须包含该 Action。发布流程buildsrc/sinks/aws_s_s/sns/config.rs按如下链路组装 sinkcreate_client基于auth、region/endpoint、代理与 TLS 配置构造aws_sdk_sns::Client以topic_arn封装出SnsMessagePublisherSSRequestBuilder持有message_group_id/message_deduplication_id模板与编码配置负责把事件渲染、编码成单条消息体最终由SSSink事件流 sink驱动批量发送。真正的 AWS API 调用在 src/sinks/aws_s_s/sns/client.rssend_message将编码后的消息体作为message连同可选的message_group_id与message_deduplication_id一起提交给publish操作并记录本次发送的字节规模用于内部遥测。与测试体系的印证仓库为该 sink 提供了两类测试可作为“配置是否正确”的验证参考配置校验测试内联于 src/sinks/aws_s_s/sns/config.rs验证 FIFO 主题的message_group_id强制规则与常规主题的通过路径。集成合规测试src/sinks/aws_s_s/sns/integration_tests.rssns_send_message_batch测试在SNS_ADDRESS指定的本地端点默认http://localhost:4566上创建主题与 SQS 队列将队列以RawMessageDeliverytrue订阅到主题运行 sink 合规套件后从 SQS 侧取回消息并与输入行逐一比对证明端到端数据不丢失——这与文档声明的at_least_once交付语义相符。小结aws_sns是一个仅面向日志输入、支持端到端确认与健康检查的稳定 sink最小配置只需topic_arn、region与encodingFIFO 主题必须显式提供message_group_id需要本地调试时可用endpoint指向兼容服务。结合 website/cue/reference/components/sinks/aws_sns.cue 的元数据与 src/sinks/aws_s_s/sns/ 目录下的源码可以完整确认其配置语义、校验边界与发布链路便于在生产环境中按最小 IAM 权限PublishGetTopicAttributes安全接入。【免费下载链接】vectorA high-performance observability data pipeline.项目地址: https://gitcode.com/GitHub_Trending/vect/vector创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考