如何在 VPC 私网部署 SIEM on Amazon OpenSearch ServiceAWS CDK 高级部署完整教程【免费下载链接】siem-on-amazon-opensearch-serviceA solution for collecting, correlating and visualizing multiple types of logs to help investigate security incidents.项目地址: https://gitcode.com/gh_mirrors/si/siem-on-amazon-opensearch-serviceSIEM on Amazon OpenSearch Service 是一套开源的日志安全分析解决方案它能把来自多个 AWS 账户的 CloudTrail、VPC Flow Logs、GuardDuty 等多种日志自动采集、归一化并可视化帮助安全团队快速调查安全事件。对于有严格合规要求的企业把 OpenSearch 域部署在 VPC 私有子网中是常见需求。本文将手把手教你使用 AWS CDK 完成 VPC 私网部署从环境准备、配置cdk.json到最终上线全程只需约 30 分钟。为什么要把 SIEM 部署在 VPC 私网默认的 CloudFormation 快速部署会把 OpenSearch 域暴露在公网仅靠 IP 白名单控制访问。而 VPC 私网部署有以下优势更强的安全隔离OpenSearch 域只对 VPC 内资源开放不暴露公网端点满足合规审计符合金融、政务等场景对数据不出私网的硬性要求无公网流量成本Lambda 通过 VPC 端点直连 OpenSearch不走公网SIEM on Amazon OpenSearch Service 的 CDK 部署逻辑集中在source/cdk/app.py和source/cdk/mysiem/aes_siem_stack.py它会根据cdk.json中的vpc_type自动决定是新建 VPC还是导入现有 VPC。如上图所示各 AWS 服务的日志先落入 S3 日志桶再由es-loaderLambda 函数完成 ETL 归一化、GeoIP 与威胁情报富集最终写入 OpenSearch 域并通过 OpenSearch Dashboards 可视化。VPC 私网部署的前置条件清单 ✅开始前请确认以下条件全部满足条件说明EC2 跳板机运行 Amazon Linux 2023至少 2 GB 内存用于执行 CDKIAM 权限给 EC2 附加管理员权限角色私有子网部署目标是私有子网不支持公有子网可用区数量子网必须分布在3 个不同可用区每个 AZ 只部署一个实例DNS 设置VPC 必须同时启用DNS hostnames和DNS resolution第一步克隆源码并构建 Lambda 部署包 首先登录 EC2 终端获取项目源码export GIT_ROOT$HOME cd ${GIT_ROOT} sudo dnf install -y python3.14 python3.14-devel python3.14-pip git jq tar git clone https://gitcode.com/gh_mirrors/si/siem-on-amazon-opensearch-service.git接着设置环境变量并构建 Lambda 部署包es-loader等函数依赖第三方库需要先本地打包export CDK_DEFAULT_ACCOUNT你的AWS账户ID export AWS_DEFAULT_REGION部署区域如 ap-northeast-1 cd ${GIT_ROOT}/siem-on-amazon-opensearch-service/deployment/cdk-solution-helper/ chmod x ./step1-build-lambda-pkg.sh ./step1-build-lambda-pkg.sh然后一键安装 AWS CDK 运行环境脚本会安装 nvm、Node.js、Boto3 和 AWS CDK CLI见step2-setup-cdk-env.shchmod x ./step2-setup-cdk-env.sh ./step2-setup-cdk-env.sh source ~/.bashrc第二步配置 cdk.json 实现 VPC 私网部署 ⚙️进入 CDK 目录并完成 bootstrapcd ${GIT_ROOT}/siem-on-amazon-opensearch-service/ source .venv/bin/activate cd source/cdk cdk bootstrap $CDK_DEFAULT_ACCOUNT/$AWS_DEFAULT_REGION关键一步来了复制 VPC 专属配置模板并编辑cp cdk.json.vpc.sample cdk.jsoncdk.json.vpc.sample是官方提供的 VPC 部署样例核心配置项如下配置项说明vpc_typenew表示新建 VPCimport表示使用现有 VPCnew_vpc_nw_cidr_block新建 VPC 的网段如172.30.0.0/24new_vpc_subnet_cidr_mask子网掩码为可扩展性建议/27或更大imported_vpc_id现有 VPC 的 ID如vpc-abcd1234imported_vpc_subnets现有 VPC 中 3 个不同可用区的私有子网 IDaes_domain_nameOpenSearch 域名称默认aes-siemkms_cmk_aliasKMS 客户管理密钥别名默认aes-siem-key新建 VPC 的推荐配置vpc_type设为new并把new_vpc_subnet_cidr_mask设为26这样会自动创建 3 个 AZ 的隔离私有子网PRIVATE_ISOLATED无 NAT 网关资源天然不出公网。配置完成后用下面的命令验证 JSON 语法输出无报错即通过cdk context --j第三步执行 cdk deploy 完成 VPC 私网部署 验证通过后直接执行部署命令cdk deploy部署约需 30 分钟。如需自定义参数可像这样追加--parameters支持重复使用cdk deploy \ --parameters AllowedSourceIpAddresses10.0.0.0/8 192.168.0.1 \ --parameters SnsEmailsecurity-alertexample.com常用参数说明AllowedSourceIpAddresses允许访问 OpenSearch Dashboards 的 IP 网段多个用空格分隔DeploymentTargetopensearch_managed_cluster默认或opensearch_serverlessSnsEmail安全告警接收邮箱通过 SNS 推送ReservedConcurrencyes-loader 最大并发数默认 10日志积压时可调大VpcEndpointId可选指定已创建的 OpenSearch VPC 端点后部分 Lambda 会一并部署进 VPC部署期间 CDK 会自动创建 S3、SQS、SSM、STS 的 VPC 端点对应CreateS3VpcEndpoint、CreateSqsVpcEndpoint等参数默认true确保 Lambda 在私网内也能访问这些服务。第四步部署后的验证与配置 部署完成后在 CloudFormation 控制台找到aes-siem堆栈的Outputs标签页即可获得 OpenSearch Dashboards 的访问地址、用户名和密码。首次登录时选择Global租户即可直接使用预置的仪表盘。此时只要把日志放入aes-siem-账户ID-log这个 S3 桶es-loader 就会自动完成加载与归一化。以 VPC Flow Logs 为例你能在仪表盘中看到流量接受/拒绝统计、源 IP 地理分布等分析视图重要提醒请务必备份cdk.json和cdk.context.json后续升级 SIEM 需要它们。官方推荐备份到 SSM Parameter Storeaws ssm put-parameter \ --overwrite --type String \ --name /siem/cdk/cdk.json \ --value file://cdk.json常见问题排查 Q1cdk deploy报权限错误检查 EC2 是否已附加管理员 IAM 角色以及CDK_DEFAULT_ACCOUNT和AWS_DEFAULT_REGION是否设置正确。Q2导入现有 VPC 时校验失败确认 VPC 已启用 DNS hostnames 和 DNS resolution且填写的 3 个子网均为私有子网且位于不同可用区否则校验会直接报错退出。Q3日志加载有延迟在 CloudFormation 控制台调大ReservedConcurrency参数或参考docs/configure_siem.md中的索引调优建议。结语通过 AWS CDK你可以轻松将 SIEM on Amazon OpenSearch Service 部署进 VPC 私有子网在享受多日志自动采集与关联分析能力的同时满足最严格的安全合规要求。更多高级玩法多账户日志聚合、导入现有 S3 桶、Control Tower 集成等可查阅项目的docs/deployment.md官方文档。现在就动手试试吧【免费下载链接】siem-on-amazon-opensearch-serviceA solution for collecting, correlating and visualizing multiple types of logs to help investigate security incidents.项目地址: https://gitcode.com/gh_mirrors/si/siem-on-amazon-opensearch-service创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 如何在 VPC 私网部署 SIEM on Amazon OpenSearch Service？AWS CDK 高级部署完整教程
如何在 VPC 私网部署 SIEM on Amazon OpenSearch ServiceAWS CDK 高级部署完整教程【免费下载链接】siem-on-amazon-opensearch-serviceA solution for collecting, correlating and visualizing multiple types of logs to help investigate security incidents.项目地址: https://gitcode.com/gh_mirrors/si/siem-on-amazon-opensearch-serviceSIEM on Amazon OpenSearch Service 是一套开源的日志安全分析解决方案它能把来自多个 AWS 账户的 CloudTrail、VPC Flow Logs、GuardDuty 等多种日志自动采集、归一化并可视化帮助安全团队快速调查安全事件。对于有严格合规要求的企业把 OpenSearch 域部署在 VPC 私有子网中是常见需求。本文将手把手教你使用 AWS CDK 完成 VPC 私网部署从环境准备、配置cdk.json到最终上线全程只需约 30 分钟。为什么要把 SIEM 部署在 VPC 私网默认的 CloudFormation 快速部署会把 OpenSearch 域暴露在公网仅靠 IP 白名单控制访问。而 VPC 私网部署有以下优势更强的安全隔离OpenSearch 域只对 VPC 内资源开放不暴露公网端点满足合规审计符合金融、政务等场景对数据不出私网的硬性要求无公网流量成本Lambda 通过 VPC 端点直连 OpenSearch不走公网SIEM on Amazon OpenSearch Service 的 CDK 部署逻辑集中在source/cdk/app.py和source/cdk/mysiem/aes_siem_stack.py它会根据cdk.json中的vpc_type自动决定是新建 VPC还是导入现有 VPC。如上图所示各 AWS 服务的日志先落入 S3 日志桶再由es-loaderLambda 函数完成 ETL 归一化、GeoIP 与威胁情报富集最终写入 OpenSearch 域并通过 OpenSearch Dashboards 可视化。VPC 私网部署的前置条件清单 ✅开始前请确认以下条件全部满足条件说明EC2 跳板机运行 Amazon Linux 2023至少 2 GB 内存用于执行 CDKIAM 权限给 EC2 附加管理员权限角色私有子网部署目标是私有子网不支持公有子网可用区数量子网必须分布在3 个不同可用区每个 AZ 只部署一个实例DNS 设置VPC 必须同时启用DNS hostnames和DNS resolution第一步克隆源码并构建 Lambda 部署包 首先登录 EC2 终端获取项目源码export GIT_ROOT$HOME cd ${GIT_ROOT} sudo dnf install -y python3.14 python3.14-devel python3.14-pip git jq tar git clone https://gitcode.com/gh_mirrors/si/siem-on-amazon-opensearch-service.git接着设置环境变量并构建 Lambda 部署包es-loader等函数依赖第三方库需要先本地打包export CDK_DEFAULT_ACCOUNT你的AWS账户ID export AWS_DEFAULT_REGION部署区域如 ap-northeast-1 cd ${GIT_ROOT}/siem-on-amazon-opensearch-service/deployment/cdk-solution-helper/ chmod x ./step1-build-lambda-pkg.sh ./step1-build-lambda-pkg.sh然后一键安装 AWS CDK 运行环境脚本会安装 nvm、Node.js、Boto3 和 AWS CDK CLI见step2-setup-cdk-env.shchmod x ./step2-setup-cdk-env.sh ./step2-setup-cdk-env.sh source ~/.bashrc第二步配置 cdk.json 实现 VPC 私网部署 ⚙️进入 CDK 目录并完成 bootstrapcd ${GIT_ROOT}/siem-on-amazon-opensearch-service/ source .venv/bin/activate cd source/cdk cdk bootstrap $CDK_DEFAULT_ACCOUNT/$AWS_DEFAULT_REGION关键一步来了复制 VPC 专属配置模板并编辑cp cdk.json.vpc.sample cdk.jsoncdk.json.vpc.sample是官方提供的 VPC 部署样例核心配置项如下配置项说明vpc_typenew表示新建 VPCimport表示使用现有 VPCnew_vpc_nw_cidr_block新建 VPC 的网段如172.30.0.0/24new_vpc_subnet_cidr_mask子网掩码为可扩展性建议/27或更大imported_vpc_id现有 VPC 的 ID如vpc-abcd1234imported_vpc_subnets现有 VPC 中 3 个不同可用区的私有子网 IDaes_domain_nameOpenSearch 域名称默认aes-siemkms_cmk_aliasKMS 客户管理密钥别名默认aes-siem-key新建 VPC 的推荐配置vpc_type设为new并把new_vpc_subnet_cidr_mask设为26这样会自动创建 3 个 AZ 的隔离私有子网PRIVATE_ISOLATED无 NAT 网关资源天然不出公网。配置完成后用下面的命令验证 JSON 语法输出无报错即通过cdk context --j第三步执行 cdk deploy 完成 VPC 私网部署 验证通过后直接执行部署命令cdk deploy部署约需 30 分钟。如需自定义参数可像这样追加--parameters支持重复使用cdk deploy \ --parameters AllowedSourceIpAddresses10.0.0.0/8 192.168.0.1 \ --parameters SnsEmailsecurity-alertexample.com常用参数说明AllowedSourceIpAddresses允许访问 OpenSearch Dashboards 的 IP 网段多个用空格分隔DeploymentTargetopensearch_managed_cluster默认或opensearch_serverlessSnsEmail安全告警接收邮箱通过 SNS 推送ReservedConcurrencyes-loader 最大并发数默认 10日志积压时可调大VpcEndpointId可选指定已创建的 OpenSearch VPC 端点后部分 Lambda 会一并部署进 VPC部署期间 CDK 会自动创建 S3、SQS、SSM、STS 的 VPC 端点对应CreateS3VpcEndpoint、CreateSqsVpcEndpoint等参数默认true确保 Lambda 在私网内也能访问这些服务。第四步部署后的验证与配置 部署完成后在 CloudFormation 控制台找到aes-siem堆栈的Outputs标签页即可获得 OpenSearch Dashboards 的访问地址、用户名和密码。首次登录时选择Global租户即可直接使用预置的仪表盘。此时只要把日志放入aes-siem-账户ID-log这个 S3 桶es-loader 就会自动完成加载与归一化。以 VPC Flow Logs 为例你能在仪表盘中看到流量接受/拒绝统计、源 IP 地理分布等分析视图重要提醒请务必备份cdk.json和cdk.context.json后续升级 SIEM 需要它们。官方推荐备份到 SSM Parameter Storeaws ssm put-parameter \ --overwrite --type String \ --name /siem/cdk/cdk.json \ --value file://cdk.json常见问题排查 Q1cdk deploy报权限错误检查 EC2 是否已附加管理员 IAM 角色以及CDK_DEFAULT_ACCOUNT和AWS_DEFAULT_REGION是否设置正确。Q2导入现有 VPC 时校验失败确认 VPC 已启用 DNS hostnames 和 DNS resolution且填写的 3 个子网均为私有子网且位于不同可用区否则校验会直接报错退出。Q3日志加载有延迟在 CloudFormation 控制台调大ReservedConcurrency参数或参考docs/configure_siem.md中的索引调优建议。结语通过 AWS CDK你可以轻松将 SIEM on Amazon OpenSearch Service 部署进 VPC 私有子网在享受多日志自动采集与关联分析能力的同时满足最严格的安全合规要求。更多高级玩法多账户日志聚合、导入现有 S3 桶、Control Tower 集成等可查阅项目的docs/deployment.md官方文档。现在就动手试试吧【免费下载链接】siem-on-amazon-opensearch-serviceA solution for collecting, correlating and visualizing multiple types of logs to help investigate security incidents.项目地址: https://gitcode.com/gh_mirrors/si/siem-on-amazon-opensearch-service创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考