尧图网站设计 尧图网站设计YAOTU DESIGN
ARTICLE DETAIL

资讯详情

深耕网站设计与一线实操的经验洞察。

SIEM on Amazon OpenSearch Service 日志配置自定义实战:用 user.ini 修改索引轮转与命名

SIEM on Amazon OpenSearch Service 日志配置自定义实战:用 user.ini 修改索引轮转与命名 SIEM on Amazon OpenSearch Service 日志配置自定义实战用 user.ini 修改索引轮转与命名【免费下载链接】siem-on-amazon-opensearch-serviceA solution for collecting, correlating and visualizing multiple types of logs to help investigate security incidents.项目地址: https://gitcode.com/gh_mirrors/si/siem-on-amazon-opensearch-serviceSIEM on Amazon OpenSearch Service 是一套开箱即用的安全日志分析方案可自动把 CloudTrail、VPC Flow Logs、GuardDuty、WAF 等数十种 AWS 日志采集、归一化并写入 OpenSearch。但对很多运维同学来说默认的索引命名与轮转策略往往并不符合业务习惯。本文将带你通过修改 es-loader 的user.ini配置文件快速自定义索引轮转周期与索引命名规则全程无需改动任何代码。user.ini 是什么为什么它能覆盖默认配置es-loader 是 SIEM on Amazon OpenSearch Service 方案中负责日志 ETL 的核心 Lambda 函数它通过configparser读取配置文件来决定每个日志类型logtype如何解析、归一化并写入哪个索引。其配置读取顺序如下见 utils.py内置默认配置aws.iniLambda 挂载层中的/opt/user.ini部署时自动注入本地开发目录下的user.ini后读取的配置会覆盖先前的同名参数因此你只需要复制官方提供的 user.ini.sample 为user.ini在[DEFAULT]段或某个日志类型的专属段中写入自定义值就能覆盖默认设置。索引轮转的 5 种模式与默认值打开 aws.ini可以看到index_rotation支持以下取值取值索引命名示例适用场景autolog-aws-cloudtrail-000001交给索引状态管理ISM自动滚动适合长期归档yearlylog-aws-cloudtrail-2026日志量极小、按年归档monthlylog-aws-cloudtrail-2026-08默认值兼顾查询效率与索引数量weeklylog-aws-cloudtrail-2026-w33中高日志量周为单位轮转dailylog-aws-cloudtrail-2026-08-17日志量巨大便于按天清理索引名的拼接逻辑定义在 siem/init.py先取index_name追加index_suffix再根据index_rotation追加时间后缀。例如默认log-aws-cloudtrailmonthly最终得到log-aws-cloudtrail-2026-08。最快配置方法三步修改索引轮转要调整某个日志类型的轮转周期只需在user.ini中定位到对应日志类型的 section 并覆盖参数。以 CloudTrail 为例[cloudtrail] index_rotation daily index_suffix prod index_tz 08:00三步即可生效将 user.ini.sample 复制为user.ini在[cloudtrail]段添加上面的三行配置重新部署 es-loader LambdaCloudFormation 更新会自动打包并上传。部署后索引将变为log-aws-cloudtrail-prod-2026-08-17这样的命名index_suffix让你能区分生产与测试环境而index_tz可把轮转基准时区调整为东八区让每天按你的本地时间切分。三个关键参数suffix、time 与 tz 的配合除了轮转周期还有三个参数共同决定最终索引名index_suffix直接附加在索引名后的字符串例如prod、test适合多环境隔离index_time决定用哪个时间戳作为轮转基准。timestamp表示日志产生时间批量导入推荐event_ingested表示 es-loader 接收时间流式模式推荐index_tz轮转日期的时区格式必须是08:00这种偏移写法不能写Asia/Shanghai。三者组合示例[guardduty] index_rotation weekly index_time timestamp index_tz 08:00最终生成如log-aws-guardduty-2026-w33的索引按北京时间每周一滚动。只想覆盖全局使用 [DEFAULT] 段如果所有日志类型都想统一改成按月轮转且添加统一后缀不必逐段修改在[DEFAULT]段声明即可让所有 section 继承[DEFAULT] index_rotation monthly index_suffix siem注意[DEFAULT]的值会被各日志类型段中的同名配置覆盖优先级是具体段 DEFAULT。常见问题auto 模式与索引别名如果你把index_rotation设为autoes-loader 不会再拼接日期后缀而是由索引状态管理ISM自动创建log-aws-xxxx-000001格式的滚动索引并维护一个同名的写入别名。该逻辑位于 index.py 的check_and_create_aliases_if_needed它会自动为 auto 模式的日志类型创建别名与首个索引。另外当某些索引处于关闭closed、UltraWarm 或冷存储状态时utils.py 中的get_writable_indexname会自动为索引名追加_02、_03等序号避免向只读索引写入数据。验证配置是否生效修改后可以通过两种方式验证查看 OpenSearch 控制台进入 Indices 页面确认新索引名是否符合预期格式查看 es-loader 日志CloudWatch Logs 中 es-loader 的日志会打印indexname相关信息index.py 会记录实际写入的索引名。小结通过user.ini覆盖配置你可以零代码地控制 SIEM on Amazon OpenSearch Service 的索引轮转与命名用index_rotation选择 daily/weekly/monthly/yearly/auto 五种策略用index_suffix区分环境用index_tz对齐本地时区。整个方案的配置入口清晰官方也提供了详尽的 configure_siem.md 说明文档可供参考。掌握这几个参数你的日志索引管理就能真正贴合业务需求查询更快、归档更省、运维更轻松。【免费下载链接】siem-on-amazon-opensearch-serviceA solution for collecting, correlating and visualizing multiple types of logs to help investigate security incidents.项目地址: https://gitcode.com/gh_mirrors/si/siem-on-amazon-opensearch-service创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表