前言传统爬虫集群搭建依托人工逐个选购云服务器、配置安全组、放行端口、预装 Python 运行环境与爬虫依赖组件单批次数十台爬虫节点部署周期动辄数天人工配置极易出现环境不一致、防火墙漏放访问规则、系统参数差异化等问题进而引发爬虫集群运行异常。Terraform 作为主流基础设施即代码运维工具依托声明式配置文件实现跨厂商云资源批量编排通过统一配置模板一键完成成百上千台爬虫云主机的实例创建、网络策略配置、自动化脚本预装实现爬虫集群环境标准化、规模化交付。前置项目所需资源官方访问链接 Terraform 官方下载与文档站点 阿里云 Terraform Provider 官方仓库 华为云 Terraform 资源文档 Python 官方 Linux 一键安装脚本 pip 包管理工具官方部署文档 Redis 官方 Linux 安装部署指引现阶段规模化爬虫项目集群运维主要面临四项落地难题第一多批次扩容爬虫节点时运维人员重复执行系统初始化、依赖安装人力成本居高不下第二不同时期上线的爬虫主机系统内核、Python 版本、第三方库版本不统一同一份爬虫代码在部分节点运行报错第三爬虫所需出站代理端口、Redis 远程访问端口、爬虫调度服务端口零散配置在安全组人工配置失误导致节点无法连通调度中心第四项目关停缩容时零散云主机遗漏释放持续产生闲置云资源计费损耗。本文围绕 Terraform 基础设施编排能力从环境初始化、Provider 配置、爬虫主机资源定义、安全组规则编写、user_data 自动化初始化脚本、批量扩容缩容实操六个维度落地完整工程案例搭配多组配置参数对照表、可直接部署的 HCL 配置代码与脚本源码拆解 Terraform 资源编排底层执行逻辑覆盖单节点测试部署到百台级爬虫集群批量创建全流程兼容阿里云、华为云主流公有云厂商爬虫服务器搭建场景。一、Terraform 基础原理与爬虫集群部署架构拆解1.1 Terraform 核心工作机制Terraform 基于声明式 HCL 配置语言描述所需云基础设施资源区别于 Shell、Ansible 等过程式运维脚本开发者仅在配置文件中写明最终期望的服务器数量、硬件规格、网络配置、预装软件清单工具自动对接对应云厂商开放 API 完成资源调度。Terraform 依靠本地.tfstate状态文件记录当前已创建的所有云资源信息执行资源创建、扩容、销毁操作时自动对比本地状态与云端实际资源差异仅对变化部分发起 API 变更请求保障云端资源和配置文件定义内容完全一致。 在爬虫集群落地场景中tfstate 文件作为集群资源台账完整记录每一台爬虫云主机实例 ID、内网 IP、安全组绑定关系后续集群扩容、下线节点、修改端口放行规则均可依托状态文件精准变更从根源杜绝资源遗漏、配置错乱问题。1.2 Terraform 爬虫集群分层部署架构表表格架构分层资源类型Terraform 管控内容爬虫业务作用网络资源层VPC 专有网络、子网、安全组定义爬虫集群专属内网网段批量放行爬虫所需出入站端口隔离爬虫集群网络屏蔽异常外部访问保障爬虫节点间内网互通计算资源层ECS 云服务器实例配置 CPU 内存规格、系统镜像、实例数量通过 count 参数实现批量生成节点承载爬虫主程序运行拆分多 IP 分散爬虫访问频次规避站点封禁自动化初始化层User-Data 自定义启动脚本系统首次开机自动执行 Shell 脚本预装 Python、Redis、爬虫运行依赖库统一所有爬虫主机运行环境无需人工远程登录配置系统资源管控层Terraform State 状态文件全量存储云端资源映射数据支撑扩容、缩容、资源销毁集群生命周期管理快速扩缩容项目收尾一键释放全部云资源1.3 爬虫集群端口放行规范清单爬虫业务运行需要固定端口开放权限安全组规则通过 Terraform 代码批量配置无需在云厂商控制台手动添加规则表格端口号对应服务出入站方向开放源地址范围22SSH 远程运维端口入站运维人员固定公网 IP 段6379Redis 缓存服务端口入站爬虫集群内网网段8080爬虫调度管理后台端口入站运维内网 IP80/443网页爬虫出站访问出站0.0.0.0/0 全地址二、Terraform 本地部署与环境初始化实操2.1 多操作系统 Terraform 安装步骤Terraform 为单二进制可执行文件无额外系统依赖Linux、Windows、MacOS 环境仅需解压配置环境变量即可完成部署下文以爬虫服务器主流 CentOS7、CentOS8 系统为例前往前言附带官方下载链接根据系统架构下载对应版本压缩包当前生产环境优选 1.5.x 稳定版本执行解压命令unzip terraform_1.5.7_linux_amd64.zip得到 terraform 单文件移动二进制文件至系统全局环境目录mv terraform /usr/local/bin/终端输入terraform version校验安装结果输出版本号即代表环境就绪。2.2 云厂商密钥权限配置逻辑Terraform 调用云厂商 API 创建云主机需要云账户的访问密钥 AK/SK 凭证存在两种配置方式环境变量注入、Terraform 配置文件入参。生产爬虫集群环境优先选用系统环境变量注入模式避免密钥明文写入配置文件引发泄露风险。以阿里云为例在 Linux 终端临时写入环境变量shellexport ALICLOUD_ACCESS_KEY你的阿里云AccessKeyID export ALICLOUD_SECRET_KEY你的阿里云AccessKeySecret终端环境变量仅临时生效需要永久配置可写入/etc/profile系统环境变量配置文件服务器重启后自动加载密钥参数。三、基于阿里云 Terraform Provider 爬虫集群完整 HCL 配置实现整套项目配置拆分为四个 tf 文件provider.tf云厂商驱动配置、vpc.tf网络资源配置、ecs.tf爬虫主机批量创建配置、init_script.tpluser_data 系统初始化脚本模板所有文件放置在同一项目目录内。3.1 provider.tf 云驱动配置代码hcl# 声明阿里云Provider依赖与版本约束 terraform { required_providers { alicloud { source aliyun/alicloud version 1.220.0 } } } # 初始化阿里云资源提供者自动读取系统环境变量AK/SK provider alicloud { region cn-shenzhen # 爬虫集群部署地域可按需切换华北、华东节点 }代码底层原理拆解terraform 代码块内 required_providers 用于锁定 Provider 来源仓库与最低可用版本规避不同版本 SDK 接口变更导致资源创建失败provider alicloud 区块指定云服务商与部署地域未填写 access_key 与 secret_key 参数时自动从系统环境变量读取密钥符合生产环境密钥安全规范地域参数对应云厂商可用区爬虫业务优先选择目标站点访问延迟较低的就近地域降低爬虫请求网络耗时。3.2 vpc.tf 爬虫集群专属网络与安全组配置hcl# 创建爬虫集群专属VPC专有网络 resource alicloud_vpc spider_vpc { vpc_name spider-cluster-vpc cidr_block 192.168.100.0/24 # 集群内网网段规划 } # VPC下属子网资源 resource alicloud_subnet spider_subnet { subnet_name spider-subnet-az1 vpc_id alicloud_vpc.spider_vpc.id cidr_block 192.168.100.0/24 zone_id cn-shenzhen-b } # 爬虫集群安全组管控出入站端口 resource alicloud_security_group spider_sg { name spider-cluster-sg description 爬虫集群统一安全组规则 vpc_id alicloud_vpc.spider_vpc.id } # 安全组入站规则批量配置 resource alicloud_security_group_rule in_rule_list { count length(var.in_ports) security_group_id alicloud_security_group.spider_sg.id rule_type in port_range var.in_ports[count.index][port] cidr_ip var.in_ports[count.index][source_ip] ip_protocol tcp nic_type intranet } # 出站全端口放行规则保障爬虫请求外网 resource alicloud_security_group_rule out_all { security_group_id alicloud_security_group.spider_sg.id rule_type out port_range -1/-1 cidr_ip 0.0.0.0/0 ip_protocol all } # 变量定义入站端口配置清单 variable in_ports { type list(object({ port string source_ip string })) default [ {port 22/22, source_ip 119.xx.xx.xx/32}, {port 6379/6379, source_ip 192.168.100.0/24}, {port 8080/8080, source_ip 192.168.100.0/24} ] }代码底层原理拆解alicloud_vpc 与 alicloud_subnet 构建独立隔离内网环境所有爬虫主机挂载在同一子网节点间依靠内网 IP 高速通信Redis 缓存、爬虫调度服务均可走内网交互节省公网流量费用countlist 变量实现批量循环生成多条安全组入站规则新增端口仅需修改 var.in_ports 变量列表无需重复编写资源代码适配后续爬虫新增服务端口场景out_all 规则配置 - 1/-1 全端口放行满足爬虫随机发起 80、443 等各类外网页面请求需求入站规则严格限制源 IP规避服务器被暴力扫描入侵。3.3 ecs.tf 批量创建爬虫云主机核心配置hcl# 定义爬虫集群实例数量变量修改count_value即可实现扩容缩容 variable spider_node_count { type number default 5 # 默认一次性创建5台爬虫ECS节点 } # 批量生成多台爬虫云服务器 resource alicloud_instance spider_ecs_nodes { count var.spider_node_count instance_name spider-node-${count.index1} # 节点自动编号spider-node-1~N instance_type ecs.g7.large # 2核8G爬虫通用机型 image_id centos_7_9_x64_20G_alibase_20240218.vhd # CentOS7.9系统镜像 subnet_id alicloud_subnet.spider_subnet.id security_groups [alicloud_security_group.spider_sg.id] system_disk_size 40 # 加载外部模板脚本开机自动执行环境初始化 user_data templatefile(${path.module}/init_script.tpl, { redis_pass Spider2026Redis # Redis自定义密码注入脚本 }) # 实例标签用于云后台快速筛选爬虫集群主机 tags { Business Python_Spider_Cluster Env Production } } # 输出所有爬虫节点内网IP与公网IP部署完成后打印至终端 output spider_server_ip_info { value [for node in alicloud_instance.spider_ecs_nodes : { instance_name node.instance_name private_ip node.private_ip public_ip node.public_ip }] }代码底层原理拆解count 参数是 Terraform 批量创建同规格资源的核心spider_node_count 变量为节点总数如需从 5 台扩容至 20 台仅修改 default 数值执行 terraform apply 即可自动新增 15 台云主机缩容降低数值则自动销毁多余实例count.index 为内置索引变量从 0 开始自增拼接实现每台主机自定义有序名称方便运维区分节点templatefile 函数读取同级目录下初始化脚本模板支持向 Shell 脚本注入动态变量示例中将 Redis 密码参数传入 user_data避免脚本硬编码密码output 输出块在资源创建完成后自动汇总全量爬虫服务器公私网 IP运维人员无需登录云厂商控制台逐个查询服务器地址。3.4 init_script.tpl 系统开机自动化初始化脚本模板bash运行#!/bin/bash # CentOS系统开机自动执行脚本统一初始化所有爬虫运行环境 yum clean all yum makecache # 1.预装系统依赖组件 yum install -y gcc gcc-c openssl-devel zlib-devel wget unzip git # 2.编译安装Python3.11爬虫运行环境 cd /usr/local/src wget https://www.python.org/ftp/python/3.11.4/Python-3.11.4.tgz tar -zxvf Python-3.11.4.tgz cd Python-3.11.4 ./configure --prefix/usr/local/python311 make make install # 配置系统软链接全局调用python3、pip3 ln -s /usr/local/python311/bin/python3.11 /usr/bin/python3 ln -s /usr/local/python311/bin/pip3.11 /usr/bin/pip3 # 3.批量安装爬虫必备Python依赖包 pip3 install requests lxml pycryptodome redis xxhash pandas -i https://pypi.tuna.tsinghua.edu.cn/simple # 4.YUM一键部署Redis服务注入模板传入的密码参数 yum install -y redis sed -i s/^requirepass.*/requirepass ${redis_pass}/ /etc/redis.conf sed -i s/bind 127.0.0.1/bind 0.0.0.0/ /etc/redis.conf systemctl enable redis systemctl start redis # 5.创建爬虫项目工作目录 mkdir -p /data/spider_project/{source,log,data} echo 爬虫节点环境初始化完成 /data/spider_project/install_log.txt代码底层原理拆解user_data 机制为云主机首次启动时云厂商底层服务自动以 root 权限执行脚本仅在实例初始化阶段运行一次后续重启服务器不会重复执行保障环境只初始化一遍${redis_pass} 为 Terraform 模板注入变量变量内容来自 ecs.tf 内 templatefile 传参修改 ecs 配置即可批量变更全集群 Redis 访问密码脚本内置爬虫全栈依赖requests 用于 HTTP 请求、lxml 用于 DOM 解析、redis 对接缓存、xxhash 用于前文增量哈希计算和上一篇增量爬虫代码运行环境完全适配节点创建完毕即可直接部署增量爬虫程序。四、Terraform 爬虫集群部署全生命周期命令实操4.1 部署步骤分步执行说明4.1.1 terraform init 初始化项目在 tf 配置文件所在目录执行命令terraform init工具自动下载配置文件内声明的阿里云 Provider 插件生成隐藏目录.terraform 存放插件文件首次部署必须执行后续配置无 Provider 版本修改可跳过。执行成功终端输出初始化完成提示插件自动从 HashiCorp 官方仓库拉取。4.1.2 terraform plan 预校验资源变更执行terraform plan命令Terraform 本地解析所有 HCL 配置文件对接云厂商 API 校验参数合法性对比 tfstate首次部署无状态文件默认全量新增终端打印即将创建的资源清单VPC、子网、安全组、5 台 ECS 实例、安全组规则等资源数量无报错即代表配置语法与参数合规不会出现云端创建失败。该步骤是上线前关键校验避免参数错误产生无效云资源扣费。4.1.3 terraform apply 正式创建爬虫集群执行terraform apply终端输入 yes 确认执行工具按照资源依赖顺序依次调用阿里云 API 创建资源先网络资源、再安全组、最后 ECS 实例实例创建同时触发 user_data 脚本自动配置系统环境。资源全部创建完毕后终端 output 区块输出所有爬虫节点 IP 清单记录 IP 即可远程登录部署爬虫业务代码。表格操作场景命令参数作用说明静默自动确认创建terraform apply -auto-approve自动化脚本集成部署使用无需人工输入 yes仅创建指定资源terraform apply -targetalicloud_instance.spider_ecs_nodes单独新增爬虫主机不改动网络安全组资源4.2 集群扩容实操案例现有 5 台爬虫节点业务量上涨需要扩容至 12 台修改 ecs.tf 中 spider_node_count 变量 default 值为 12依次执行terraform plan终端提示将要新增 7 台 ECS 实例terraform apply -auto-approveTerraform 自动调用 API 新增 7 台同配置云主机新节点自动执行 user_data 脚本完成环境初始化自动加入原有安全组与内网网段。4.3 集群缩容与项目销毁实操局部缩容节点冗余需缩减至 8 台修改变量数值为 8apply 后自动销毁多余 4 台实例项目整体下线爬虫项目终止需要释放全部云资源执行terraform destroy确认后一键销毁 VPC、子网、安全组、全部 ECS 爬虫主机彻底终止计费杜绝闲置服务器产生成本。五、华为云 Terraform 爬虫集群适配改造方案与参数对照表部分爬虫业务部署在华为云服务器仅需替换 provider 配置与 ECS 镜像、实例规格参数原有网络、安全组、user_data 初始化脚本逻辑完全复用改造成本极低。5.1 华为云 Provider 核心配置替换hclterraform { required_providers { huaweicloud { source huaweicloud/huaweicloud version 1.45.0 } } } provider huaweicloud { region ap-shenzhen }5.2 阿里云与华为云爬虫关键参数对照表格配置项阿里云参数华为云对应参数CentOS7.9 镜像 IDcentos_7_9_x64_20G_alibase_20240218.vhdStandard_CentOS_7_9_64bit2 核 8G 机型ecs.g7.largeecs.c6.large安全组资源名alicloud_security_grouphuaweicloud_networking_secgroup六、Terraform 爬虫集群工程化优化落地方案6.1 状态文件远程存储优化单机本地 tfstate 文件存在丢失、多运维人员协同修改冲突问题生产环境采用阿里云 OSS / 华为云 OBS 远程存储 tfstate配置远程后端hclterraform { backend oss { bucket spider-terraform-state-bucket key cluster/spider-cluster/terraform.tfstate region cn-shenzhen } }配置后所有状态文件存入对象存储多台运维终端执行 terraform 命令自动同步云端状态避免本地文件异常导致资源管控错乱。6.2 环境区分配置优化通过 Terraform 工作区区分测试环境、生产环境爬虫集群terraform workspace new test创建测试工作区测试部署一批低配小规格爬虫节点验证代码正式环境切换至 prod 工作区部署高配集群环境资源完全隔离互不干扰。6.3 自定义镜像优化初始化效率大批量百台级爬虫集群部署时每次开机通过 user_data 编译 Python、安装依赖耗时较长优化方案先手动部署一台基准爬虫主机基于该主机制作自定义系统镜像Terraform 配置直接引用自定义镜像ECS 创建完毕即预装全量运行环境省去开机脚本执行耗时大幅缩短集群上线周期。七、落地问题排查与常见故障汇总表格故障现象根因解决方案apply 创建 ECS 报错密钥权限不足AK/SK 密钥无 ECS 创建 API 权限云账户给密钥绑定 ECS 全权限角色重新配置环境变量爬虫主机开机后 Python 依赖缺失user_data 脚本执行中途 yum 源超时失败优化脚本增加国内 yum 镜像源增加重试下载逻辑扩容后新节点无法连通 Redis安全组内网端口未放行核对安全组入站规则 CIDR 网段是否匹配 VPC 内网地址terraform destroy 无法销毁资源资源被人工在云控制台修改配置核对云端资源和 tfstate 差异同步状态后再次执行销毁
Python 爬虫高级实战：基于 Terraform 自动化批量创建爬虫云主机
发布时间：2026/6/5 10:29:51
前言传统爬虫集群搭建依托人工逐个选购云服务器、配置安全组、放行端口、预装 Python 运行环境与爬虫依赖组件单批次数十台爬虫节点部署周期动辄数天人工配置极易出现环境不一致、防火墙漏放访问规则、系统参数差异化等问题进而引发爬虫集群运行异常。Terraform 作为主流基础设施即代码运维工具依托声明式配置文件实现跨厂商云资源批量编排通过统一配置模板一键完成成百上千台爬虫云主机的实例创建、网络策略配置、自动化脚本预装实现爬虫集群环境标准化、规模化交付。前置项目所需资源官方访问链接 Terraform 官方下载与文档站点 阿里云 Terraform Provider 官方仓库 华为云 Terraform 资源文档 Python 官方 Linux 一键安装脚本 pip 包管理工具官方部署文档 Redis 官方 Linux 安装部署指引现阶段规模化爬虫项目集群运维主要面临四项落地难题第一多批次扩容爬虫节点时运维人员重复执行系统初始化、依赖安装人力成本居高不下第二不同时期上线的爬虫主机系统内核、Python 版本、第三方库版本不统一同一份爬虫代码在部分节点运行报错第三爬虫所需出站代理端口、Redis 远程访问端口、爬虫调度服务端口零散配置在安全组人工配置失误导致节点无法连通调度中心第四项目关停缩容时零散云主机遗漏释放持续产生闲置云资源计费损耗。本文围绕 Terraform 基础设施编排能力从环境初始化、Provider 配置、爬虫主机资源定义、安全组规则编写、user_data 自动化初始化脚本、批量扩容缩容实操六个维度落地完整工程案例搭配多组配置参数对照表、可直接部署的 HCL 配置代码与脚本源码拆解 Terraform 资源编排底层执行逻辑覆盖单节点测试部署到百台级爬虫集群批量创建全流程兼容阿里云、华为云主流公有云厂商爬虫服务器搭建场景。一、Terraform 基础原理与爬虫集群部署架构拆解1.1 Terraform 核心工作机制Terraform 基于声明式 HCL 配置语言描述所需云基础设施资源区别于 Shell、Ansible 等过程式运维脚本开发者仅在配置文件中写明最终期望的服务器数量、硬件规格、网络配置、预装软件清单工具自动对接对应云厂商开放 API 完成资源调度。Terraform 依靠本地.tfstate状态文件记录当前已创建的所有云资源信息执行资源创建、扩容、销毁操作时自动对比本地状态与云端实际资源差异仅对变化部分发起 API 变更请求保障云端资源和配置文件定义内容完全一致。 在爬虫集群落地场景中tfstate 文件作为集群资源台账完整记录每一台爬虫云主机实例 ID、内网 IP、安全组绑定关系后续集群扩容、下线节点、修改端口放行规则均可依托状态文件精准变更从根源杜绝资源遗漏、配置错乱问题。1.2 Terraform 爬虫集群分层部署架构表表格架构分层资源类型Terraform 管控内容爬虫业务作用网络资源层VPC 专有网络、子网、安全组定义爬虫集群专属内网网段批量放行爬虫所需出入站端口隔离爬虫集群网络屏蔽异常外部访问保障爬虫节点间内网互通计算资源层ECS 云服务器实例配置 CPU 内存规格、系统镜像、实例数量通过 count 参数实现批量生成节点承载爬虫主程序运行拆分多 IP 分散爬虫访问频次规避站点封禁自动化初始化层User-Data 自定义启动脚本系统首次开机自动执行 Shell 脚本预装 Python、Redis、爬虫运行依赖库统一所有爬虫主机运行环境无需人工远程登录配置系统资源管控层Terraform State 状态文件全量存储云端资源映射数据支撑扩容、缩容、资源销毁集群生命周期管理快速扩缩容项目收尾一键释放全部云资源1.3 爬虫集群端口放行规范清单爬虫业务运行需要固定端口开放权限安全组规则通过 Terraform 代码批量配置无需在云厂商控制台手动添加规则表格端口号对应服务出入站方向开放源地址范围22SSH 远程运维端口入站运维人员固定公网 IP 段6379Redis 缓存服务端口入站爬虫集群内网网段8080爬虫调度管理后台端口入站运维内网 IP80/443网页爬虫出站访问出站0.0.0.0/0 全地址二、Terraform 本地部署与环境初始化实操2.1 多操作系统 Terraform 安装步骤Terraform 为单二进制可执行文件无额外系统依赖Linux、Windows、MacOS 环境仅需解压配置环境变量即可完成部署下文以爬虫服务器主流 CentOS7、CentOS8 系统为例前往前言附带官方下载链接根据系统架构下载对应版本压缩包当前生产环境优选 1.5.x 稳定版本执行解压命令unzip terraform_1.5.7_linux_amd64.zip得到 terraform 单文件移动二进制文件至系统全局环境目录mv terraform /usr/local/bin/终端输入terraform version校验安装结果输出版本号即代表环境就绪。2.2 云厂商密钥权限配置逻辑Terraform 调用云厂商 API 创建云主机需要云账户的访问密钥 AK/SK 凭证存在两种配置方式环境变量注入、Terraform 配置文件入参。生产爬虫集群环境优先选用系统环境变量注入模式避免密钥明文写入配置文件引发泄露风险。以阿里云为例在 Linux 终端临时写入环境变量shellexport ALICLOUD_ACCESS_KEY你的阿里云AccessKeyID export ALICLOUD_SECRET_KEY你的阿里云AccessKeySecret终端环境变量仅临时生效需要永久配置可写入/etc/profile系统环境变量配置文件服务器重启后自动加载密钥参数。三、基于阿里云 Terraform Provider 爬虫集群完整 HCL 配置实现整套项目配置拆分为四个 tf 文件provider.tf云厂商驱动配置、vpc.tf网络资源配置、ecs.tf爬虫主机批量创建配置、init_script.tpluser_data 系统初始化脚本模板所有文件放置在同一项目目录内。3.1 provider.tf 云驱动配置代码hcl# 声明阿里云Provider依赖与版本约束 terraform { required_providers { alicloud { source aliyun/alicloud version 1.220.0 } } } # 初始化阿里云资源提供者自动读取系统环境变量AK/SK provider alicloud { region cn-shenzhen # 爬虫集群部署地域可按需切换华北、华东节点 }代码底层原理拆解terraform 代码块内 required_providers 用于锁定 Provider 来源仓库与最低可用版本规避不同版本 SDK 接口变更导致资源创建失败provider alicloud 区块指定云服务商与部署地域未填写 access_key 与 secret_key 参数时自动从系统环境变量读取密钥符合生产环境密钥安全规范地域参数对应云厂商可用区爬虫业务优先选择目标站点访问延迟较低的就近地域降低爬虫请求网络耗时。3.2 vpc.tf 爬虫集群专属网络与安全组配置hcl# 创建爬虫集群专属VPC专有网络 resource alicloud_vpc spider_vpc { vpc_name spider-cluster-vpc cidr_block 192.168.100.0/24 # 集群内网网段规划 } # VPC下属子网资源 resource alicloud_subnet spider_subnet { subnet_name spider-subnet-az1 vpc_id alicloud_vpc.spider_vpc.id cidr_block 192.168.100.0/24 zone_id cn-shenzhen-b } # 爬虫集群安全组管控出入站端口 resource alicloud_security_group spider_sg { name spider-cluster-sg description 爬虫集群统一安全组规则 vpc_id alicloud_vpc.spider_vpc.id } # 安全组入站规则批量配置 resource alicloud_security_group_rule in_rule_list { count length(var.in_ports) security_group_id alicloud_security_group.spider_sg.id rule_type in port_range var.in_ports[count.index][port] cidr_ip var.in_ports[count.index][source_ip] ip_protocol tcp nic_type intranet } # 出站全端口放行规则保障爬虫请求外网 resource alicloud_security_group_rule out_all { security_group_id alicloud_security_group.spider_sg.id rule_type out port_range -1/-1 cidr_ip 0.0.0.0/0 ip_protocol all } # 变量定义入站端口配置清单 variable in_ports { type list(object({ port string source_ip string })) default [ {port 22/22, source_ip 119.xx.xx.xx/32}, {port 6379/6379, source_ip 192.168.100.0/24}, {port 8080/8080, source_ip 192.168.100.0/24} ] }代码底层原理拆解alicloud_vpc 与 alicloud_subnet 构建独立隔离内网环境所有爬虫主机挂载在同一子网节点间依靠内网 IP 高速通信Redis 缓存、爬虫调度服务均可走内网交互节省公网流量费用countlist 变量实现批量循环生成多条安全组入站规则新增端口仅需修改 var.in_ports 变量列表无需重复编写资源代码适配后续爬虫新增服务端口场景out_all 规则配置 - 1/-1 全端口放行满足爬虫随机发起 80、443 等各类外网页面请求需求入站规则严格限制源 IP规避服务器被暴力扫描入侵。3.3 ecs.tf 批量创建爬虫云主机核心配置hcl# 定义爬虫集群实例数量变量修改count_value即可实现扩容缩容 variable spider_node_count { type number default 5 # 默认一次性创建5台爬虫ECS节点 } # 批量生成多台爬虫云服务器 resource alicloud_instance spider_ecs_nodes { count var.spider_node_count instance_name spider-node-${count.index1} # 节点自动编号spider-node-1~N instance_type ecs.g7.large # 2核8G爬虫通用机型 image_id centos_7_9_x64_20G_alibase_20240218.vhd # CentOS7.9系统镜像 subnet_id alicloud_subnet.spider_subnet.id security_groups [alicloud_security_group.spider_sg.id] system_disk_size 40 # 加载外部模板脚本开机自动执行环境初始化 user_data templatefile(${path.module}/init_script.tpl, { redis_pass Spider2026Redis # Redis自定义密码注入脚本 }) # 实例标签用于云后台快速筛选爬虫集群主机 tags { Business Python_Spider_Cluster Env Production } } # 输出所有爬虫节点内网IP与公网IP部署完成后打印至终端 output spider_server_ip_info { value [for node in alicloud_instance.spider_ecs_nodes : { instance_name node.instance_name private_ip node.private_ip public_ip node.public_ip }] }代码底层原理拆解count 参数是 Terraform 批量创建同规格资源的核心spider_node_count 变量为节点总数如需从 5 台扩容至 20 台仅修改 default 数值执行 terraform apply 即可自动新增 15 台云主机缩容降低数值则自动销毁多余实例count.index 为内置索引变量从 0 开始自增拼接实现每台主机自定义有序名称方便运维区分节点templatefile 函数读取同级目录下初始化脚本模板支持向 Shell 脚本注入动态变量示例中将 Redis 密码参数传入 user_data避免脚本硬编码密码output 输出块在资源创建完成后自动汇总全量爬虫服务器公私网 IP运维人员无需登录云厂商控制台逐个查询服务器地址。3.4 init_script.tpl 系统开机自动化初始化脚本模板bash运行#!/bin/bash # CentOS系统开机自动执行脚本统一初始化所有爬虫运行环境 yum clean all yum makecache # 1.预装系统依赖组件 yum install -y gcc gcc-c openssl-devel zlib-devel wget unzip git # 2.编译安装Python3.11爬虫运行环境 cd /usr/local/src wget https://www.python.org/ftp/python/3.11.4/Python-3.11.4.tgz tar -zxvf Python-3.11.4.tgz cd Python-3.11.4 ./configure --prefix/usr/local/python311 make make install # 配置系统软链接全局调用python3、pip3 ln -s /usr/local/python311/bin/python3.11 /usr/bin/python3 ln -s /usr/local/python311/bin/pip3.11 /usr/bin/pip3 # 3.批量安装爬虫必备Python依赖包 pip3 install requests lxml pycryptodome redis xxhash pandas -i https://pypi.tuna.tsinghua.edu.cn/simple # 4.YUM一键部署Redis服务注入模板传入的密码参数 yum install -y redis sed -i s/^requirepass.*/requirepass ${redis_pass}/ /etc/redis.conf sed -i s/bind 127.0.0.1/bind 0.0.0.0/ /etc/redis.conf systemctl enable redis systemctl start redis # 5.创建爬虫项目工作目录 mkdir -p /data/spider_project/{source,log,data} echo 爬虫节点环境初始化完成 /data/spider_project/install_log.txt代码底层原理拆解user_data 机制为云主机首次启动时云厂商底层服务自动以 root 权限执行脚本仅在实例初始化阶段运行一次后续重启服务器不会重复执行保障环境只初始化一遍${redis_pass} 为 Terraform 模板注入变量变量内容来自 ecs.tf 内 templatefile 传参修改 ecs 配置即可批量变更全集群 Redis 访问密码脚本内置爬虫全栈依赖requests 用于 HTTP 请求、lxml 用于 DOM 解析、redis 对接缓存、xxhash 用于前文增量哈希计算和上一篇增量爬虫代码运行环境完全适配节点创建完毕即可直接部署增量爬虫程序。四、Terraform 爬虫集群部署全生命周期命令实操4.1 部署步骤分步执行说明4.1.1 terraform init 初始化项目在 tf 配置文件所在目录执行命令terraform init工具自动下载配置文件内声明的阿里云 Provider 插件生成隐藏目录.terraform 存放插件文件首次部署必须执行后续配置无 Provider 版本修改可跳过。执行成功终端输出初始化完成提示插件自动从 HashiCorp 官方仓库拉取。4.1.2 terraform plan 预校验资源变更执行terraform plan命令Terraform 本地解析所有 HCL 配置文件对接云厂商 API 校验参数合法性对比 tfstate首次部署无状态文件默认全量新增终端打印即将创建的资源清单VPC、子网、安全组、5 台 ECS 实例、安全组规则等资源数量无报错即代表配置语法与参数合规不会出现云端创建失败。该步骤是上线前关键校验避免参数错误产生无效云资源扣费。4.1.3 terraform apply 正式创建爬虫集群执行terraform apply终端输入 yes 确认执行工具按照资源依赖顺序依次调用阿里云 API 创建资源先网络资源、再安全组、最后 ECS 实例实例创建同时触发 user_data 脚本自动配置系统环境。资源全部创建完毕后终端 output 区块输出所有爬虫节点 IP 清单记录 IP 即可远程登录部署爬虫业务代码。表格操作场景命令参数作用说明静默自动确认创建terraform apply -auto-approve自动化脚本集成部署使用无需人工输入 yes仅创建指定资源terraform apply -targetalicloud_instance.spider_ecs_nodes单独新增爬虫主机不改动网络安全组资源4.2 集群扩容实操案例现有 5 台爬虫节点业务量上涨需要扩容至 12 台修改 ecs.tf 中 spider_node_count 变量 default 值为 12依次执行terraform plan终端提示将要新增 7 台 ECS 实例terraform apply -auto-approveTerraform 自动调用 API 新增 7 台同配置云主机新节点自动执行 user_data 脚本完成环境初始化自动加入原有安全组与内网网段。4.3 集群缩容与项目销毁实操局部缩容节点冗余需缩减至 8 台修改变量数值为 8apply 后自动销毁多余 4 台实例项目整体下线爬虫项目终止需要释放全部云资源执行terraform destroy确认后一键销毁 VPC、子网、安全组、全部 ECS 爬虫主机彻底终止计费杜绝闲置服务器产生成本。五、华为云 Terraform 爬虫集群适配改造方案与参数对照表部分爬虫业务部署在华为云服务器仅需替换 provider 配置与 ECS 镜像、实例规格参数原有网络、安全组、user_data 初始化脚本逻辑完全复用改造成本极低。5.1 华为云 Provider 核心配置替换hclterraform { required_providers { huaweicloud { source huaweicloud/huaweicloud version 1.45.0 } } } provider huaweicloud { region ap-shenzhen }5.2 阿里云与华为云爬虫关键参数对照表格配置项阿里云参数华为云对应参数CentOS7.9 镜像 IDcentos_7_9_x64_20G_alibase_20240218.vhdStandard_CentOS_7_9_64bit2 核 8G 机型ecs.g7.largeecs.c6.large安全组资源名alicloud_security_grouphuaweicloud_networking_secgroup六、Terraform 爬虫集群工程化优化落地方案6.1 状态文件远程存储优化单机本地 tfstate 文件存在丢失、多运维人员协同修改冲突问题生产环境采用阿里云 OSS / 华为云 OBS 远程存储 tfstate配置远程后端hclterraform { backend oss { bucket spider-terraform-state-bucket key cluster/spider-cluster/terraform.tfstate region cn-shenzhen } }配置后所有状态文件存入对象存储多台运维终端执行 terraform 命令自动同步云端状态避免本地文件异常导致资源管控错乱。6.2 环境区分配置优化通过 Terraform 工作区区分测试环境、生产环境爬虫集群terraform workspace new test创建测试工作区测试部署一批低配小规格爬虫节点验证代码正式环境切换至 prod 工作区部署高配集群环境资源完全隔离互不干扰。6.3 自定义镜像优化初始化效率大批量百台级爬虫集群部署时每次开机通过 user_data 编译 Python、安装依赖耗时较长优化方案先手动部署一台基准爬虫主机基于该主机制作自定义系统镜像Terraform 配置直接引用自定义镜像ECS 创建完毕即预装全量运行环境省去开机脚本执行耗时大幅缩短集群上线周期。七、落地问题排查与常见故障汇总表格故障现象根因解决方案apply 创建 ECS 报错密钥权限不足AK/SK 密钥无 ECS 创建 API 权限云账户给密钥绑定 ECS 全权限角色重新配置环境变量爬虫主机开机后 Python 依赖缺失user_data 脚本执行中途 yum 源超时失败优化脚本增加国内 yum 镜像源增加重试下载逻辑扩容后新节点无法连通 Redis安全组内网端口未放行核对安全组入站规则 CIDR 网段是否匹配 VPC 内网地址terraform destroy 无法销毁资源资源被人工在云控制台修改配置核对云端资源和 tfstate 差异同步状态后再次执行销毁
