前言Scrapy 爬虫完成功能开发、逻辑调试、容错优化后最终需要落地至服务器、办公主机、多节点集群等不同环境运行。原生 Scrapy 依赖命令行手动执行启动指令在多设备迁移、批量部署、无人值守运行场景下存在操作繁琐、依赖缺失、启动流程不统一等问题。同时常规 Python 项目直接拷贝源码的部署方式易出现环境版本不一致、模块导入异常、权限不足等线上故障。结合前文已完成的模块化架构、自动重试中间件、SQLite 数据入库、多栏目适配能力本文聚焦Scrapy 项目打包、启动脚本封装、环境依赖统一管理、跨平台部署全流程。通过批处理脚本、Python 启动器、项目打包、依赖固化等技术实现一键启动、一键环境初始化、免命令行操作的部署方案同时区分 Windows 与 Linux 运行环境讲解线上服务常驻、后台运行、日志重定向等运维配套能力适配个人使用、企业批量部署、服务器长期运维等各类场景。本文涉及核心工具与官方资源Scrapy 部署文档框架官方部署规范与命令说明Python setuptools 打包文档Python 项目标准打包工具pip freeze 依赖管理依赖版本固化与批量安装Windows 批处理语法bat 脚本编写规范一、部署场景分析与整体方案规划1.1 主流部署场景梳理结合爬虫项目落地经验归纳四类典型部署场景不同场景对应差异化打包与启动方案表格部署场景运行环境核心痛点适配方案本地单机使用Windows 个人电脑每次启动需打开终端、输入命令操作繁琐编写 bat 一键启动脚本图形化双击运行小型局域网分发多台 Windows 主机环境不一致、依赖逐个安装效率低固化依赖清单 一键安装依赖脚本云服务器部署Linux CentOS/Ubuntu需要后台常驻、开机自启、日志持久化Shell 脚本 后台进程运行 日志重定向生产集群部署多 Linux 节点项目版本统一、批量更新、统一启停标准源码打包 统一部署脚本 版本管控1.2 现有项目部署现存问题基于前文模块化 Scrapy 项目原生部署方式存在五大典型问题操作门槛高必须进入项目目录、调用scrapy crawl命令非技术人员无法操作依赖碎片化目标主机未安装 Scrapy 及相关依赖逐个安装耗时且版本不统一运行窗口依赖Windows 终端、Linux 终端关闭后爬虫进程直接终止无法后台常驻日志散乱默认日志直接输出至终端无法长期留存故障排查无历史日志迁移繁琐完整项目包含多级目录、配置文件、数据库文件手动拷贝易遗漏文件。1.3 整体技术方案架构本次部署优化分为四大模块逐层解决上述问题方案全程基于现有模块化架构不改动原有业务代码依赖固化通过pip freeze生成完整依赖清单实现批量一键安装启动脚本封装分平台编写启动脚本屏蔽原生命令行实现双击 / 单指令启动项目标准化打包使用 Python 标准打包工具生成可分发安装包保证目录结构完整运维增强实现后台运行、日志文件持久化、进程守护、异常重启等线上能力。1.4 前置检查项部署优化前对现有项目做完整性校验保证打包后功能正常项目根目录requirements.txt已存在记录基础依赖所有配置、硬编码参数均迁移至config目录无本地绝对路径数据库文件、日志文件使用相对路径适配任意部署目录全功能测试通过多栏目采集、数据入库、请求重试中间件正常工作。二、第一步依赖版本固化与批量安装方案依赖统一是跨环境部署的基础避免因库版本差异导致的运行报错。本节完成依赖导出、批量安装脚本编写适配 Windows 与 Linux 双平台。2.1 生成精准依赖清单在开发完成、功能正常的主机上打开终端进入项目根目录执行依赖导出命令捕获当前环境所有已安装包及版本bash运行# 导出当前环境全部依赖至 requirements.txt pip freeze requirements.txt执行完成后根目录requirements.txt会补充完整版本信息示例内容如下txtscrapy2.11.0 lxml5.2.1 Twisted24.3.0 cryptography42.0.8 itemadapter0.8.0 protego0.3.1 pyOpenSSL24.1.0 queuelib1.7.0 service-identity24.1.0 w3lib2.2.1该文件包含运行项目所需的全部第三方库及精确版本目标主机可基于此文件一键还原环境。2.2 批量安装依赖脚本2.2.1 Windows 依赖安装脚本install_dep.bat在项目根目录新建install_dep.bat批处理文件实现一键检测 Python、批量安装依赖代码如下batecho off chcp 65001 echo 开始安装项目依赖 echo 正在检测Python环境... python --version if %errorlevel% neq 0 ( echo 错误未检测到Python环境请先安装Python 3.8及以上版本 pause exit ) echo 开始批量安装依赖包... pip install -r requirements.txt echo 依赖安装完成 pause脚本原理先检测 Python 是否存在再读取requirements.txt批量安装所有依赖chcp 65001解决 Windows 终端中文乱码问题。2.2.2 Linux 依赖安装脚本install_dep.sh项目根目录新建install_dep.sh脚本适配 CentOS、Ubuntu 等主流 Linux 发行版shell#!/bin/bash echo 开始安装项目依赖 python3 --version if [ $? -ne 0 ]; then echo 错误未检测到Python3环境请先完成安装 exit 1 fi pip3 install -r requirements.txt echo 依赖安装完成 赋予脚本执行权限并运行bash运行chmod x install_dep.sh ./install_dep.sh三、第二步分平台一键启动脚本开发原生scrapy crawl 爬虫名命令被封装至脚本内部用户仅需双击脚本或执行脚本指令即可启动爬虫同时增加日志重定向、运行提示、异常捕获功能。当前项目爬虫名称为book_spider所有启动脚本以此为基准编写。3.1 Windows 平台启动方案Windows 分为前台运行版适合本地调试与后台静默版适合长期运行同时配套日志持久化功能。3.1.1 前台启动脚本start.bat 推荐日常使用项目根目录新建start.bat实现一键启动、日志输出至终端 本地日志文件代码如下batecho off chcp 65001 echo Scrapy 图书爬虫 一键启动 echo 启动时间%date% %time% echo 日志将同步输出至 logs/spider.log echo :: 创建日志目录不存在则新建 if not exist logs mkdir logs :: 启动爬虫日志重定向至日志文件 scrapy crawl book_spider logs/spider.log 21 echo 爬虫运行结束 pause核心代码解析if not exist logs mkdir logs自动创建日志目录避免目录不存在导致日志写入失败 logs/spider.log 21标准输出、错误输出全部重定向至spider.log文件实现日志持久化运行后终端保持打开可实时查看运行状态关闭终端即停止爬虫。3.1.2 后台静默启动脚本start_silent.bat 适合长期挂机Windows 下使用wscript调用 VBS 脚本实现无窗口后台运行分为两个文件配合使用。第一个文件start_silent.vbs后台调用载体vbscriptSet ws CreateObject(Wscript.Shell) ws.run cmd /c start.bat,0第二个文件start_silent.bat入口脚本batecho off echo 爬虫已转入后台静默运行无前台窗口 echo 如需停止进程请在任务管理器结束 python 进程 echo 日志文件位置logs/spider.log wscript start_silent.vbs exit使用方式双击start_silent.bat前台窗口瞬间关闭爬虫在后台持续运行不占用桌面窗口可通过日志文件查看运行状态。3.1.3 停止爬虫脚本stop.bat针对 Windows 后台运行场景新增一键停止脚本批量结束爬虫相关 Python 进程batecho off chcp 65001 echo 正在终止所有爬虫进程... taskkill /f /im python.exe /t echo 进程已全部终止 pause注意该脚本会结束本机所有 Python 进程若主机同时运行其他 Python 程序建议通过任务管理器精准结束对应进程。3.2 Linux 平台启动方案Linux 服务器以后台常驻运行为核心需求支持会话断开不终止进程、日志持久化、简单进程守护分为基础版与进阶守护版。3.2.1 基础后台启动脚本start.sh项目根目录新建start.sh使用nohup实现后台运行、断开 SSH 会话不退出shell#!/bin/bash echo Scrapy 爬虫 Linux 启动脚本 # 创建日志目录 mkdir -p logs # nohup 后台运行 放入后台日志重定向 nohup scrapy crawl book_spider logs/spider.log 21 # 输出进程PID方便后续终止进程 echo 爬虫启动成功进程PID$! echo 日志文件路径./logs/spider.log echo 停止命令kill -9 进程PID赋予权限并启动bash运行chmod x start.sh ./start.sh核心原理nohup忽略挂断信号SSH 远程连接断开后进程继续运行将任务放入后台执行$!获取最新启动进程的 PID用于后续精准停止服务。3.2.2 精准停止脚本stop.sh通过 PID 终止进程避免批量杀进程影响其他服务stop.sh代码shell#!/bin/bash # 过滤爬虫进程并终止 PID$(ps -ef | grep scrapy crawl book_spider | grep -v grep | awk {print $2}) if [ -z $PID ]; then echo 未检测到运行中的爬虫进程 else kill -9 $PID echo 已终止爬虫进程 PID$PID fi赋予权限并执行停止操作bash运行chmod x stop.sh ./stop.sh3.2.3 进阶简单进程守护脚本为防止爬虫意外崩溃退出编写守护脚本定时检测进程状态进程消失则自动重启daemon.shshell#!/bin/bash # 循环检测进程状态间隔10秒 while true do PID$(ps -ef | grep scrapy crawl book_spider | grep -v grep | awk {print $2}) if [ -z $PID ]; then echo $(date) 检测到爬虫已停止执行自动重启 logs/daemon.log nohup scrapy crawl book_spider logs/spider.log 21 fi sleep 10 done启动守护进程nohup ./daemon.sh 实现 7×24 小时无人值守运行。四、第三步项目标准化打包 实现完整分发对于跨主机分发、版本归档、集群部署场景单纯拷贝文件易出现目录缺失、权限异常本节使用 Python 官方setuptools工具完成项目打包生成标准分发包。4.1 编写打包配置文件 setup.py在项目根目录创建setup.py打包配置文件定义项目名称、版本、依赖、目录结构代码如下python运行from setuptools import setup, find_packages # 读取依赖清单 with open(requirements.txt, r, encodingutf-8) as f: requires [line.strip() for line in f.readlines() if line.strip()] setup( namescrapy_book_spider, version1.0.0, authordev, descriptionScrapy图书采集爬虫集成SQLite入库、自动重试、多栏目适配, packagesfind_packages(), install_requiresrequires, include_package_dataTrue, # 额外打包静态文件、脚本、配置 package_data{ : [*.bat, *.sh, *.vbs, requirements.txt] }, zip_safeFalse )配置说明find_packages()自动识别项目内所有 Python 包匹配模块化目录结构include_package_data与package_data将脚本文件、依赖清单一并打入安装包zip_safeFalse禁止压缩为 zip 包保证 Scrapy 可以正常读取本地配置、数据库文件。4.2 执行打包命令终端进入项目根目录执行打包指令生成两种主流分发格式bash运行# 生成源码分发包跨平台通用推荐 python setup.py sdist # 生成wheel二进制包Windows优先使用 python setup.py bdist_wheel执行完成后项目根目录会新增dist目录内部包含打包文件源码包scrapy_book_spider-1.0.0.tar.gzLinux/Windows 通用wheel 包scrapy_book_spider-1.0.0-py3-none-any.whlWindows 快速安装4.3 分发包安装与部署将dist目录下的压缩包拷贝至目标主机完成部署。4.3.1 源码包部署全平台通用bash运行# 解压压缩包 tar -zxvf scrapy_book_spider-1.0.0.tar.gz # 进入解压目录 cd scrapy_book_spider-1.0.0 # 执行依赖安装、启动脚本即可正常运行4.3.2 Wheel 包部署Windowsbash运行pip install scrapy_book_spider-1.0.0-py3-none-any.whl安装完成后系统环境可直接调用项目代码结合启动脚本即可运行。4.4 打包文件目录完整性校验打包完成后核对核心文件是否全部包含所有模块化源码目录config、items、spiders、middlewares、pipelines、common配置文件、Scrapy 核心配置settings.py、scrapy.cfg所有 bat/sh/vbs 启动脚本、依赖清单requirements.txt日志目录自动创建逻辑正常。五、综合部署流程分平台完整操作步骤整合前文所有能力整理 Windows、Linux 两大平台从零到运行的标准部署流程可直接作为部署手册使用。5.1 Windows 平台完整部署流程目标主机安装 Python 3.8配置系统环境变量将项目完整文件夹 / 打包压缩包拷贝至目标主机双击install_dep.bat自动安装全部依赖按需选择启动方式调试使用双击start.bat前台运行长期挂机双击start_silent.bat后台运行查看日志进入logs目录打开spider.log排查问题停止服务双击stop.bat终止所有 Python 进程。5.2 Linux 平台完整部署流程目标主机安装 Python3、pip3yum install python3 python3-pipCentOS/apt install python3 python3-pipUbuntu上传项目压缩包至服务器解压文件进入项目目录执行chmod x *.sh赋予所有脚本执行权限执行./install_dep.sh批量安装依赖启动爬虫./start.sh后台运行可选启动进程守护nohup ./daemon.sh 查看日志tail -f logs/spider.log实时查看运行状态停止服务./stop.sh精准终止爬虫进程。六、日志管理与线上运维优化日志是线上运维的核心依据结合部署方案补充日志切割、日志清理、日志查看相关优化策略避免日志文件无限膨胀占用磁盘空间。6.1 日志按日期分割进阶优化长期运行场景下单一日志文件体积会持续增大修改启动脚本按日期生成独立日志文件。以 Windowsstart.bat为例batecho off chcp 65001 set lognamespider_%date:~0,4%%date:~5,2%%date:~8,2%.log if not exist logs mkdir logs scrapy crawl book_spider logs/%logname% 21 pause脚本会自动生成spider_20250607.log格式日志每日独立归档。Linux 脚本可结合date命令实现相同效果。6.2 日志自动清理策略编写定时清理脚本自动删除 7 天前的历史日志释放磁盘空间。Windows 可搭配任务计划程序Linux 可搭配crontab定时任务。 Linux 日志清理脚本clear_log.shshell#!/bin/bash # 删除logs目录下7天前的日志文件 find ./logs -name *.log -mtime 7 -rm echo 历史日志清理完成配置 Linux 定时任务每日凌晨 2 点执行清理bash运行crontab -e # 添加内容0 2 * * * /项目完整路径/clear_log.sh6.3 常见部署故障排查汇总部署阶段高频问题与解决方案表格故障现象排查方向解决方案提示 scrapy 不是内部命令Python Scripts 目录未加入环境变量补充 Python 环境变量重启终端依赖安装失败、版本冲突原有环境库版本混乱使用虚拟环境python -m venv venv隔离环境启动后无日志、无数据目录权限不足Linux执行chmod -R 755 项目目录赋予读写权限后台运行自动退出进程被系统 OOM 杀死优化爬虫并发、降低内存占用增加进程守护数据库无法写入部署目录无写入权限移动项目至权限充足目录或提升目录权限七、方案总结与选型建议7.1 不同场景方案选型参考结合项目规模、运行环境、运维能力给出选型建议个人本地使用优先使用原生目录 start.bat前台脚本简单易维护多台 Windows 办公机分发完整项目文件夹 依赖安装脚本 后台启动脚本单台 Linux 云服务器源码包部署 nohup后台脚本 进程守护企业集群 / 版本管控setup.py标准打包 统一分发 定时任务运维。7.2 本章节核心能力总结本文完成了 Scrapy 项目从源码开发到工程化部署的全链路落地核心实现三大能力依赖统一管控通过requirements.txt固化版本实现跨环境一键安装解决环境不一致问题脚本封装屏蔽复杂命令行实现全平台一键启停降低使用门槛标准化打包基于 setuptools 生成官方分发包适配版本归档、集群分发场景 同时配套日志持久化、进程守护、日志切割清理等运维能力满足线上长期运行要求。八、系列后续内容预告本系列前五篇已依次完成SQLite 数据入库、多栏目网页适配、项目模块化拆分、请求重试中间件、项目打包与一键部署一套完整的单机生产级 Scrapy 爬虫体系已全部搭建完成。下一篇将基于现有完整架构开展公开行业榜单批量采集、数据入库与基础数据分析实战结合多栏目采集能力、SQLite 数据库实现批量数据爬取、数据筛选、简单统计分析落地数据采集 数据分析的完整业务场景。
Python Scrapy 爬虫实战进阶系列（五）：项目打包与一键启动脚本 实现全环境快速部署
发布时间：2026/6/9 11:23:10
前言Scrapy 爬虫完成功能开发、逻辑调试、容错优化后最终需要落地至服务器、办公主机、多节点集群等不同环境运行。原生 Scrapy 依赖命令行手动执行启动指令在多设备迁移、批量部署、无人值守运行场景下存在操作繁琐、依赖缺失、启动流程不统一等问题。同时常规 Python 项目直接拷贝源码的部署方式易出现环境版本不一致、模块导入异常、权限不足等线上故障。结合前文已完成的模块化架构、自动重试中间件、SQLite 数据入库、多栏目适配能力本文聚焦Scrapy 项目打包、启动脚本封装、环境依赖统一管理、跨平台部署全流程。通过批处理脚本、Python 启动器、项目打包、依赖固化等技术实现一键启动、一键环境初始化、免命令行操作的部署方案同时区分 Windows 与 Linux 运行环境讲解线上服务常驻、后台运行、日志重定向等运维配套能力适配个人使用、企业批量部署、服务器长期运维等各类场景。本文涉及核心工具与官方资源Scrapy 部署文档框架官方部署规范与命令说明Python setuptools 打包文档Python 项目标准打包工具pip freeze 依赖管理依赖版本固化与批量安装Windows 批处理语法bat 脚本编写规范一、部署场景分析与整体方案规划1.1 主流部署场景梳理结合爬虫项目落地经验归纳四类典型部署场景不同场景对应差异化打包与启动方案表格部署场景运行环境核心痛点适配方案本地单机使用Windows 个人电脑每次启动需打开终端、输入命令操作繁琐编写 bat 一键启动脚本图形化双击运行小型局域网分发多台 Windows 主机环境不一致、依赖逐个安装效率低固化依赖清单 一键安装依赖脚本云服务器部署Linux CentOS/Ubuntu需要后台常驻、开机自启、日志持久化Shell 脚本 后台进程运行 日志重定向生产集群部署多 Linux 节点项目版本统一、批量更新、统一启停标准源码打包 统一部署脚本 版本管控1.2 现有项目部署现存问题基于前文模块化 Scrapy 项目原生部署方式存在五大典型问题操作门槛高必须进入项目目录、调用scrapy crawl命令非技术人员无法操作依赖碎片化目标主机未安装 Scrapy 及相关依赖逐个安装耗时且版本不统一运行窗口依赖Windows 终端、Linux 终端关闭后爬虫进程直接终止无法后台常驻日志散乱默认日志直接输出至终端无法长期留存故障排查无历史日志迁移繁琐完整项目包含多级目录、配置文件、数据库文件手动拷贝易遗漏文件。1.3 整体技术方案架构本次部署优化分为四大模块逐层解决上述问题方案全程基于现有模块化架构不改动原有业务代码依赖固化通过pip freeze生成完整依赖清单实现批量一键安装启动脚本封装分平台编写启动脚本屏蔽原生命令行实现双击 / 单指令启动项目标准化打包使用 Python 标准打包工具生成可分发安装包保证目录结构完整运维增强实现后台运行、日志文件持久化、进程守护、异常重启等线上能力。1.4 前置检查项部署优化前对现有项目做完整性校验保证打包后功能正常项目根目录requirements.txt已存在记录基础依赖所有配置、硬编码参数均迁移至config目录无本地绝对路径数据库文件、日志文件使用相对路径适配任意部署目录全功能测试通过多栏目采集、数据入库、请求重试中间件正常工作。二、第一步依赖版本固化与批量安装方案依赖统一是跨环境部署的基础避免因库版本差异导致的运行报错。本节完成依赖导出、批量安装脚本编写适配 Windows 与 Linux 双平台。2.1 生成精准依赖清单在开发完成、功能正常的主机上打开终端进入项目根目录执行依赖导出命令捕获当前环境所有已安装包及版本bash运行# 导出当前环境全部依赖至 requirements.txt pip freeze requirements.txt执行完成后根目录requirements.txt会补充完整版本信息示例内容如下txtscrapy2.11.0 lxml5.2.1 Twisted24.3.0 cryptography42.0.8 itemadapter0.8.0 protego0.3.1 pyOpenSSL24.1.0 queuelib1.7.0 service-identity24.1.0 w3lib2.2.1该文件包含运行项目所需的全部第三方库及精确版本目标主机可基于此文件一键还原环境。2.2 批量安装依赖脚本2.2.1 Windows 依赖安装脚本install_dep.bat在项目根目录新建install_dep.bat批处理文件实现一键检测 Python、批量安装依赖代码如下batecho off chcp 65001 echo 开始安装项目依赖 echo 正在检测Python环境... python --version if %errorlevel% neq 0 ( echo 错误未检测到Python环境请先安装Python 3.8及以上版本 pause exit ) echo 开始批量安装依赖包... pip install -r requirements.txt echo 依赖安装完成 pause脚本原理先检测 Python 是否存在再读取requirements.txt批量安装所有依赖chcp 65001解决 Windows 终端中文乱码问题。2.2.2 Linux 依赖安装脚本install_dep.sh项目根目录新建install_dep.sh脚本适配 CentOS、Ubuntu 等主流 Linux 发行版shell#!/bin/bash echo 开始安装项目依赖 python3 --version if [ $? -ne 0 ]; then echo 错误未检测到Python3环境请先完成安装 exit 1 fi pip3 install -r requirements.txt echo 依赖安装完成 赋予脚本执行权限并运行bash运行chmod x install_dep.sh ./install_dep.sh三、第二步分平台一键启动脚本开发原生scrapy crawl 爬虫名命令被封装至脚本内部用户仅需双击脚本或执行脚本指令即可启动爬虫同时增加日志重定向、运行提示、异常捕获功能。当前项目爬虫名称为book_spider所有启动脚本以此为基准编写。3.1 Windows 平台启动方案Windows 分为前台运行版适合本地调试与后台静默版适合长期运行同时配套日志持久化功能。3.1.1 前台启动脚本start.bat 推荐日常使用项目根目录新建start.bat实现一键启动、日志输出至终端 本地日志文件代码如下batecho off chcp 65001 echo Scrapy 图书爬虫 一键启动 echo 启动时间%date% %time% echo 日志将同步输出至 logs/spider.log echo :: 创建日志目录不存在则新建 if not exist logs mkdir logs :: 启动爬虫日志重定向至日志文件 scrapy crawl book_spider logs/spider.log 21 echo 爬虫运行结束 pause核心代码解析if not exist logs mkdir logs自动创建日志目录避免目录不存在导致日志写入失败 logs/spider.log 21标准输出、错误输出全部重定向至spider.log文件实现日志持久化运行后终端保持打开可实时查看运行状态关闭终端即停止爬虫。3.1.2 后台静默启动脚本start_silent.bat 适合长期挂机Windows 下使用wscript调用 VBS 脚本实现无窗口后台运行分为两个文件配合使用。第一个文件start_silent.vbs后台调用载体vbscriptSet ws CreateObject(Wscript.Shell) ws.run cmd /c start.bat,0第二个文件start_silent.bat入口脚本batecho off echo 爬虫已转入后台静默运行无前台窗口 echo 如需停止进程请在任务管理器结束 python 进程 echo 日志文件位置logs/spider.log wscript start_silent.vbs exit使用方式双击start_silent.bat前台窗口瞬间关闭爬虫在后台持续运行不占用桌面窗口可通过日志文件查看运行状态。3.1.3 停止爬虫脚本stop.bat针对 Windows 后台运行场景新增一键停止脚本批量结束爬虫相关 Python 进程batecho off chcp 65001 echo 正在终止所有爬虫进程... taskkill /f /im python.exe /t echo 进程已全部终止 pause注意该脚本会结束本机所有 Python 进程若主机同时运行其他 Python 程序建议通过任务管理器精准结束对应进程。3.2 Linux 平台启动方案Linux 服务器以后台常驻运行为核心需求支持会话断开不终止进程、日志持久化、简单进程守护分为基础版与进阶守护版。3.2.1 基础后台启动脚本start.sh项目根目录新建start.sh使用nohup实现后台运行、断开 SSH 会话不退出shell#!/bin/bash echo Scrapy 爬虫 Linux 启动脚本 # 创建日志目录 mkdir -p logs # nohup 后台运行 放入后台日志重定向 nohup scrapy crawl book_spider logs/spider.log 21 # 输出进程PID方便后续终止进程 echo 爬虫启动成功进程PID$! echo 日志文件路径./logs/spider.log echo 停止命令kill -9 进程PID赋予权限并启动bash运行chmod x start.sh ./start.sh核心原理nohup忽略挂断信号SSH 远程连接断开后进程继续运行将任务放入后台执行$!获取最新启动进程的 PID用于后续精准停止服务。3.2.2 精准停止脚本stop.sh通过 PID 终止进程避免批量杀进程影响其他服务stop.sh代码shell#!/bin/bash # 过滤爬虫进程并终止 PID$(ps -ef | grep scrapy crawl book_spider | grep -v grep | awk {print $2}) if [ -z $PID ]; then echo 未检测到运行中的爬虫进程 else kill -9 $PID echo 已终止爬虫进程 PID$PID fi赋予权限并执行停止操作bash运行chmod x stop.sh ./stop.sh3.2.3 进阶简单进程守护脚本为防止爬虫意外崩溃退出编写守护脚本定时检测进程状态进程消失则自动重启daemon.shshell#!/bin/bash # 循环检测进程状态间隔10秒 while true do PID$(ps -ef | grep scrapy crawl book_spider | grep -v grep | awk {print $2}) if [ -z $PID ]; then echo $(date) 检测到爬虫已停止执行自动重启 logs/daemon.log nohup scrapy crawl book_spider logs/spider.log 21 fi sleep 10 done启动守护进程nohup ./daemon.sh 实现 7×24 小时无人值守运行。四、第三步项目标准化打包 实现完整分发对于跨主机分发、版本归档、集群部署场景单纯拷贝文件易出现目录缺失、权限异常本节使用 Python 官方setuptools工具完成项目打包生成标准分发包。4.1 编写打包配置文件 setup.py在项目根目录创建setup.py打包配置文件定义项目名称、版本、依赖、目录结构代码如下python运行from setuptools import setup, find_packages # 读取依赖清单 with open(requirements.txt, r, encodingutf-8) as f: requires [line.strip() for line in f.readlines() if line.strip()] setup( namescrapy_book_spider, version1.0.0, authordev, descriptionScrapy图书采集爬虫集成SQLite入库、自动重试、多栏目适配, packagesfind_packages(), install_requiresrequires, include_package_dataTrue, # 额外打包静态文件、脚本、配置 package_data{ : [*.bat, *.sh, *.vbs, requirements.txt] }, zip_safeFalse )配置说明find_packages()自动识别项目内所有 Python 包匹配模块化目录结构include_package_data与package_data将脚本文件、依赖清单一并打入安装包zip_safeFalse禁止压缩为 zip 包保证 Scrapy 可以正常读取本地配置、数据库文件。4.2 执行打包命令终端进入项目根目录执行打包指令生成两种主流分发格式bash运行# 生成源码分发包跨平台通用推荐 python setup.py sdist # 生成wheel二进制包Windows优先使用 python setup.py bdist_wheel执行完成后项目根目录会新增dist目录内部包含打包文件源码包scrapy_book_spider-1.0.0.tar.gzLinux/Windows 通用wheel 包scrapy_book_spider-1.0.0-py3-none-any.whlWindows 快速安装4.3 分发包安装与部署将dist目录下的压缩包拷贝至目标主机完成部署。4.3.1 源码包部署全平台通用bash运行# 解压压缩包 tar -zxvf scrapy_book_spider-1.0.0.tar.gz # 进入解压目录 cd scrapy_book_spider-1.0.0 # 执行依赖安装、启动脚本即可正常运行4.3.2 Wheel 包部署Windowsbash运行pip install scrapy_book_spider-1.0.0-py3-none-any.whl安装完成后系统环境可直接调用项目代码结合启动脚本即可运行。4.4 打包文件目录完整性校验打包完成后核对核心文件是否全部包含所有模块化源码目录config、items、spiders、middlewares、pipelines、common配置文件、Scrapy 核心配置settings.py、scrapy.cfg所有 bat/sh/vbs 启动脚本、依赖清单requirements.txt日志目录自动创建逻辑正常。五、综合部署流程分平台完整操作步骤整合前文所有能力整理 Windows、Linux 两大平台从零到运行的标准部署流程可直接作为部署手册使用。5.1 Windows 平台完整部署流程目标主机安装 Python 3.8配置系统环境变量将项目完整文件夹 / 打包压缩包拷贝至目标主机双击install_dep.bat自动安装全部依赖按需选择启动方式调试使用双击start.bat前台运行长期挂机双击start_silent.bat后台运行查看日志进入logs目录打开spider.log排查问题停止服务双击stop.bat终止所有 Python 进程。5.2 Linux 平台完整部署流程目标主机安装 Python3、pip3yum install python3 python3-pipCentOS/apt install python3 python3-pipUbuntu上传项目压缩包至服务器解压文件进入项目目录执行chmod x *.sh赋予所有脚本执行权限执行./install_dep.sh批量安装依赖启动爬虫./start.sh后台运行可选启动进程守护nohup ./daemon.sh 查看日志tail -f logs/spider.log实时查看运行状态停止服务./stop.sh精准终止爬虫进程。六、日志管理与线上运维优化日志是线上运维的核心依据结合部署方案补充日志切割、日志清理、日志查看相关优化策略避免日志文件无限膨胀占用磁盘空间。6.1 日志按日期分割进阶优化长期运行场景下单一日志文件体积会持续增大修改启动脚本按日期生成独立日志文件。以 Windowsstart.bat为例batecho off chcp 65001 set lognamespider_%date:~0,4%%date:~5,2%%date:~8,2%.log if not exist logs mkdir logs scrapy crawl book_spider logs/%logname% 21 pause脚本会自动生成spider_20250607.log格式日志每日独立归档。Linux 脚本可结合date命令实现相同效果。6.2 日志自动清理策略编写定时清理脚本自动删除 7 天前的历史日志释放磁盘空间。Windows 可搭配任务计划程序Linux 可搭配crontab定时任务。 Linux 日志清理脚本clear_log.shshell#!/bin/bash # 删除logs目录下7天前的日志文件 find ./logs -name *.log -mtime 7 -rm echo 历史日志清理完成配置 Linux 定时任务每日凌晨 2 点执行清理bash运行crontab -e # 添加内容0 2 * * * /项目完整路径/clear_log.sh6.3 常见部署故障排查汇总部署阶段高频问题与解决方案表格故障现象排查方向解决方案提示 scrapy 不是内部命令Python Scripts 目录未加入环境变量补充 Python 环境变量重启终端依赖安装失败、版本冲突原有环境库版本混乱使用虚拟环境python -m venv venv隔离环境启动后无日志、无数据目录权限不足Linux执行chmod -R 755 项目目录赋予读写权限后台运行自动退出进程被系统 OOM 杀死优化爬虫并发、降低内存占用增加进程守护数据库无法写入部署目录无写入权限移动项目至权限充足目录或提升目录权限七、方案总结与选型建议7.1 不同场景方案选型参考结合项目规模、运行环境、运维能力给出选型建议个人本地使用优先使用原生目录 start.bat前台脚本简单易维护多台 Windows 办公机分发完整项目文件夹 依赖安装脚本 后台启动脚本单台 Linux 云服务器源码包部署 nohup后台脚本 进程守护企业集群 / 版本管控setup.py标准打包 统一分发 定时任务运维。7.2 本章节核心能力总结本文完成了 Scrapy 项目从源码开发到工程化部署的全链路落地核心实现三大能力依赖统一管控通过requirements.txt固化版本实现跨环境一键安装解决环境不一致问题脚本封装屏蔽复杂命令行实现全平台一键启停降低使用门槛标准化打包基于 setuptools 生成官方分发包适配版本归档、集群分发场景 同时配套日志持久化、进程守护、日志切割清理等运维能力满足线上长期运行要求。八、系列后续内容预告本系列前五篇已依次完成SQLite 数据入库、多栏目网页适配、项目模块化拆分、请求重试中间件、项目打包与一键部署一套完整的单机生产级 Scrapy 爬虫体系已全部搭建完成。下一篇将基于现有完整架构开展公开行业榜单批量采集、数据入库与基础数据分析实战结合多栏目采集能力、SQLite 数据库实现批量数据爬取、数据筛选、简单统计分析落地数据采集 数据分析的完整业务场景。
