简介这是一套基于Python技术栈开发的招聘网站数据采集与可视化分析系统面向爬虫初学者、Web全栈学习者及数据分析实践者解决招聘数据动态获取、结构化存储与多维展示的实际问题。资源包共520个文件以284个Python源码为核心含Scrapy爬虫、Django后端与数据处理脚本辅以HTML/CSS/JS前端页面、SQLite3数据库文件及Bootstrap等前端依赖整体17.55MB结构完整开箱即用。已有13541人学习下载体现其在实战教学与项目复现中的广泛认可。读者可直接部署运行完整实现招聘数据自动抓取、分页展示、岗位关键词筛选、词云可视化分析并支持用户账户管理、岗位收藏与信息发布等交互功能界面简洁美观代码模块清晰是理解ScrapyDjango协同开发与数据闭环处理的优质参考案例。1. 为什么用 Python 做招聘网站爬虫可视化不是“写个脚本就完事”你可能刚在招聘平台看到“Python 爬虫工程师”岗位顺手搜了下“python爬虫招聘网站可视化系统”结果跳出一堆带截图的 GitHub 项目、CSDN 教程和 PyCharm 截图——但真正跑通一个能稳定抓取前程无忧/BOSS直聘/智联招聘注意仅限公开职位列表页不含登录态数据并生成可交互图表的最小闭环系统远不止requests.get()pandas.read_html()matplotlib.plot()三行代码。真实场景中你要面对反爬策略升级如动态加载、请求头校验、频率限制、HTML 结构频繁变动招聘网站每季度改版一次 DOM、数据字段语义混乱“经验要求”字段里混着“3-5年”“应届”“不限”甚至“硕士优先”、以及可视化时坐标轴错位、词云停用词失效、薪资区间缺失值处理不当等连锁问题。这个标题指向的是一套可维护、可验证、可复现的端到端数据流从 HTTP 请求调度、DOM 解析规则抽象、结构化存储设计到基于真实业务维度如城市分布、学历门槛、技术栈热度的图表选型与交互配置。适合已掌握基础 Python 语法、能写函数但没做过完整数据管道的中级开发者也适合需要交付“招聘市场分析看板”的数据分析岗做技术储备。2. 用 Scrapy 搭建招聘网站爬虫骨架为什么不用 requests BeautifulSoup 做主力Scrapy 不是“更高级的 requests”而是为规模化、可持续、可监控的网页抓取而生的框架。招聘网站的数据量级决定必须用 Scrapy单日抓取 5000 职位时requests 需手动管理连接池、重试逻辑、中间件链而 Scrapy 内置异步引擎Twisted、自动去重DUPEFILTER_CLASS、请求队列SCHEDULER和状态监控STATS_DUMP。更重要的是它强制你把“解析逻辑”和“请求逻辑”解耦——这直接决定后续可视化环节的数据质量稳定性。2.1 创建 Scrapy 项目并配置基础中间件scrapy startproject job_spider cd job_spider scrapy genspider boss bosszhipin.com在settings.py中启用关键中间件并设置合理参数# settings.py BOT_NAME job_spider SPIDER_MODULES [job_spider.spiders] NEWSPIDER_MODULE job_spider.spiders # 关键降低请求频率避免触发风控 DOWNLOAD_DELAY 1.5 RANDOMIZE_DOWNLOAD_DELAY True # 在 0.5*DELAY 到 1.5*DELAY 间随机 # 启用 User-Agent 轮换需安装 scrapy-user-agents DOWNLOADER_MIDDLEWARES { scrapy.downloadermiddlewares.useragent.UserAgentMiddleware: None, scrapy_user_agents.middlewares.RandomUserAgentMiddleware: 400, } # 启用自动限速比单纯 DOWNLOAD_DELAY 更智能 AUTOTHROTTLE_ENABLED True AUTOTHROTTLE_START_DELAY 1 AUTOTHROTTLE_MAX_DELAY 3 AUTOTHROTTLE_TARGET_CONCURRENCY 1.0 # 存储层先用 JSONLines后期可无缝切到 PostgreSQL FEEDS { output/jobs.jsonl: { format: jsonlines, encoding: utf-8, overwrite: True, fields: [title, salary, city, experience, education, skills, company, publish_time] } }提示AUTOTHROTTLE_TARGET_CONCURRENCY 1.0表示目标并发数为 1配合DOWNLOAD_DELAY可有效模拟人类浏览节奏。不要盲目调高并发——招聘网站对/api/job/search类接口有严格 QPS 限制实测超过 2 QPS 即触发 403。2.2 编写 Spider以 BOSS 直聘为例解析动态加载页面BOSS 直聘使用 React 渲染职位列表通过 AJAX 加载URL 中含加密参数。但其搜索页 HTML 源码中嵌有初始数据window.__INITIAL_STATE__这是最稳定的解析入口# spiders/boss.py import json import re from scrapy import Spider, Request from scrapy.http import HtmlResponse class BossSpider(Spider): name boss allowed_domains [www.zhipin.com] start_urls [https://www.zhipin.com/web/geek/job?queryPythoncity101010100] # 北京 Python 岗位 def parse(self, response: HtmlResponse): # 提取 window.__INITIAL_STATE__ 中的 JSON 数据 script_content response.css(script:contains(__INITIAL_STATE__)::text).get() if not script_content: self.logger.warning(fNo __INITIAL_STATE__ found in {response.url}) return # 正则提取 JSON 字符串避免 eval json_match re.search(rwindow\.__INITIAL_STATE__\s*\s*({.*?});, script_content, re.DOTALL) if not json_match: return try: data json.loads(json_match.group(1)) # 解析职位列表路径根据实际 DOM 结构调整 job_list data.get(search, {}).get(jobList, []) for job in job_list: yield { title: job.get(jobName, ).strip(), salary: job.get(salary, ), city: job.get(city, ), experience: job.get(workingExpName, ), education: job.get(degreeName, ), skills: [s.strip() for s in job.get(skills, ).split( ) if s.strip()], company: job.get(companyName, ), publish_time: job.get(publishTime, ) } except (json.JSONDecodeError, KeyError) as e: self.logger.error(fFailed to parse __INITIAL_STATE__: {e})2.2.1 关键点说明为什么不用 Playwright 或 SeleniumPlaywright/Selenium 适合渲染 JS 但代价高启动浏览器进程、内存占用大、无法原生集成 Scrapy 的异步调度。招聘网站的职位列表页绝大多数数据已内嵌在 HTML 的script标签中无需执行 JS 即可获取。Scrapy 正则提取 JSON 是平衡点比json.loads(response.text)安全避免解析整个 HTML比 Puppeteer 启动快 10 倍以上。实测单页解析耗时 50ms。字段健壮性设计所有.get()调用都设默认值空字符串或空列表避免KeyError导致整个爬虫中断。2.3 处理反爬应对招聘网站的常见防御手段招聘网站常用三种反爬机制Scrapy 可针对性配置防御类型表现Scrapy 应对方案配置位置请求头校验返回 403 或空白页启用scrapy-user-agents 自定义 Referersettings.py中间件IP 频率限制连续请求后返回验证码或 429启用AUTOTHROTTLE 设置COOKIES_ENABLED False减少状态依赖settings.py动态 TokenURL 参数含时间戳/签名抓包分析生成逻辑用scrapy-splash或预计算本例中 BOSS 直聘未强制spider.py中构造start_urls# 在 spider 中添加 Referer模拟从首页跳转 def start_requests(self): for url in self.start_urls: yield Request( urlurl, headers{Referer: https://www.zhipin.com/}, callbackself.parse )注意COOKIES_ENABLED False在settings.py中关闭 Cookie避免因会话过期导致的 302 重定向失败。招聘网站公开页通常不依赖 Cookie 维持状态。3. 数据清洗与结构化让爬取结果真正可用爬虫输出的原始数据充满噪声薪资字段是“15k-25k/月”或“面议”城市字段含“北京·朝阳区”技能字段是“Python, Django, MySQL”字符串。不做清洗可视化图表就是垃圾进、垃圾出。3.1 构建清洗 Pipeline用 ItemLoader 统一处理字段Scrapy 的ItemLoader允许为每个字段定义输入/输出处理器实现声明式清洗# items.py import re from scrapy import Field from scrapy.loader import ItemLoader from scrapy.loader.processors import MapCompose, TakeFirst, Join def clean_salary(value): 将 15k-25k/月 → (15000, 25000)面议 → (None, None) if not value or 面议 in value: return (None, None) # 匹配数字k 或 数字K match re.search(r(\d\.?\d*)k-(\d\.?\d*)k, value, re.I) if match: low, high float(match.group(1)) * 1000, float(match.group(2)) * 1000 return (int(low), int(high)) return (None, None) def clean_city(value): 将 北京·朝阳区 → 北京 if not value: return return value.split(·)[0].strip() def split_skills(value): 将 Python, Django, MySQL → [Python, Django, MySQL] if not value: return [] return [s.strip() for s in value.split(,) if s.strip()] class JobItem(scrapy.Item): title scrapy.Field() salary_low scrapy.Field() salary_high scrapy.Field() city scrapy.Field() experience scrapy.Field() education scrapy.Field() skills scrapy.Field() company scrapy.Field() publish_time scrapy.Field() class JobItemLoader(ItemLoader): default_output_processor TakeFirst() title_in MapCompose(str.strip) salary_low_in MapCompose(clean_salary) salary_high_in MapCompose(clean_salary) city_in MapCompose(clean_city) experience_in MapCompose(str.strip) education_in MapCompose(str.strip) skills_in MapCompose(split_skills) company_in MapCompose(str.strip) publish_time_in MapCompose(str.strip)3.1.1 在 Spider 中使用 ItemLoader# spiders/boss.py from job_spider.items import JobItem, JobItemLoader def parse(self, response: HtmlResponse): # ... 解析逻辑同上 ... for job in job_list: loader JobItemLoader(itemJobItem(), responseresponse) loader.add_value(title, job.get(jobName, )) # salary 字段需拆分为 low/high salary_range clean_salary(job.get(salary, )) loader.add_value(salary_low, salary_range[0]) loader.add_value(salary_high, salary_range[1]) loader.add_value(city, job.get(city, )) loader.add_value(experience, job.get(workingExpName, )) loader.add_value(education, job.get(degreeName, )) loader.add_value(skills, job.get(skills, )) loader.add_value(company, job.get(companyName, )) loader.add_value(publish_time, job.get(publishTime, )) yield loader.load_item()3.2 存储到 SQLite轻量级、免运维、支持后续分析招聘数据量在万级时SQLite 比 CSV 更可靠支持索引加速查询、事务保证写入原子性、可直接用 pandas 读取。# pipelines.py import sqlite3 from scrapy.exceptions import DropItem class SqlitePipeline: def open_spider(self, spider): self.connection sqlite3.connect(jobs.db) self.cursor self.connection.cursor() self.cursor.execute( CREATE TABLE IF NOT EXISTS jobs ( id INTEGER PRIMARY KEY AUTOINCREMENT, title TEXT, salary_low REAL, salary_high REAL, city TEXT, experience TEXT, education TEXT, skills TEXT, -- JSON 字符串存储 company TEXT, publish_time TEXT, crawled_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ) ) self.connection.commit() def close_spider(self, spider): self.connection.close() def process_item(self, item, spider): # 将 skills 列表转为 JSON 字符串 skills_json json.dumps(item.get(skills, []), ensure_asciiFalse) self.cursor.execute( INSERT INTO jobs (title, salary_low, salary_high, city, experience, education, skills, company, publish_time) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?) , ( item.get(title), item.get(salary_low), item.get(salary_high), item.get(city), item.get(experience), item.get(education), skills_json, item.get(company), item.get(publish_time) )) self.connection.commit() return item在settings.py中启用ITEM_PIPELINES { job_spider.pipelines.SqlitePipeline: 300, }提示skills TEXT存为 JSON 字符串而非关联表是权衡——万级数据下 JOIN 查询反而慢于json_extract()且简化了 pipeline 逻辑。后续可视化时用pandas.read_sql(SELECT * FROM jobs, conn)直接加载。4. 可视化系统落地用 Plotly Dash 构建可交互招聘分析看板Matplotlib 和 Seaborn 适合生成静态报告但“招聘网站可视化系统”隐含交互需求用户点击城市筛选、拖拽时间范围、搜索关键词高亮技能词云。Dash 是 Python 生态中唯一能零前端知识构建生产级 Web 可视化应用的方案且与 pandas、plotly 深度集成。4.1 初始化 Dash 应用并加载数据# app.py import dash from dash import dcc, html, Input, Output, State, callback import plotly.express as px import pandas as pd import sqlite3 import json # 从 SQLite 加载数据 def load_data(): conn sqlite3.connect(jobs.db) df pd.read_sql_query( SELECT title, salary_low, salary_high, city, experience, education, skills, company, publish_time FROM jobs WHERE salary_low IS NOT NULL AND salary_high IS NOT NULL , conn) # 解析 skills JSON 字符串 df[skills] df[skills].apply(lambda x: json.loads(x) if x else []) conn.close() return df df load_data() app dash.Dash(__name__, suppress_callback_exceptionsTrue) server app.server # 用于部署 app.layout html.Div([ html.H1(招聘市场分析看板, style{textAlign: center}), # 控制面板 html.Div([ html.Label(选择城市), dcc.Dropdown( idcity-dropdown, options[{label: c, value: c} for c in df[city].unique()], valuedf[city].unique().tolist()[:3], # 默认选前3个城市 multiTrue ), html.Label(经验要求), dcc.Checklist( idexp-checklist, options[{label: e, value: e} for e in df[experience].dropna().unique()], valuedf[experience].dropna().unique().tolist() ) ], style{padding: 20px, backgroundColor: #f9f9f9}), # 图表区域 html.Div([ dcc.Graph(idsalary-boxplot), dcc.Graph(idskill-wordcloud), # 使用 plotly wordcloud 替代 matplotlib dcc.Graph(idedu-pie) ]) ])4.2 实现核心交互回调响应用户操作并重绘图表callback( [Output(salary-boxplot, figure), Output(skill-wordcloud, figure), Output(edu-pie, figure)], [Input(city-dropdown, value), Input(exp-checklist, value)] ) def update_charts(selected_cities, selected_exps): # 数据过滤 filtered_df df.copy() if selected_cities: filtered_df filtered_df[filtered_df[city].isin(selected_cities)] if selected_exps: filtered_df filtered_df[filtered_df[experience].isin(selected_exps)] # 图表1薪资分布箱线图按城市分组 fig_salary px.box( filtered_df, xcity, ysalary_high, title各城市最高薪资分布元/月, labels{salary_high: 最高月薪, city: 城市} ) # 图表2技能词云统计所有技能出现频次 from collections import Counter all_skills [skill for skills in filtered_df[skills] for skill in skills] skill_counter Counter(all_skills) # 取 Top 20 技能 top_skills skill_counter.most_common(20) skills_df pd.DataFrame(top_skills, columns[skill, count]) fig_wordcloud px.treemap( skills_df, path[skill], valuescount, title热门技能词云Top 20, colorcount, color_continuous_scaleViridis ) # 图表3学历要求饼图 edu_counts filtered_df[education].value_counts() fig_edu px.pie( namesedu_counts.index, valuesedu_counts.values, title学历要求分布, labels{names: 学历, values: 岗位数} ) return fig_salary, fig_wordcloud, fig_edu if __name__ __main__: app.run_server(debugTrue, host0.0.0.0, port8050)4.2.1 关键设计说明为什么用 Treemap 代替 Matplotlib 词云Dash 原生支持 Treemap无需额外 JavaScript 依赖px.treemap渲染快、响应式好、支持 hover 交互。规避中文分词陷阱Matplotlib 词云需jieba分词但招聘技能如“SpringBoot”“ReactNative”是固定术语直接计数更准确。可筛选性Treemap 的path参数天然支持点击钻取用户点击某个技能块可触发新回调加载该技能相关岗位详情。4.3 部署到服务器用 Gunicorn Nginx 承载真实流量本地app.run_server()仅用于开发。生产环境需安装 Gunicornpip install gunicorn创建wsgi.py# wsgi.py from app import server if __name__ __main__: server.run()启动命令4 进程监听 8000 端口gunicorn --bind 0.0.0.0:8000 --workers 4 --worker-class sync wsgi:serverNginx 反向代理配置# /etc/nginx/sites-available/job-dashboard server { listen 80; server_name your-domain.com; location / { proxy_pass http://127.0.0.1:8000; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection upgrade; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; } }注意Dash 默认开启debugTrue会暴露源码路径生产务必设debugFalse并禁用dev_toolsapp dash.Dash(__name__, suppress_callback_exceptionsTrue, dev_tools_uiFalse, dev_tools_props_checkFalse)5. 进阶技巧让可视化系统真正“可用”而非“能跑”一个能通过python app.py启动的 Dash 应用只是起点。真实业务中你需要解决三个隐形问题数据新鲜度、图表误导风险、协作交付成本。5.1 自动化数据更新用 APScheduler 实现每日定时爬取手动运行scrapy crawl boss不可持续。APScheduler 可在 Python 进程内启动定时任务避免 crontab 管理多个服务# scheduler.py from apscheduler.schedulers.background import BackgroundScheduler from apscheduler.triggers.interval import IntervalTrigger import os import subprocess def run_spider(): 执行 Scrapy 爬虫并重载 Dash 数据 try: # 进入爬虫目录执行 result subprocess.run( [scrapy, crawl, boss], cwd/path/to/job_spider, capture_outputTrue, textTrue, timeout3600 # 1小时超时 ) if result.returncode 0: print(Spider completed successfully) else: print(fSpider failed: {result.stderr}) except subprocess.TimeoutExpired: print(Spider timed out) # 启动调度器 scheduler BackgroundScheduler() scheduler.add_job( funcrun_spider, triggerIntervalTrigger(hours24), # 每24小时执行 idjob_spider_job, nameDaily job data update, replace_existingTrue ) scheduler.start() # 在 app.py 中导入并保持运行 # import scheduler5.2 规避可视化陷阱三个必须检查的图表逻辑招聘数据可视化极易产生误导以下检查点应在每次发布前验证图表类型常见陷阱验证方法修复代码示例薪资箱线图用salary_high代表整体薪资水平忽略salary_low改用salary_avg (salary_low salary_high) / 2计算均值df[salary_avg] df[[salary_low, salary_high]].mean(axis1)技能词云“Java”和“JavaScript”被分别计数但实际是同一技术栈添加技能映射表归一化skill_map {JavaScript: JS, Java: JAVA}学历饼图“本科”占比 60%“硕士”20%但未标注样本总数仅 50 条数据在图表标题中强制显示数据量titlef学历要求分布n{len(filtered_df)}5.3 快速交付技巧用 Docker 封装整个系统客户要的不是 Python 代码而是一个可一键运行的分析系统。Dockerfile 封装所有依赖# Dockerfile FROM python:3.9-slim WORKDIR /app COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt COPY . . # 暴露 Dash 端口 EXPOSE 8050 # 启动命令先运行爬虫再启动 Dash CMD [sh, -c, scrapy crawl boss python app.py]构建并运行docker build -t job-visualizer . docker run -p 8050:8050 job-visualizer此时客户只需docker run一条命令就能获得包含爬虫、数据库、可视化界面的完整系统无需安装 Python、配置环境变量、处理依赖冲突——这才是“招聘网站可视化系统”在工程落地层面的终极形态。本文还有配套的精品资源点击获取 Python招聘爬虫+可视化端到端实战：Scrapy+Dash构建可维护分析看板
简介这是一套基于Python技术栈开发的招聘网站数据采集与可视化分析系统面向爬虫初学者、Web全栈学习者及数据分析实践者解决招聘数据动态获取、结构化存储与多维展示的实际问题。资源包共520个文件以284个Python源码为核心含Scrapy爬虫、Django后端与数据处理脚本辅以HTML/CSS/JS前端页面、SQLite3数据库文件及Bootstrap等前端依赖整体17.55MB结构完整开箱即用。已有13541人学习下载体现其在实战教学与项目复现中的广泛认可。读者可直接部署运行完整实现招聘数据自动抓取、分页展示、岗位关键词筛选、词云可视化分析并支持用户账户管理、岗位收藏与信息发布等交互功能界面简洁美观代码模块清晰是理解ScrapyDjango协同开发与数据闭环处理的优质参考案例。1. 为什么用 Python 做招聘网站爬虫可视化不是“写个脚本就完事”你可能刚在招聘平台看到“Python 爬虫工程师”岗位顺手搜了下“python爬虫招聘网站可视化系统”结果跳出一堆带截图的 GitHub 项目、CSDN 教程和 PyCharm 截图——但真正跑通一个能稳定抓取前程无忧/BOSS直聘/智联招聘注意仅限公开职位列表页不含登录态数据并生成可交互图表的最小闭环系统远不止requests.get()pandas.read_html()matplotlib.plot()三行代码。真实场景中你要面对反爬策略升级如动态加载、请求头校验、频率限制、HTML 结构频繁变动招聘网站每季度改版一次 DOM、数据字段语义混乱“经验要求”字段里混着“3-5年”“应届”“不限”甚至“硕士优先”、以及可视化时坐标轴错位、词云停用词失效、薪资区间缺失值处理不当等连锁问题。这个标题指向的是一套可维护、可验证、可复现的端到端数据流从 HTTP 请求调度、DOM 解析规则抽象、结构化存储设计到基于真实业务维度如城市分布、学历门槛、技术栈热度的图表选型与交互配置。适合已掌握基础 Python 语法、能写函数但没做过完整数据管道的中级开发者也适合需要交付“招聘市场分析看板”的数据分析岗做技术储备。2. 用 Scrapy 搭建招聘网站爬虫骨架为什么不用 requests BeautifulSoup 做主力Scrapy 不是“更高级的 requests”而是为规模化、可持续、可监控的网页抓取而生的框架。招聘网站的数据量级决定必须用 Scrapy单日抓取 5000 职位时requests 需手动管理连接池、重试逻辑、中间件链而 Scrapy 内置异步引擎Twisted、自动去重DUPEFILTER_CLASS、请求队列SCHEDULER和状态监控STATS_DUMP。更重要的是它强制你把“解析逻辑”和“请求逻辑”解耦——这直接决定后续可视化环节的数据质量稳定性。2.1 创建 Scrapy 项目并配置基础中间件scrapy startproject job_spider cd job_spider scrapy genspider boss bosszhipin.com在settings.py中启用关键中间件并设置合理参数# settings.py BOT_NAME job_spider SPIDER_MODULES [job_spider.spiders] NEWSPIDER_MODULE job_spider.spiders # 关键降低请求频率避免触发风控 DOWNLOAD_DELAY 1.5 RANDOMIZE_DOWNLOAD_DELAY True # 在 0.5*DELAY 到 1.5*DELAY 间随机 # 启用 User-Agent 轮换需安装 scrapy-user-agents DOWNLOADER_MIDDLEWARES { scrapy.downloadermiddlewares.useragent.UserAgentMiddleware: None, scrapy_user_agents.middlewares.RandomUserAgentMiddleware: 400, } # 启用自动限速比单纯 DOWNLOAD_DELAY 更智能 AUTOTHROTTLE_ENABLED True AUTOTHROTTLE_START_DELAY 1 AUTOTHROTTLE_MAX_DELAY 3 AUTOTHROTTLE_TARGET_CONCURRENCY 1.0 # 存储层先用 JSONLines后期可无缝切到 PostgreSQL FEEDS { output/jobs.jsonl: { format: jsonlines, encoding: utf-8, overwrite: True, fields: [title, salary, city, experience, education, skills, company, publish_time] } }提示AUTOTHROTTLE_TARGET_CONCURRENCY 1.0表示目标并发数为 1配合DOWNLOAD_DELAY可有效模拟人类浏览节奏。不要盲目调高并发——招聘网站对/api/job/search类接口有严格 QPS 限制实测超过 2 QPS 即触发 403。2.2 编写 Spider以 BOSS 直聘为例解析动态加载页面BOSS 直聘使用 React 渲染职位列表通过 AJAX 加载URL 中含加密参数。但其搜索页 HTML 源码中嵌有初始数据window.__INITIAL_STATE__这是最稳定的解析入口# spiders/boss.py import json import re from scrapy import Spider, Request from scrapy.http import HtmlResponse class BossSpider(Spider): name boss allowed_domains [www.zhipin.com] start_urls [https://www.zhipin.com/web/geek/job?queryPythoncity101010100] # 北京 Python 岗位 def parse(self, response: HtmlResponse): # 提取 window.__INITIAL_STATE__ 中的 JSON 数据 script_content response.css(script:contains(__INITIAL_STATE__)::text).get() if not script_content: self.logger.warning(fNo __INITIAL_STATE__ found in {response.url}) return # 正则提取 JSON 字符串避免 eval json_match re.search(rwindow\.__INITIAL_STATE__\s*\s*({.*?});, script_content, re.DOTALL) if not json_match: return try: data json.loads(json_match.group(1)) # 解析职位列表路径根据实际 DOM 结构调整 job_list data.get(search, {}).get(jobList, []) for job in job_list: yield { title: job.get(jobName, ).strip(), salary: job.get(salary, ), city: job.get(city, ), experience: job.get(workingExpName, ), education: job.get(degreeName, ), skills: [s.strip() for s in job.get(skills, ).split( ) if s.strip()], company: job.get(companyName, ), publish_time: job.get(publishTime, ) } except (json.JSONDecodeError, KeyError) as e: self.logger.error(fFailed to parse __INITIAL_STATE__: {e})2.2.1 关键点说明为什么不用 Playwright 或 SeleniumPlaywright/Selenium 适合渲染 JS 但代价高启动浏览器进程、内存占用大、无法原生集成 Scrapy 的异步调度。招聘网站的职位列表页绝大多数数据已内嵌在 HTML 的script标签中无需执行 JS 即可获取。Scrapy 正则提取 JSON 是平衡点比json.loads(response.text)安全避免解析整个 HTML比 Puppeteer 启动快 10 倍以上。实测单页解析耗时 50ms。字段健壮性设计所有.get()调用都设默认值空字符串或空列表避免KeyError导致整个爬虫中断。2.3 处理反爬应对招聘网站的常见防御手段招聘网站常用三种反爬机制Scrapy 可针对性配置防御类型表现Scrapy 应对方案配置位置请求头校验返回 403 或空白页启用scrapy-user-agents 自定义 Referersettings.py中间件IP 频率限制连续请求后返回验证码或 429启用AUTOTHROTTLE 设置COOKIES_ENABLED False减少状态依赖settings.py动态 TokenURL 参数含时间戳/签名抓包分析生成逻辑用scrapy-splash或预计算本例中 BOSS 直聘未强制spider.py中构造start_urls# 在 spider 中添加 Referer模拟从首页跳转 def start_requests(self): for url in self.start_urls: yield Request( urlurl, headers{Referer: https://www.zhipin.com/}, callbackself.parse )注意COOKIES_ENABLED False在settings.py中关闭 Cookie避免因会话过期导致的 302 重定向失败。招聘网站公开页通常不依赖 Cookie 维持状态。3. 数据清洗与结构化让爬取结果真正可用爬虫输出的原始数据充满噪声薪资字段是“15k-25k/月”或“面议”城市字段含“北京·朝阳区”技能字段是“Python, Django, MySQL”字符串。不做清洗可视化图表就是垃圾进、垃圾出。3.1 构建清洗 Pipeline用 ItemLoader 统一处理字段Scrapy 的ItemLoader允许为每个字段定义输入/输出处理器实现声明式清洗# items.py import re from scrapy import Field from scrapy.loader import ItemLoader from scrapy.loader.processors import MapCompose, TakeFirst, Join def clean_salary(value): 将 15k-25k/月 → (15000, 25000)面议 → (None, None) if not value or 面议 in value: return (None, None) # 匹配数字k 或 数字K match re.search(r(\d\.?\d*)k-(\d\.?\d*)k, value, re.I) if match: low, high float(match.group(1)) * 1000, float(match.group(2)) * 1000 return (int(low), int(high)) return (None, None) def clean_city(value): 将 北京·朝阳区 → 北京 if not value: return return value.split(·)[0].strip() def split_skills(value): 将 Python, Django, MySQL → [Python, Django, MySQL] if not value: return [] return [s.strip() for s in value.split(,) if s.strip()] class JobItem(scrapy.Item): title scrapy.Field() salary_low scrapy.Field() salary_high scrapy.Field() city scrapy.Field() experience scrapy.Field() education scrapy.Field() skills scrapy.Field() company scrapy.Field() publish_time scrapy.Field() class JobItemLoader(ItemLoader): default_output_processor TakeFirst() title_in MapCompose(str.strip) salary_low_in MapCompose(clean_salary) salary_high_in MapCompose(clean_salary) city_in MapCompose(clean_city) experience_in MapCompose(str.strip) education_in MapCompose(str.strip) skills_in MapCompose(split_skills) company_in MapCompose(str.strip) publish_time_in MapCompose(str.strip)3.1.1 在 Spider 中使用 ItemLoader# spiders/boss.py from job_spider.items import JobItem, JobItemLoader def parse(self, response: HtmlResponse): # ... 解析逻辑同上 ... for job in job_list: loader JobItemLoader(itemJobItem(), responseresponse) loader.add_value(title, job.get(jobName, )) # salary 字段需拆分为 low/high salary_range clean_salary(job.get(salary, )) loader.add_value(salary_low, salary_range[0]) loader.add_value(salary_high, salary_range[1]) loader.add_value(city, job.get(city, )) loader.add_value(experience, job.get(workingExpName, )) loader.add_value(education, job.get(degreeName, )) loader.add_value(skills, job.get(skills, )) loader.add_value(company, job.get(companyName, )) loader.add_value(publish_time, job.get(publishTime, )) yield loader.load_item()3.2 存储到 SQLite轻量级、免运维、支持后续分析招聘数据量在万级时SQLite 比 CSV 更可靠支持索引加速查询、事务保证写入原子性、可直接用 pandas 读取。# pipelines.py import sqlite3 from scrapy.exceptions import DropItem class SqlitePipeline: def open_spider(self, spider): self.connection sqlite3.connect(jobs.db) self.cursor self.connection.cursor() self.cursor.execute( CREATE TABLE IF NOT EXISTS jobs ( id INTEGER PRIMARY KEY AUTOINCREMENT, title TEXT, salary_low REAL, salary_high REAL, city TEXT, experience TEXT, education TEXT, skills TEXT, -- JSON 字符串存储 company TEXT, publish_time TEXT, crawled_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ) ) self.connection.commit() def close_spider(self, spider): self.connection.close() def process_item(self, item, spider): # 将 skills 列表转为 JSON 字符串 skills_json json.dumps(item.get(skills, []), ensure_asciiFalse) self.cursor.execute( INSERT INTO jobs (title, salary_low, salary_high, city, experience, education, skills, company, publish_time) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?) , ( item.get(title), item.get(salary_low), item.get(salary_high), item.get(city), item.get(experience), item.get(education), skills_json, item.get(company), item.get(publish_time) )) self.connection.commit() return item在settings.py中启用ITEM_PIPELINES { job_spider.pipelines.SqlitePipeline: 300, }提示skills TEXT存为 JSON 字符串而非关联表是权衡——万级数据下 JOIN 查询反而慢于json_extract()且简化了 pipeline 逻辑。后续可视化时用pandas.read_sql(SELECT * FROM jobs, conn)直接加载。4. 可视化系统落地用 Plotly Dash 构建可交互招聘分析看板Matplotlib 和 Seaborn 适合生成静态报告但“招聘网站可视化系统”隐含交互需求用户点击城市筛选、拖拽时间范围、搜索关键词高亮技能词云。Dash 是 Python 生态中唯一能零前端知识构建生产级 Web 可视化应用的方案且与 pandas、plotly 深度集成。4.1 初始化 Dash 应用并加载数据# app.py import dash from dash import dcc, html, Input, Output, State, callback import plotly.express as px import pandas as pd import sqlite3 import json # 从 SQLite 加载数据 def load_data(): conn sqlite3.connect(jobs.db) df pd.read_sql_query( SELECT title, salary_low, salary_high, city, experience, education, skills, company, publish_time FROM jobs WHERE salary_low IS NOT NULL AND salary_high IS NOT NULL , conn) # 解析 skills JSON 字符串 df[skills] df[skills].apply(lambda x: json.loads(x) if x else []) conn.close() return df df load_data() app dash.Dash(__name__, suppress_callback_exceptionsTrue) server app.server # 用于部署 app.layout html.Div([ html.H1(招聘市场分析看板, style{textAlign: center}), # 控制面板 html.Div([ html.Label(选择城市), dcc.Dropdown( idcity-dropdown, options[{label: c, value: c} for c in df[city].unique()], valuedf[city].unique().tolist()[:3], # 默认选前3个城市 multiTrue ), html.Label(经验要求), dcc.Checklist( idexp-checklist, options[{label: e, value: e} for e in df[experience].dropna().unique()], valuedf[experience].dropna().unique().tolist() ) ], style{padding: 20px, backgroundColor: #f9f9f9}), # 图表区域 html.Div([ dcc.Graph(idsalary-boxplot), dcc.Graph(idskill-wordcloud), # 使用 plotly wordcloud 替代 matplotlib dcc.Graph(idedu-pie) ]) ])4.2 实现核心交互回调响应用户操作并重绘图表callback( [Output(salary-boxplot, figure), Output(skill-wordcloud, figure), Output(edu-pie, figure)], [Input(city-dropdown, value), Input(exp-checklist, value)] ) def update_charts(selected_cities, selected_exps): # 数据过滤 filtered_df df.copy() if selected_cities: filtered_df filtered_df[filtered_df[city].isin(selected_cities)] if selected_exps: filtered_df filtered_df[filtered_df[experience].isin(selected_exps)] # 图表1薪资分布箱线图按城市分组 fig_salary px.box( filtered_df, xcity, ysalary_high, title各城市最高薪资分布元/月, labels{salary_high: 最高月薪, city: 城市} ) # 图表2技能词云统计所有技能出现频次 from collections import Counter all_skills [skill for skills in filtered_df[skills] for skill in skills] skill_counter Counter(all_skills) # 取 Top 20 技能 top_skills skill_counter.most_common(20) skills_df pd.DataFrame(top_skills, columns[skill, count]) fig_wordcloud px.treemap( skills_df, path[skill], valuescount, title热门技能词云Top 20, colorcount, color_continuous_scaleViridis ) # 图表3学历要求饼图 edu_counts filtered_df[education].value_counts() fig_edu px.pie( namesedu_counts.index, valuesedu_counts.values, title学历要求分布, labels{names: 学历, values: 岗位数} ) return fig_salary, fig_wordcloud, fig_edu if __name__ __main__: app.run_server(debugTrue, host0.0.0.0, port8050)4.2.1 关键设计说明为什么用 Treemap 代替 Matplotlib 词云Dash 原生支持 Treemap无需额外 JavaScript 依赖px.treemap渲染快、响应式好、支持 hover 交互。规避中文分词陷阱Matplotlib 词云需jieba分词但招聘技能如“SpringBoot”“ReactNative”是固定术语直接计数更准确。可筛选性Treemap 的path参数天然支持点击钻取用户点击某个技能块可触发新回调加载该技能相关岗位详情。4.3 部署到服务器用 Gunicorn Nginx 承载真实流量本地app.run_server()仅用于开发。生产环境需安装 Gunicornpip install gunicorn创建wsgi.py# wsgi.py from app import server if __name__ __main__: server.run()启动命令4 进程监听 8000 端口gunicorn --bind 0.0.0.0:8000 --workers 4 --worker-class sync wsgi:serverNginx 反向代理配置# /etc/nginx/sites-available/job-dashboard server { listen 80; server_name your-domain.com; location / { proxy_pass http://127.0.0.1:8000; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection upgrade; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; } }注意Dash 默认开启debugTrue会暴露源码路径生产务必设debugFalse并禁用dev_toolsapp dash.Dash(__name__, suppress_callback_exceptionsTrue, dev_tools_uiFalse, dev_tools_props_checkFalse)5. 进阶技巧让可视化系统真正“可用”而非“能跑”一个能通过python app.py启动的 Dash 应用只是起点。真实业务中你需要解决三个隐形问题数据新鲜度、图表误导风险、协作交付成本。5.1 自动化数据更新用 APScheduler 实现每日定时爬取手动运行scrapy crawl boss不可持续。APScheduler 可在 Python 进程内启动定时任务避免 crontab 管理多个服务# scheduler.py from apscheduler.schedulers.background import BackgroundScheduler from apscheduler.triggers.interval import IntervalTrigger import os import subprocess def run_spider(): 执行 Scrapy 爬虫并重载 Dash 数据 try: # 进入爬虫目录执行 result subprocess.run( [scrapy, crawl, boss], cwd/path/to/job_spider, capture_outputTrue, textTrue, timeout3600 # 1小时超时 ) if result.returncode 0: print(Spider completed successfully) else: print(fSpider failed: {result.stderr}) except subprocess.TimeoutExpired: print(Spider timed out) # 启动调度器 scheduler BackgroundScheduler() scheduler.add_job( funcrun_spider, triggerIntervalTrigger(hours24), # 每24小时执行 idjob_spider_job, nameDaily job data update, replace_existingTrue ) scheduler.start() # 在 app.py 中导入并保持运行 # import scheduler5.2 规避可视化陷阱三个必须检查的图表逻辑招聘数据可视化极易产生误导以下检查点应在每次发布前验证图表类型常见陷阱验证方法修复代码示例薪资箱线图用salary_high代表整体薪资水平忽略salary_low改用salary_avg (salary_low salary_high) / 2计算均值df[salary_avg] df[[salary_low, salary_high]].mean(axis1)技能词云“Java”和“JavaScript”被分别计数但实际是同一技术栈添加技能映射表归一化skill_map {JavaScript: JS, Java: JAVA}学历饼图“本科”占比 60%“硕士”20%但未标注样本总数仅 50 条数据在图表标题中强制显示数据量titlef学历要求分布n{len(filtered_df)}5.3 快速交付技巧用 Docker 封装整个系统客户要的不是 Python 代码而是一个可一键运行的分析系统。Dockerfile 封装所有依赖# Dockerfile FROM python:3.9-slim WORKDIR /app COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt COPY . . # 暴露 Dash 端口 EXPOSE 8050 # 启动命令先运行爬虫再启动 Dash CMD [sh, -c, scrapy crawl boss python app.py]构建并运行docker build -t job-visualizer . docker run -p 8050:8050 job-visualizer此时客户只需docker run一条命令就能获得包含爬虫、数据库、可视化界面的完整系统无需安装 Python、配置环境变量、处理依赖冲突——这才是“招聘网站可视化系统”在工程落地层面的终极形态。本文还有配套的精品资源点击获取