1. 为什么选择SeleniumXPath爬取BOSS直聘每次找工作最头疼的就是海投简历但你知道吗其实可以用技术手段帮你自动收集职位信息。我去年换工作时就用Python写了个爬虫2小时抓取了3000多条招聘数据筛选效率直接提升10倍。Selenium这个工具特别适合爬取像BOSS直聘这样的动态网站。它就像个机器人能模拟真人操作浏览器点击按钮、输入文字、翻页浏览样样在行。配合XPath这个网页GPS能精准定位到薪资、公司名称这些关键信息。相比直接请求接口这种方案有三大优势完全模拟人类行为不容易被反爬机制拦截能获取JavaScript渲染后的完整页面内容不需要分析复杂的接口参数开发效率高不过要注意爬虫要遵守robots协议建议控制请求频率数据仅用于个人学习。我一般设置每页间隔15秒既不会给服务器造成压力又能稳定获取数据。2. 环境准备与避坑指南2.1 必备软件安装先说说我踩过的坑第一次装环境时浏览器驱动和Selenium版本不匹配折腾了一下午。后来发现用conda管理环境最省心conda create -n boss_spider python3.8 conda activate boss_spider pip install selenium4.1.0 lxml csv浏览器推荐Firefox它的geckodriver比较稳定。记得去官网下载对应版本的驱动我用的v0.32.0。把解压后的geckodriver.exe放在项目根目录或者添加到系统PATH。注意浏览器和驱动版本必须严格匹配这是90%新手会栽的坑2.2 无头模式配置在办公室偷偷跑爬虫试试无头模式(Headless)浏览器在后台运行不显示界面from selenium import webdriver from selenium.webdriver.firefox.options import Options options Options() options.add_argument(-headless) # 无头模式 options.add_argument(--disable-gpu) # 禁用GPU加速 driver webdriver.Firefox(optionsoptions)不过调试时建议先关闭无头模式方便观察页面加载情况。我遇到过元素没加载完就抓取的情况加了显式等待才解决from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC element WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CLASS_NAME, job-name)) )3. 实战爬取流程分解3.1 登录与搜索技巧BOSS直聘的反爬越来越严我的经验是先手动登录获取cookies搜索时添加随机延迟使用真实User-Agent# 加载保存的cookies driver.get(https://www.zhipin.com) with open(cookies.json, r) as f: cookies json.load(f) for cookie in cookies: driver.add_cookie(cookie) # 模拟人工输入 search_box driver.find_element(By.CSS_SELECTOR, .ipt-search) for char in Python工程师: search_box.send_keys(char) time.sleep(random.uniform(0.1, 0.3)) # 随机输入间隔3.2 XPath定位终极方案经过多次改版BOSS直聘的页面结构变得复杂。我总结的最新XPath定位方案from lxml import etree tree etree.HTML(driver.page_source) jobs tree.xpath(//div[contains(class,job-list)]//li) for job in jobs: name job.xpath(.//span[contains(class,job-name)]/text())[0] salary job.xpath(.//span[contains(class,salary)]/text())[0] company job.xpath(.//a[contains(class,company-name)]/text())[0] # 处理可能不存在的元素 benefits job.xpath(.//div[contains(class,info-desc)]/text()) benefits benefits[0] if benefits else 无特别提醒用contains()代替精确匹配更稳定因为网站经常微调class名称。4. 数据存储与反反爬策略4.1 多格式存储方案我习惯同时存CSV和JSON两种格式CSV方便用Excel快速查看JSON保留完整数据结构import csv import json def save_data(jobs): # CSV存储 with open(jobs.csv, a, encodingutf-8-sig, newline) as f: writer csv.writer(f) writer.writerow([...]) # JSON存储 with open(jobs.json, a, encodingutf-8) as f: json.dump(jobs, f, ensure_asciiFalse, indent2)4.2 高级反反爬技巧最近发现BOSS直聘新增了这些防护鼠标轨迹监测页面停留时间检测WebGL指纹识别我的应对方案# 模拟人类滚动页面 driver.execute_script(window.scrollTo(0, document.body.scrollHeight/3)) time.sleep(1) driver.execute_script(window.scrollTo(0, document.body.scrollHeight)) # 随机化操作间隔 actions webdriver.ActionChains(driver) actions.move_to_element(element).pause(random.uniform(0.5, 2)).click().perform()还有个杀手锏使用住宅代理IP轮询。但要注意合法合规建议每个IP每天请求不超过100次。5. 完整代码优化版经过半年迭代这是我目前最稳定的版本import random import time from selenium import webdriver from selenium.webdriver.common.by import By from lxml import etree class BossSpider: def __init__(self): self.options webdriver.FirefoxOptions() self.options.add_argument(user-agentMozilla/5.0...) self.driver webdriver.Firefox(optionsself.options) def login(self): # 这里需要手动登录后保存cookies pass def crawl_page(self, page): url fhttps://www.zhipin.com/web/geek/job?queryPythonpage{page} self.driver.get(url) time.sleep(5 random.random()) # 页面渲染检测 WebDriverWait(self.driver, 10).until( EC.presence_of_element_located((By.CLASS_NAME, job-list)) ) return self.parse_html() def parse_html(self): tree etree.HTML(self.driver.page_source) jobs [] for item in tree.xpath(//div[contains(class,job-list)]//li): job { title: self.get_text(item, .//span[contains(class,job-name)]), salary: self.get_text(item, .//span[contains(class,salary)]), company: self.get_text(item, .//a[contains(class,company-name)]) } jobs.append(job) return jobs def get_text(self, element, xpath): return element.xpath(f{xpath}/text())[0].strip() if element.xpath(xpath) else def run(self): try: self.login() for page in range(1, 11): jobs self.crawl_page(page) save_data(jobs) time.sleep(15 random.random()*10) finally: self.driver.quit()这个版本新增了面向对象封装更健壮的错误处理随机化等待时间自动重试机制6. 常见问题解决方案6.1 验证码触发怎么办最近很多同学反馈频繁出现验证码我测试发现主要三个诱因请求频率过高建议15秒/页行为轨迹太规律添加随机滚动和暂停IP被标记建议使用优质代理遇到验证码时可以try: # 正常爬取代码 except Exception as e: if 验证码 in driver.page_source: input(请手动处理验证码后按回车继续...)6.2 数据字段错位问题当遇到数据错位时建议先打印原始HTML确认结构添加更精确的XPath条件使用try-except处理缺失字段我的字段校验方案def safe_extract(element, xpath, default): try: return element.xpath(xpath)[0].strip() except: return default7. 数据清洗与分析技巧爬下来的原始数据往往很乱我常用的清洗步骤薪资标准化def clean_salary(text): if 万 in text: return float(text.replace(万, ).split(-)[0]) * 10000 elif K in text: return float(text.replace(K, ).split(-)[0]) * 1000工作经验提取import re def get_experience(text): match re.search(r经验(\d-\d)年, text) return match.group(1) if match else None使用Pandas做数据分析import pandas as pd df pd.read_csv(jobs.csv) top_companies df[company].value_counts().head(10) avg_salary df[salary].apply(clean_salary).mean()8. 法律与道德提醒虽然技术很酷但务必注意严格遵守网站的robots.txt规定控制请求频率每秒不超过1次不要爬取个人隐私信息数据仅用于个人学习商业使用需获得授权我通常在代码里加入这些限制# 速率限制装饰器 def rate_limited(max_per_hour): interval 3600 / max_per_hour def decorator(func): last_time 0 def wrapper(*args, **kwargs): nonlocal last_time elapsed time.time() - last_time if elapsed interval: time.sleep(interval - elapsed) last_time time.time() return func(*args, **kwargs) return wrapper return decorator rate_limited(300) # 每小时最多300次请求 def crawl_page(page): ...
Python实战：Selenium+XPath高效爬取BOSS直聘职位数据
发布时间：2026/5/20 5:53:48
1. 为什么选择SeleniumXPath爬取BOSS直聘每次找工作最头疼的就是海投简历但你知道吗其实可以用技术手段帮你自动收集职位信息。我去年换工作时就用Python写了个爬虫2小时抓取了3000多条招聘数据筛选效率直接提升10倍。Selenium这个工具特别适合爬取像BOSS直聘这样的动态网站。它就像个机器人能模拟真人操作浏览器点击按钮、输入文字、翻页浏览样样在行。配合XPath这个网页GPS能精准定位到薪资、公司名称这些关键信息。相比直接请求接口这种方案有三大优势完全模拟人类行为不容易被反爬机制拦截能获取JavaScript渲染后的完整页面内容不需要分析复杂的接口参数开发效率高不过要注意爬虫要遵守robots协议建议控制请求频率数据仅用于个人学习。我一般设置每页间隔15秒既不会给服务器造成压力又能稳定获取数据。2. 环境准备与避坑指南2.1 必备软件安装先说说我踩过的坑第一次装环境时浏览器驱动和Selenium版本不匹配折腾了一下午。后来发现用conda管理环境最省心conda create -n boss_spider python3.8 conda activate boss_spider pip install selenium4.1.0 lxml csv浏览器推荐Firefox它的geckodriver比较稳定。记得去官网下载对应版本的驱动我用的v0.32.0。把解压后的geckodriver.exe放在项目根目录或者添加到系统PATH。注意浏览器和驱动版本必须严格匹配这是90%新手会栽的坑2.2 无头模式配置在办公室偷偷跑爬虫试试无头模式(Headless)浏览器在后台运行不显示界面from selenium import webdriver from selenium.webdriver.firefox.options import Options options Options() options.add_argument(-headless) # 无头模式 options.add_argument(--disable-gpu) # 禁用GPU加速 driver webdriver.Firefox(optionsoptions)不过调试时建议先关闭无头模式方便观察页面加载情况。我遇到过元素没加载完就抓取的情况加了显式等待才解决from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC element WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CLASS_NAME, job-name)) )3. 实战爬取流程分解3.1 登录与搜索技巧BOSS直聘的反爬越来越严我的经验是先手动登录获取cookies搜索时添加随机延迟使用真实User-Agent# 加载保存的cookies driver.get(https://www.zhipin.com) with open(cookies.json, r) as f: cookies json.load(f) for cookie in cookies: driver.add_cookie(cookie) # 模拟人工输入 search_box driver.find_element(By.CSS_SELECTOR, .ipt-search) for char in Python工程师: search_box.send_keys(char) time.sleep(random.uniform(0.1, 0.3)) # 随机输入间隔3.2 XPath定位终极方案经过多次改版BOSS直聘的页面结构变得复杂。我总结的最新XPath定位方案from lxml import etree tree etree.HTML(driver.page_source) jobs tree.xpath(//div[contains(class,job-list)]//li) for job in jobs: name job.xpath(.//span[contains(class,job-name)]/text())[0] salary job.xpath(.//span[contains(class,salary)]/text())[0] company job.xpath(.//a[contains(class,company-name)]/text())[0] # 处理可能不存在的元素 benefits job.xpath(.//div[contains(class,info-desc)]/text()) benefits benefits[0] if benefits else 无特别提醒用contains()代替精确匹配更稳定因为网站经常微调class名称。4. 数据存储与反反爬策略4.1 多格式存储方案我习惯同时存CSV和JSON两种格式CSV方便用Excel快速查看JSON保留完整数据结构import csv import json def save_data(jobs): # CSV存储 with open(jobs.csv, a, encodingutf-8-sig, newline) as f: writer csv.writer(f) writer.writerow([...]) # JSON存储 with open(jobs.json, a, encodingutf-8) as f: json.dump(jobs, f, ensure_asciiFalse, indent2)4.2 高级反反爬技巧最近发现BOSS直聘新增了这些防护鼠标轨迹监测页面停留时间检测WebGL指纹识别我的应对方案# 模拟人类滚动页面 driver.execute_script(window.scrollTo(0, document.body.scrollHeight/3)) time.sleep(1) driver.execute_script(window.scrollTo(0, document.body.scrollHeight)) # 随机化操作间隔 actions webdriver.ActionChains(driver) actions.move_to_element(element).pause(random.uniform(0.5, 2)).click().perform()还有个杀手锏使用住宅代理IP轮询。但要注意合法合规建议每个IP每天请求不超过100次。5. 完整代码优化版经过半年迭代这是我目前最稳定的版本import random import time from selenium import webdriver from selenium.webdriver.common.by import By from lxml import etree class BossSpider: def __init__(self): self.options webdriver.FirefoxOptions() self.options.add_argument(user-agentMozilla/5.0...) self.driver webdriver.Firefox(optionsself.options) def login(self): # 这里需要手动登录后保存cookies pass def crawl_page(self, page): url fhttps://www.zhipin.com/web/geek/job?queryPythonpage{page} self.driver.get(url) time.sleep(5 random.random()) # 页面渲染检测 WebDriverWait(self.driver, 10).until( EC.presence_of_element_located((By.CLASS_NAME, job-list)) ) return self.parse_html() def parse_html(self): tree etree.HTML(self.driver.page_source) jobs [] for item in tree.xpath(//div[contains(class,job-list)]//li): job { title: self.get_text(item, .//span[contains(class,job-name)]), salary: self.get_text(item, .//span[contains(class,salary)]), company: self.get_text(item, .//a[contains(class,company-name)]) } jobs.append(job) return jobs def get_text(self, element, xpath): return element.xpath(f{xpath}/text())[0].strip() if element.xpath(xpath) else def run(self): try: self.login() for page in range(1, 11): jobs self.crawl_page(page) save_data(jobs) time.sleep(15 random.random()*10) finally: self.driver.quit()这个版本新增了面向对象封装更健壮的错误处理随机化等待时间自动重试机制6. 常见问题解决方案6.1 验证码触发怎么办最近很多同学反馈频繁出现验证码我测试发现主要三个诱因请求频率过高建议15秒/页行为轨迹太规律添加随机滚动和暂停IP被标记建议使用优质代理遇到验证码时可以try: # 正常爬取代码 except Exception as e: if 验证码 in driver.page_source: input(请手动处理验证码后按回车继续...)6.2 数据字段错位问题当遇到数据错位时建议先打印原始HTML确认结构添加更精确的XPath条件使用try-except处理缺失字段我的字段校验方案def safe_extract(element, xpath, default): try: return element.xpath(xpath)[0].strip() except: return default7. 数据清洗与分析技巧爬下来的原始数据往往很乱我常用的清洗步骤薪资标准化def clean_salary(text): if 万 in text: return float(text.replace(万, ).split(-)[0]) * 10000 elif K in text: return float(text.replace(K, ).split(-)[0]) * 1000工作经验提取import re def get_experience(text): match re.search(r经验(\d-\d)年, text) return match.group(1) if match else None使用Pandas做数据分析import pandas as pd df pd.read_csv(jobs.csv) top_companies df[company].value_counts().head(10) avg_salary df[salary].apply(clean_salary).mean()8. 法律与道德提醒虽然技术很酷但务必注意严格遵守网站的robots.txt规定控制请求频率每秒不超过1次不要爬取个人隐私信息数据仅用于个人学习商业使用需获得授权我通常在代码里加入这些限制# 速率限制装饰器 def rate_limited(max_per_hour): interval 3600 / max_per_hour def decorator(func): last_time 0 def wrapper(*args, **kwargs): nonlocal last_time elapsed time.time() - last_time if elapsed interval: time.sleep(interval - elapsed) last_time time.time() return func(*args, **kwargs) return wrapper return decorator rate_limited(300) # 每小时最多300次请求 def crawl_page(page): ...
