Python 爬虫实战：批量抓取应用商店分类应用

在移动互联网数据分析、竞品调研、行业报告制作等场景中应用商店的 APP 分类数据是核心数据源之一。无论是分析某一赛道的应用分布还是监控同类 APP 的核心指标通过 Python 爬虫批量抓取应用商店分类应用数据都是高效且低成本的解决方案。本文将以主流安卓应用商店为例从环境搭建、爬虫设计、数据解析到存储落地完整讲解如何实现应用商店分类应用的批量爬取帮助你快速掌握实战爬虫开发的核心逻辑。一、爬虫开发前期准备1.1 技术选型与环境搭建本次实战选用 Python 作为开发语言核心依赖以下库font stylecolor:rgb(0, 0, 0);background-color:rgba(0, 0, 0, 0);requests/font发送 HTTP 请求获取网页 / 接口数据font stylecolor:rgb(0, 0, 0);background-color:rgba(0, 0, 0, 0);BeautifulSoup4/font解析 HTML 页面提取目标数据font stylecolor:rgb(0, 0, 0);background-color:rgba(0, 0, 0, 0);pandas/font数据清洗与 Excel 存储font stylecolor:rgb(0, 0, 0);background-color:rgba(0, 0, 0, 0);fake-useragent/font生成随机 User-Agent规避基础反爬font stylecolor:rgb(0, 0, 0);background-color:rgba(0, 0, 0, 0);time/font设置请求间隔降低服务器压力。1.2 目标分析与反爬注意事项本文以某公开安卓应用商店的「工具类」分类为例实际可替换为任意分类核心抓取字段包括APP 名称、下载量、评分、简介、所属分类。爬取前需注意遵守网站font stylecolor:rgb(0, 0, 0);background-color:rgba(0, 0, 0, 0);robots.txt/font协议避免高频请求仅用于学习研究勿将数据用于商业用途加入随机请求间隔、随机 User-Agent模拟正常用户访问若遇到验证码、IP 封禁及时停止爬取切勿对抗。二、核心代码实现2.1 基础配置与请求函数封装首先封装请求函数实现「发送请求 - 获取响应 - 异常处理」的基础逻辑同时加入反爬策略python运行import requests from fake_useragent import UserAgent from bs4 import BeautifulSoup import pandas as pd import time import random # 初始化UserAgent生成器 ua UserAgent() def get_html(url, timeout10): 发送GET请求获取页面HTML :param url: 目标URL :param timeout: 请求超时时间 :return: 页面HTML文本/None headers { User-Agent: ua.random, # 随机User-Agent Accept: text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Referer: https://www.baidu.com/ # 模拟来路 } try: # 随机延迟1-3秒避免高频请求 time.sleep(random.uniform(1, 3)) response requests.get(url, headersheaders, timeouttimeout) response.raise_for_status() # 抛出HTTP状态码异常 response.encoding response.apparent_encoding # 自动识别编码 return response.text except requests.exceptions.RequestException as e: print(f请求失败{url}错误信息{e}) return None2.2 解析页面提取分类应用数据接下来编写解析函数从页面 HTML 中提取目标字段。以某应用商店分类页为例URL 格式为font stylecolor:rgb(0, 0, 0);background-color:rgba(0, 0, 0, 0);https://xxx.com/category/tool?p{page}/fontpage 为页码通过 BeautifulSoup 定位元素python运行def parse_app_list(html): 解析应用商店分类页提取APP数据 :param html: 页面HTML文本 :return: 解析后的APP数据列表 app_list [] if not html: return app_list soup BeautifulSoup(html, html.parser) # 定位APP列表项需根据实际页面结构调整CSS选择器 app_items soup.select(div.app-item) for item in app_items: try: # 提取核心字段需根据实际页面标签调整 app_name item.select_one(h3.app-name).get_text(stripTrue) if item.select_one(h3.app-name) else 未知 download_count item.select_one(span.download-num).get_text(stripTrue) if item.select_one(span.download-num) else 0 score item.select_one(span.score).get_text(stripTrue) if item.select_one(span.score) else 0 intro item.select_one(p.app-intro).get_text(stripTrue) if item.select_one(p.app-intro) else 无简介 category item.select_one(span.category).get_text(stripTrue) if item.select_one(span.category) else 工具类 # 构造字典存储单条APP数据 app_info { APP名称: app_name, 下载量: download_count, 评分: score, 简介: intro, 所属分类: category } app_list.append(app_info) except Exception as e: print(f解析单条APP数据失败错误信息{e}) continue return app_list2.3 批量爬取与数据存储编写主函数实现多页数据批量爬取并将结果存储为 Excel 文件python运行def batch_crawl(category_url, start_page1, end_page5): 批量爬取指定分类的多页应用数据 :param category_url: 分类页基础URL需包含{p}占位符 :param start_page: 起始页码 :param end_page: 结束页码 :return: 所有爬取的APP数据列表 all_app_data [] for page in range(start_page, end_page 1): # 拼接当前页URL current_url category_url.format(ppage) print(f正在爬取第{page}页{current_url}) # 获取页面HTML并解析 html get_html(current_url) app_data parse_app_list(html) if app_data: all_app_data.extend(app_data) print(f第{page}页爬取完成共{len(app_data)}条数据) else: print(f第{page}页无数据停止爬取) break # 无数据则终止后续页码爬取 return all_app_data if __name__ __main__: # 替换为实际的应用商店分类页URL需包含{p}占位符 # 示例https://xxx.com/category/tool?p{p} CATEGORY_URL https://your-target-url.com/category/tool?p{p} # 爬取1-5页数据 app_data batch_crawl(CATEGORY_URL, start_page1, end_page5) if app_data: # 将数据转换为DataFrame并存储为Excel df pd.DataFrame(app_data) # 去重避免重复爬取 df df.drop_duplicates(subset[APP名称], keepfirst) # 保存到本地 df.to_excel(应用商店工具类APP数据.xlsx, indexFalse, encodingutf-8) print(f爬取完成共获取{len(df)}条有效数据已保存至「应用商店工具类APP数据.xlsx」) else: print(未爬取到任何数据请检查URL或页面结构)三、代码适配与优化3.1 页面结构适配说明上述代码中的 CSS 选择器如font stylecolor:rgb(0, 0, 0);background-color:rgba(0, 0, 0, 0);div.app-item/font、font stylecolor:rgb(0, 0, 0);background-color:rgba(0, 0, 0, 0);h3.app-name/font是通用示例实际使用时需根据目标应用商店的页面结构调整打开目标应用商店分类页按 F12 打开开发者工具定位 APP 列表项的外层标签替换font stylecolor:rgb(0, 0, 0);background-color:rgba(0, 0, 0, 0);app_items soup.select(div.app-item)/font中的选择器依次定位 APP 名称、下载量等字段的标签修改解析函数中的选择器。3.2 进阶优化策略异步爬取使用font stylecolor:rgb(0, 0, 0);background-color:rgba(0, 0, 0, 0);aiohttp/font替代font stylecolor:rgb(0, 0, 0);background-color:rgba(0, 0, 0, 0);requests/font实现异步请求提升爬取效率适合大量页码IP 代理池若遇到 IP 封禁可接入代理池在请求时添加font stylecolor:rgb(0, 0, 0);background-color:rgba(0, 0, 0, 0);proxies/font参数推荐使用亿牛云爬虫代理断点续爬将已爬取的页码和数据实时保存避免程序中断后重新爬取数据校验添加字段格式校验如评分需为 0-5 的数值提升数据质量。四、常见问题与解决方案页面解析为空检查 CSS 选择器是否匹配目标页面或目标页面是否为动态加载若为动态加载需使用font stylecolor:rgb(0, 0, 0);background-color:rgba(0, 0, 0, 0);Selenium/font或font stylecolor:rgb(0, 0, 0);background-color:rgba(0, 0, 0, 0);Playwright/font渲染页面请求被拒绝增加请求间隔、更换 User-Agent或检查是否被网站拉黑 IPExcel 中文乱码确保font stylecolor:rgb(0, 0, 0);background-color:rgba(0, 0, 0, 0);to_excel/font时指定font stylecolor:rgb(0, 0, 0);background-color:rgba(0, 0, 0, 0);encodingutf-8/font或使用font stylecolor:rgb(0, 0, 0);background-color:rgba(0, 0, 0, 0);openpyxl/font引擎font stylecolor:rgb(0, 0, 0);background-color:rgba(0, 0, 0, 0);df.to_excel(xxx.xlsx, indexFalse, engineopenpyxl)/font数据重复通过font stylecolor:rgb(0, 0, 0);background-color:rgba(0, 0, 0, 0);drop_duplicates/font去重或爬取前记录已爬取的 APP 名称。五、合规与伦理说明爬取数据前需确认目标网站的用户协议禁止爬取非公开数据控制爬取频率避免给目标服务器造成压力爬取的数据仅用于学习、研究禁止用于商业售卖或恶意分析若网站明确禁止爬虫需立即停止操作。