1. 为什么需要爬取B站UP主视频数据作为一个经常分析视频平台数据的老手我发现B站UP主的数据分析需求越来越旺盛。无论是想研究某个领域的内容趋势还是分析竞品账号的表现甚至是做自己的频道运营优化获取准确的视频数据都是第一步。你可能遇到过这些场景想看看某个热门领域的头部UP主都发什么内容但手动记录几十个视频信息太麻烦想分析自己账号的视频表现但后台数据不够直观想研究爆款视频的规律但缺乏系统性的数据支持。这时候用Python写个爬虫就能事半功倍。我去年帮一个美食区UP主做账号分析时手动统计了他200多个视频的数据花了整整两天时间。后来改用自动化爬取同样的工作量不到10分钟就能完成还能获取更详细的信息。这就是技术带来的效率提升。2. 环境准备与工具选择2.1 必备工具安装工欲善其事必先利其器。我们需要准备几个核心工具首先是Python环境建议使用3.7及以上版本。我习惯用conda管理环境这样可以避免包冲突conda create -n bilibili python3.8 conda activate bilibili接下来安装核心库pip install selenium beautifulsoup4Selenium是一个自动化测试工具可以模拟浏览器操作BeautifulSoup则是HTML解析利器。这两个组合起来能应对大多数网页爬取需求。2.2 浏览器驱动配置Selenium需要浏览器驱动才能工作。以Firefox为例需要安装geckodriver。这里有个小坑要注意驱动版本必须和浏览器版本匹配。先安装Firefox浏览器conda install firefox -c conda-forge然后去geckodriver的GitHub页面下载对应版本解压后将可执行文件放到系统PATH包含的目录比如/usr/local/bin/。Windows用户可以直接放在Python安装目录下。验证是否安装成功from selenium import webdriver driver webdriver.Firefox() driver.get(https://www.bilibili.com) driver.quit()如果能看到浏览器自动打开并访问B站说明环境配置正确。3. 爬取UP主基础视频信息3.1 获取UP主主页数据每个B站UP主都有唯一的UID可以在主页URL中找到。比如这个URLhttps://space.bilibili.com/362548791UID就是362548791。我们先实现获取UP主昵称和视频页数的功能def get_up_info(uid): browser.get(fhttps://space.bilibili.com/{uid}/video) time.sleep(2) # 等待页面加载 soup BeautifulSoup(browser.page_source, html.parser) # 获取UP主昵称 name soup.find(span, idh-name).text # 获取视频总页数 page_info soup.find(span, class_be-pager-total).text total_pages int(page_info.split()[1]) return name, total_pages这里有几个实用技巧使用f-string格式化URL更清晰适当增加等待时间避免被反爬通过开发者工具查看元素结构找到关键信息的CSS选择器3.2 提取单页视频列表B站的视频列表是分页加载的每页大约30个视频。我们需要遍历每一页提取视频基础信息def get_video_list(page_url): browser.get(page_url) time.sleep(2 random.random()) # 随机等待时间 soup BeautifulSoup(browser.page_source, html.parser) videos [] for item in soup.select(ul.cube-list li): video { title: item.select_one(a.title).text.strip(), url: https: item.select_one(a.title)[href], play: item.select_one(span.play).text.strip(), pub_date: item.select_one(span.time).text.strip() } videos.append(video) return videos这里使用了CSS选择器语法比常规的find方法更简洁。特别注意URL需要补全https:前缀这是B站的一个小特性。4. 获取视频详细信息4.1 进入视频页抓取数据基础信息只能看到播放量要获取弹幕数等详细数据需要进入每个视频的详情页def get_video_detail(url): browser.get(url) time.sleep(1) soup BeautifulSoup(browser.page_source, html.parser) detail { danmu: soup.select_one(span.dm span).text, like: soup.select_one(span.like span).text, coin: soup.select_one(span.coin span).text } return detail这里有个常见问题B站的页面结构偶尔会变动导致选择器失效。解决方法是用更通用的选择路径或者添加异常处理。4.2 处理分P视频B站视频有单视频和分P视频两种类型。分P视频需要特殊处理def check_playlist(url): browser.get(url) time.sleep(1) soup BeautifulSoup(browser.page_source, html.parser) if soup.select(div.multi-page): pages soup.select(div.multi-page li) return len(pages) return 1这个功能可以统计分P视频包含多少个子视频对于内容分析很有价值。5. 数据存储与分析5.1 结构化存储数据爬取的数据最好用结构化格式存储方便后续分析。我推荐使用JSON格式import json def save_to_json(data, filename): with open(filename, w, encodingutf-8) as f: json.dump(data, f, ensure_asciiFalse, indent2)对于大量数据可以考虑使用MongoDB或者SQLite数据库。5.2 简单数据分析示例有了数据后我们可以做一些基础分析。比如统计播放量分布import matplotlib.pyplot as plt def analyze_plays(videos): plays [int(v[play].replace(,, )) for v in videos] plt.hist(plays, bins20) plt.title(Play Count Distribution) plt.show()这能直观看出UP主视频的播放量集中在哪个区间帮助评估内容表现。6. 反爬策略与优化建议6.1 应对反爬机制B站有一些基础的反爬措施我们需要做好应对设置随机间隔时间模拟人工操作使用代理IP轮换注意合规使用限制爬取速度不要给服务器造成压力使用浏览器正常User-Agentfrom fake_useragent import UserAgent ua UserAgent() headers {User-Agent: ua.random}6.2 代码优化技巧经过多次实践我总结了一些优化经验使用多线程提高效率但要控制并发数实现断点续爬功能避免意外中断添加日志记录方便排查问题将配置参数抽离出来便于调整import logging logging.basicConfig( filenamespider.log, levellogging.INFO, format%(asctime)s - %(levelname)s - %(message)s )7. 完整代码架构7.1 项目结构设计一个好的爬虫项目应该有清晰的结构bilibili_spider/ ├── main.py # 主程序入口 ├── core/ # 核心功能 │ ├── crawler.py # 爬取逻辑 │ └── utils.py # 工具函数 ├── config/ # 配置文件 │ └── settings.py └── data/ # 数据存储目录7.2 主程序实现最后给出一个完整的主程序示例import time import json from core.crawler import BilibiliSpider def main(): spider BilibiliSpider( uid362548791, interval2, headlessTrue ) # 爬取基础信息 base_info spider.get_base_info() # 爬取详细数据 detailed_info [] for video in base_info: detail spider.get_video_detail(video[url]) detailed_info.append({**video, **detail}) time.sleep(1) # 保存结果 with open(data/result.json, w) as f: json.dump(detailed_info, f, indent2) if __name__ __main__: main()这个框架可以根据需求灵活扩展比如添加定时任务、数据分析模块等。
Python自动化爬取B站UP主视频数据：从基础信息到弹幕分析的完整实践
发布时间：2026/7/18 11:34:50
1. 为什么需要爬取B站UP主视频数据作为一个经常分析视频平台数据的老手我发现B站UP主的数据分析需求越来越旺盛。无论是想研究某个领域的内容趋势还是分析竞品账号的表现甚至是做自己的频道运营优化获取准确的视频数据都是第一步。你可能遇到过这些场景想看看某个热门领域的头部UP主都发什么内容但手动记录几十个视频信息太麻烦想分析自己账号的视频表现但后台数据不够直观想研究爆款视频的规律但缺乏系统性的数据支持。这时候用Python写个爬虫就能事半功倍。我去年帮一个美食区UP主做账号分析时手动统计了他200多个视频的数据花了整整两天时间。后来改用自动化爬取同样的工作量不到10分钟就能完成还能获取更详细的信息。这就是技术带来的效率提升。2. 环境准备与工具选择2.1 必备工具安装工欲善其事必先利其器。我们需要准备几个核心工具首先是Python环境建议使用3.7及以上版本。我习惯用conda管理环境这样可以避免包冲突conda create -n bilibili python3.8 conda activate bilibili接下来安装核心库pip install selenium beautifulsoup4Selenium是一个自动化测试工具可以模拟浏览器操作BeautifulSoup则是HTML解析利器。这两个组合起来能应对大多数网页爬取需求。2.2 浏览器驱动配置Selenium需要浏览器驱动才能工作。以Firefox为例需要安装geckodriver。这里有个小坑要注意驱动版本必须和浏览器版本匹配。先安装Firefox浏览器conda install firefox -c conda-forge然后去geckodriver的GitHub页面下载对应版本解压后将可执行文件放到系统PATH包含的目录比如/usr/local/bin/。Windows用户可以直接放在Python安装目录下。验证是否安装成功from selenium import webdriver driver webdriver.Firefox() driver.get(https://www.bilibili.com) driver.quit()如果能看到浏览器自动打开并访问B站说明环境配置正确。3. 爬取UP主基础视频信息3.1 获取UP主主页数据每个B站UP主都有唯一的UID可以在主页URL中找到。比如这个URLhttps://space.bilibili.com/362548791UID就是362548791。我们先实现获取UP主昵称和视频页数的功能def get_up_info(uid): browser.get(fhttps://space.bilibili.com/{uid}/video) time.sleep(2) # 等待页面加载 soup BeautifulSoup(browser.page_source, html.parser) # 获取UP主昵称 name soup.find(span, idh-name).text # 获取视频总页数 page_info soup.find(span, class_be-pager-total).text total_pages int(page_info.split()[1]) return name, total_pages这里有几个实用技巧使用f-string格式化URL更清晰适当增加等待时间避免被反爬通过开发者工具查看元素结构找到关键信息的CSS选择器3.2 提取单页视频列表B站的视频列表是分页加载的每页大约30个视频。我们需要遍历每一页提取视频基础信息def get_video_list(page_url): browser.get(page_url) time.sleep(2 random.random()) # 随机等待时间 soup BeautifulSoup(browser.page_source, html.parser) videos [] for item in soup.select(ul.cube-list li): video { title: item.select_one(a.title).text.strip(), url: https: item.select_one(a.title)[href], play: item.select_one(span.play).text.strip(), pub_date: item.select_one(span.time).text.strip() } videos.append(video) return videos这里使用了CSS选择器语法比常规的find方法更简洁。特别注意URL需要补全https:前缀这是B站的一个小特性。4. 获取视频详细信息4.1 进入视频页抓取数据基础信息只能看到播放量要获取弹幕数等详细数据需要进入每个视频的详情页def get_video_detail(url): browser.get(url) time.sleep(1) soup BeautifulSoup(browser.page_source, html.parser) detail { danmu: soup.select_one(span.dm span).text, like: soup.select_one(span.like span).text, coin: soup.select_one(span.coin span).text } return detail这里有个常见问题B站的页面结构偶尔会变动导致选择器失效。解决方法是用更通用的选择路径或者添加异常处理。4.2 处理分P视频B站视频有单视频和分P视频两种类型。分P视频需要特殊处理def check_playlist(url): browser.get(url) time.sleep(1) soup BeautifulSoup(browser.page_source, html.parser) if soup.select(div.multi-page): pages soup.select(div.multi-page li) return len(pages) return 1这个功能可以统计分P视频包含多少个子视频对于内容分析很有价值。5. 数据存储与分析5.1 结构化存储数据爬取的数据最好用结构化格式存储方便后续分析。我推荐使用JSON格式import json def save_to_json(data, filename): with open(filename, w, encodingutf-8) as f: json.dump(data, f, ensure_asciiFalse, indent2)对于大量数据可以考虑使用MongoDB或者SQLite数据库。5.2 简单数据分析示例有了数据后我们可以做一些基础分析。比如统计播放量分布import matplotlib.pyplot as plt def analyze_plays(videos): plays [int(v[play].replace(,, )) for v in videos] plt.hist(plays, bins20) plt.title(Play Count Distribution) plt.show()这能直观看出UP主视频的播放量集中在哪个区间帮助评估内容表现。6. 反爬策略与优化建议6.1 应对反爬机制B站有一些基础的反爬措施我们需要做好应对设置随机间隔时间模拟人工操作使用代理IP轮换注意合规使用限制爬取速度不要给服务器造成压力使用浏览器正常User-Agentfrom fake_useragent import UserAgent ua UserAgent() headers {User-Agent: ua.random}6.2 代码优化技巧经过多次实践我总结了一些优化经验使用多线程提高效率但要控制并发数实现断点续爬功能避免意外中断添加日志记录方便排查问题将配置参数抽离出来便于调整import logging logging.basicConfig( filenamespider.log, levellogging.INFO, format%(asctime)s - %(levelname)s - %(message)s )7. 完整代码架构7.1 项目结构设计一个好的爬虫项目应该有清晰的结构bilibili_spider/ ├── main.py # 主程序入口 ├── core/ # 核心功能 │ ├── crawler.py # 爬取逻辑 │ └── utils.py # 工具函数 ├── config/ # 配置文件 │ └── settings.py └── data/ # 数据存储目录7.2 主程序实现最后给出一个完整的主程序示例import time import json from core.crawler import BilibiliSpider def main(): spider BilibiliSpider( uid362548791, interval2, headlessTrue ) # 爬取基础信息 base_info spider.get_base_info() # 爬取详细数据 detailed_info [] for video in base_info: detail spider.get_video_detail(video[url]) detailed_info.append({**video, **detail}) time.sleep(1) # 保存结果 with open(data/result.json, w) as f: json.dump(detailed_info, f, indent2) if __name__ __main__: main()这个框架可以根据需求灵活扩展比如添加定时任务、数据分析模块等。
