大家好我是ZTLJQ希望你看完之后能对你有所帮助不足请指正共同学习交流个人主页ZTLJQ的主页欢迎各位→点赞 收藏⭐️ 留言系列果你对这个系列感兴趣的话专栏 - Python从零到企业级应用短时间成为市场抢手的程序员✔说明⇢本人讲解主要包括Python爬虫、JS逆向、Python的企业级应用如果你对这个系列感兴趣的话可以关注订阅哟数据无处不在但形式各异你是否遇到过以下情况想要分析某个网站上的商品价格和评论但数据都嵌在HTML标签里。需要从一份财务报告PDF中提取关键数字而这份报告无法直接复制粘贴。调用一个返回复杂嵌套JSON的API需要从中筛选出特定字段。这些任务的核心都是数据解析Data Parsing——即理解一种数据格式的规则并将其转换为程序可以轻松操作的结构化数据如字典、列表。Python拥有一个庞大而强大的生态系统提供了众多专门用于不同场景的解析库。掌握它们你就拥有了从任何角落挖掘数据的能力。第一部分解析HTML与XML - 网页抓取的基石HTML是Web的通用语言但其丰富的标签和嵌套结构使得直接字符串处理变得极其困难。BeautifulSoup和lxml是这个领域的两大巨头。1.1BeautifulSouprequests- 最流行的组合BeautifulSoup(简称BS4) 以其极高的易用性和容错性闻名。它能优雅地处理格式不完美的HTML。import requests from bs4 import BeautifulSoup # ---- 案例从维基百科页面抓取标题和第一个段落 ---- url https://en.wikipedia.org/wiki/Python_(programming_language) try: # 1. 发送HTTP请求获取网页内容 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 } response requests.get(url, headersheaders) response.raise_for_status() # 如果状态码不是200抛出异常 response.encoding utf-8 # 显式设置编码 # 2. 使用BeautifulSoup解析HTML soup BeautifulSoup(response.text, html.parser) # html.parser是内置解析器 # 3. 提取数据 # 查找h1标签通常包含页面标题 title_tag soup.find(h1) if title_tag: print(f标题: {title_tag.get_text(stripTrue)}) # 查找第一个p段落 (classmw-parser-output 下的第一个p) content_div soup.find(div, class_mw-parser-output) if content_div: first_paragraph content_div.find(p) if first_paragraph: # get_text() 会移除所有标签只保留纯文本 print(f简介: {first_paragraph.get_text(stripTrue)}) except requests.RequestException as e: print(f网络请求失败: {e}) except Exception as e: print(f解析过程出错: {e})解析:soup.find(tag, attrs)是最核心的方法用于查找第一个匹配的标签。attrs可以是id,class_(注意下划线),href等属性。get_text()方法是安全的即使标签内有子标签它也能递归地提取所有文本。stripTrue会移除文本前后的空白字符。1.2lxml- 速度与XPath的王者lxml是基于C库libxml2和libxslt构建的因此速度极快。它对XPath的支持是其最大优势XPath是一种强大的查询语言可以像SQL查询数据库一样查询XML/HTML文档。import requests from lxml import html # ---- 案例使用lxml和XPath抓取多个链接 ---- url https://httpbin.org/links/5/anything response requests.get(url) tree html.fromstring(response.content) # 直接从字节流解析 # XPath 表达式 # //a : 选择文档中所有的 a 标签 # //a/href : 选择所有a标签的 href 属性值 # //a[idlink-3] : 选择 id 属性为 link-3 的 a 标签 # //div[classcontainer]/p : 选择 class 为 container 的 div 下的所有 p 标签 # 提取所有链接的URL all_links tree.xpath(//a/href) print(所有链接:, all_links) # 提取第三个链接的文本 third_link_text tree.xpath(//a[idlink-3]/text()) if third_link_text: print(f第三个链接的文字: {third_link_text[0]}) # xpath() 返回列表 # 使用CSS选择器 (lxml也支持) first_link_css tree.cssselect(a)[0] # 选择第一个a标签 print(f第一个链接 (CSS): {first_link_css.get(href)})对比BeautifulSoup:速度:lxmlBeautifulSoup(当使用html.parser)。功能:lxml支持完整的XPath 1.0查询能力更强。易用性:BeautifulSoup的API通常被认为更直观尤其是对于初学者。容错性:BeautifulSoup对破损HTML的容忍度更高。1.3requests-html- 现代化的全能选手由requests库的作者开发requests-html(pip install requests-html) 将HTTP请求、JavaScript渲染和HTML解析融为一体特别适合处理由JavaScript动态生成内容的现代网页。from requests_html import HTMLSession # ---- 案例抓取需要JavaScript渲染的页面 ---- session HTMLSession() r session.get(https://quotes.toscrape.com/js/) # render() 方法会启动一个无头浏览器 (Pyppeteer/Puppeteer) 来执行页面上的JavaScript r.html.render(timeout20, sleep1) # 等待JS执行 # 渲染完成后就可以像普通HTML一样解析了 quotes r.html.find(.quote) # 使用CSS选择器查找所有class为quote的元素 for quote in quotes: text quote.find(.text, firstTrue).text # firstTrue 只取第一个 author quote.find(.author, firstTrue).text tags [tag.text for tag in quote.find(.tag)] print(f{text} by {author}) print(fTags: {, .join(tags)}\n)优势: 自动处理AJAX加载、动态内容、单页应用(SPA)省去了手动分析API的麻烦。劣势: 启动浏览器开销大速度慢不适合大规模爬取。第二部分解析PDF - 挑战纸质文档的数字化PDF文件是为了精确展示而设计的其内部结构对文本提取并不友好。解析PDF是数据挖掘中的一个难点。2.1PyPDF2/PyPDF4/pypdf- 基础文本提取这些库pypdf是PyPDF2的活跃分支主要用于读取PDF元数据和提取纯文本。from pypdf import PdfReader # 推荐使用 pypdf # ---- 案例从PDF中提取所有文本 ---- reader PdfReader(sample.pdf) # 获取文档信息 if reader.metadata: print(f作者: {reader.metadata.author}) print(f标题: {reader.metadata.title}) # 提取所有页面的文本 all_text for page_num, page in enumerate(reader.pages): text page.extract_text() all_text f\n--- 第 {page_num 1} 页 ---\n{text} print(all_text[:500]) # 打印前500个字符局限性:extract_text()的效果高度依赖于原始PDF的创建方式。对于扫描的PDF图片或布局复杂的PDF提取的文本可能是乱序的、缺少空格的甚至完全失败。2.2pdfplumber- 精确的表格与布局分析pdfplumber(pip install pdfplumber) 在pypdf的基础上提供了对PDF内部对象字符、行、方框的精细控制尤其擅长提取表格。import pdfplumber # ---- 案例从PDF表格中提取数据 ---- with pdfplumber.open(financial_report.pdf) as pdf: # 假设我们想要提取第一页的表格 page pdf.pages[0] # 提取页面上的所有表格 tables page.extract_tables() if tables: first_table tables[0] # first_table 是一个二维列表 for row in first_table: print(row) # [Year, Revenue, Profit] ... # 转换为pandas DataFrame 进行进一步分析 import pandas as pd df pd.DataFrame(first_table[1:], columnsfirst_table[0]) # 第一行作为列名 print(df.head()) # ---- 案例提取特定位置的文本 (例如发票号) ---- # 我们知道发票号在页面右上角的一个固定区域内 # left, top, right, bottom 定义了一个矩形区域 (单位通常是点 pt) invoice_bbox (400, 50, 550, 100) # (左, 上, 右, 下) cropped_page page.within_bbox(invoice_bbox) invoice_text cropped_page.extract_text() print(f发票号: {invoice_text})优势: 提供了within_bbox,filter等方法可以基于坐标精确定位和过滤文本/线条是处理结构化PDF如报表、发票的首选。第三部分高级工具与最佳实践3.1pandas- 解析结构化数据的利器虽然pandas主要是一个数据分析库但它内置了强大的I/O函数可以直接从多种格式包括HTML表格、JSON、CSV创建DataFrame。import pandas as pd # ---- 案例1直接从网页URL读取HTML表格 ---- # 很多维基百科页面都有表格 url https://en.wikipedia.org/wiki/List_of_countries_by_GDP_(nominal) # read_html 返回一个包含所有找到的表格的列表 tables pd.read_html(url) gdp_table tables[0] # 通常第一个表格是我们要的 print(gdp_table.head()) # ---- 案例2解析嵌套JSON并展平 ---- nested_json [ { user: {name: Alice, id: 1}, activity: login, timestamp: 2023-01-01T10:00:00Z }, { user: {name: Bob, id: 2}, activity: logout, timestamp: 2023-01-01T10:05:00Z } ] # 使用 pandas.json_normalize (旧版叫 pd.io.json.json_normalize) df pd.json_normalize(nested_json) print(df) # 输出: # user.name user.id activity timestamp # 0 Alice 1 login 2023-01-01T10:00:00Z # 1 Bob 2 logout 2023-01-01T10:05:00Z解析:json_normalize可以自动将嵌套的字典和列表展平非常适合处理来自REST API的复杂JSON响应。3.2 选择正确的工具场景推荐库快速抓取简单HTML页面BeautifulSouprequests高性能爬取需要XPathlxmlrequests处理JavaScript动态加载的页面requests-html或Selenium从PDF提取纯文本pypdf从PDF精确提取表格或定位文本pdfplumber解析API的JSON响应并进行数据分析pandas(配合requests)3.3 关键最佳实践尊重robots.txt和服务条款: 在抓取网站前检查robots.txt文件遵守网站的爬虫规则。不要过度请求以免给服务器造成负担。添加延迟: 在连续请求之间使用time.sleep()模拟人类行为。设置User-Agent: 许多网站会屏蔽没有User-Agent的请求。错误处理: 网络请求和解析过程充满不确定性。务必使用try-except块来捕获requests.exceptions.RequestException、lxml.etree.ParserError、pdfplumber.exceptions.PDFSyntaxError等异常。数据清洗: 解析得到的数据往往是“脏”的。使用str.strip(),str.replace(), 正则表达式等工具进行清洗。考虑使用API: 如果目标网站提供了官方API优先使用API而不是抓取HTML。API更稳定、更高效。结语数据解析是数据科学和自动化工作流的第一步。从BeautifulSoup的优雅到lxml的速度从pdfplumber的精准到pandas的强大Python为我们提供了应对各种挑战的完美工具箱。通过本篇博客的学习你应该已经掌握了如何使用主流库解析HTML/XML和PDF。不同库之间的权衡与选择。结合pandas进行高级数据处理。至关重要的道德和最佳实践。
挖掘金矿：Python数据解析库完全解析
发布时间：2026/7/23 8:10:35
大家好我是ZTLJQ希望你看完之后能对你有所帮助不足请指正共同学习交流个人主页ZTLJQ的主页欢迎各位→点赞 收藏⭐️ 留言系列果你对这个系列感兴趣的话专栏 - Python从零到企业级应用短时间成为市场抢手的程序员✔说明⇢本人讲解主要包括Python爬虫、JS逆向、Python的企业级应用如果你对这个系列感兴趣的话可以关注订阅哟数据无处不在但形式各异你是否遇到过以下情况想要分析某个网站上的商品价格和评论但数据都嵌在HTML标签里。需要从一份财务报告PDF中提取关键数字而这份报告无法直接复制粘贴。调用一个返回复杂嵌套JSON的API需要从中筛选出特定字段。这些任务的核心都是数据解析Data Parsing——即理解一种数据格式的规则并将其转换为程序可以轻松操作的结构化数据如字典、列表。Python拥有一个庞大而强大的生态系统提供了众多专门用于不同场景的解析库。掌握它们你就拥有了从任何角落挖掘数据的能力。第一部分解析HTML与XML - 网页抓取的基石HTML是Web的通用语言但其丰富的标签和嵌套结构使得直接字符串处理变得极其困难。BeautifulSoup和lxml是这个领域的两大巨头。1.1BeautifulSouprequests- 最流行的组合BeautifulSoup(简称BS4) 以其极高的易用性和容错性闻名。它能优雅地处理格式不完美的HTML。import requests from bs4 import BeautifulSoup # ---- 案例从维基百科页面抓取标题和第一个段落 ---- url https://en.wikipedia.org/wiki/Python_(programming_language) try: # 1. 发送HTTP请求获取网页内容 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 } response requests.get(url, headersheaders) response.raise_for_status() # 如果状态码不是200抛出异常 response.encoding utf-8 # 显式设置编码 # 2. 使用BeautifulSoup解析HTML soup BeautifulSoup(response.text, html.parser) # html.parser是内置解析器 # 3. 提取数据 # 查找h1标签通常包含页面标题 title_tag soup.find(h1) if title_tag: print(f标题: {title_tag.get_text(stripTrue)}) # 查找第一个p段落 (classmw-parser-output 下的第一个p) content_div soup.find(div, class_mw-parser-output) if content_div: first_paragraph content_div.find(p) if first_paragraph: # get_text() 会移除所有标签只保留纯文本 print(f简介: {first_paragraph.get_text(stripTrue)}) except requests.RequestException as e: print(f网络请求失败: {e}) except Exception as e: print(f解析过程出错: {e})解析:soup.find(tag, attrs)是最核心的方法用于查找第一个匹配的标签。attrs可以是id,class_(注意下划线),href等属性。get_text()方法是安全的即使标签内有子标签它也能递归地提取所有文本。stripTrue会移除文本前后的空白字符。1.2lxml- 速度与XPath的王者lxml是基于C库libxml2和libxslt构建的因此速度极快。它对XPath的支持是其最大优势XPath是一种强大的查询语言可以像SQL查询数据库一样查询XML/HTML文档。import requests from lxml import html # ---- 案例使用lxml和XPath抓取多个链接 ---- url https://httpbin.org/links/5/anything response requests.get(url) tree html.fromstring(response.content) # 直接从字节流解析 # XPath 表达式 # //a : 选择文档中所有的 a 标签 # //a/href : 选择所有a标签的 href 属性值 # //a[idlink-3] : 选择 id 属性为 link-3 的 a 标签 # //div[classcontainer]/p : 选择 class 为 container 的 div 下的所有 p 标签 # 提取所有链接的URL all_links tree.xpath(//a/href) print(所有链接:, all_links) # 提取第三个链接的文本 third_link_text tree.xpath(//a[idlink-3]/text()) if third_link_text: print(f第三个链接的文字: {third_link_text[0]}) # xpath() 返回列表 # 使用CSS选择器 (lxml也支持) first_link_css tree.cssselect(a)[0] # 选择第一个a标签 print(f第一个链接 (CSS): {first_link_css.get(href)})对比BeautifulSoup:速度:lxmlBeautifulSoup(当使用html.parser)。功能:lxml支持完整的XPath 1.0查询能力更强。易用性:BeautifulSoup的API通常被认为更直观尤其是对于初学者。容错性:BeautifulSoup对破损HTML的容忍度更高。1.3requests-html- 现代化的全能选手由requests库的作者开发requests-html(pip install requests-html) 将HTTP请求、JavaScript渲染和HTML解析融为一体特别适合处理由JavaScript动态生成内容的现代网页。from requests_html import HTMLSession # ---- 案例抓取需要JavaScript渲染的页面 ---- session HTMLSession() r session.get(https://quotes.toscrape.com/js/) # render() 方法会启动一个无头浏览器 (Pyppeteer/Puppeteer) 来执行页面上的JavaScript r.html.render(timeout20, sleep1) # 等待JS执行 # 渲染完成后就可以像普通HTML一样解析了 quotes r.html.find(.quote) # 使用CSS选择器查找所有class为quote的元素 for quote in quotes: text quote.find(.text, firstTrue).text # firstTrue 只取第一个 author quote.find(.author, firstTrue).text tags [tag.text for tag in quote.find(.tag)] print(f{text} by {author}) print(fTags: {, .join(tags)}\n)优势: 自动处理AJAX加载、动态内容、单页应用(SPA)省去了手动分析API的麻烦。劣势: 启动浏览器开销大速度慢不适合大规模爬取。第二部分解析PDF - 挑战纸质文档的数字化PDF文件是为了精确展示而设计的其内部结构对文本提取并不友好。解析PDF是数据挖掘中的一个难点。2.1PyPDF2/PyPDF4/pypdf- 基础文本提取这些库pypdf是PyPDF2的活跃分支主要用于读取PDF元数据和提取纯文本。from pypdf import PdfReader # 推荐使用 pypdf # ---- 案例从PDF中提取所有文本 ---- reader PdfReader(sample.pdf) # 获取文档信息 if reader.metadata: print(f作者: {reader.metadata.author}) print(f标题: {reader.metadata.title}) # 提取所有页面的文本 all_text for page_num, page in enumerate(reader.pages): text page.extract_text() all_text f\n--- 第 {page_num 1} 页 ---\n{text} print(all_text[:500]) # 打印前500个字符局限性:extract_text()的效果高度依赖于原始PDF的创建方式。对于扫描的PDF图片或布局复杂的PDF提取的文本可能是乱序的、缺少空格的甚至完全失败。2.2pdfplumber- 精确的表格与布局分析pdfplumber(pip install pdfplumber) 在pypdf的基础上提供了对PDF内部对象字符、行、方框的精细控制尤其擅长提取表格。import pdfplumber # ---- 案例从PDF表格中提取数据 ---- with pdfplumber.open(financial_report.pdf) as pdf: # 假设我们想要提取第一页的表格 page pdf.pages[0] # 提取页面上的所有表格 tables page.extract_tables() if tables: first_table tables[0] # first_table 是一个二维列表 for row in first_table: print(row) # [Year, Revenue, Profit] ... # 转换为pandas DataFrame 进行进一步分析 import pandas as pd df pd.DataFrame(first_table[1:], columnsfirst_table[0]) # 第一行作为列名 print(df.head()) # ---- 案例提取特定位置的文本 (例如发票号) ---- # 我们知道发票号在页面右上角的一个固定区域内 # left, top, right, bottom 定义了一个矩形区域 (单位通常是点 pt) invoice_bbox (400, 50, 550, 100) # (左, 上, 右, 下) cropped_page page.within_bbox(invoice_bbox) invoice_text cropped_page.extract_text() print(f发票号: {invoice_text})优势: 提供了within_bbox,filter等方法可以基于坐标精确定位和过滤文本/线条是处理结构化PDF如报表、发票的首选。第三部分高级工具与最佳实践3.1pandas- 解析结构化数据的利器虽然pandas主要是一个数据分析库但它内置了强大的I/O函数可以直接从多种格式包括HTML表格、JSON、CSV创建DataFrame。import pandas as pd # ---- 案例1直接从网页URL读取HTML表格 ---- # 很多维基百科页面都有表格 url https://en.wikipedia.org/wiki/List_of_countries_by_GDP_(nominal) # read_html 返回一个包含所有找到的表格的列表 tables pd.read_html(url) gdp_table tables[0] # 通常第一个表格是我们要的 print(gdp_table.head()) # ---- 案例2解析嵌套JSON并展平 ---- nested_json [ { user: {name: Alice, id: 1}, activity: login, timestamp: 2023-01-01T10:00:00Z }, { user: {name: Bob, id: 2}, activity: logout, timestamp: 2023-01-01T10:05:00Z } ] # 使用 pandas.json_normalize (旧版叫 pd.io.json.json_normalize) df pd.json_normalize(nested_json) print(df) # 输出: # user.name user.id activity timestamp # 0 Alice 1 login 2023-01-01T10:00:00Z # 1 Bob 2 logout 2023-01-01T10:05:00Z解析:json_normalize可以自动将嵌套的字典和列表展平非常适合处理来自REST API的复杂JSON响应。3.2 选择正确的工具场景推荐库快速抓取简单HTML页面BeautifulSouprequests高性能爬取需要XPathlxmlrequests处理JavaScript动态加载的页面requests-html或Selenium从PDF提取纯文本pypdf从PDF精确提取表格或定位文本pdfplumber解析API的JSON响应并进行数据分析pandas(配合requests)3.3 关键最佳实践尊重robots.txt和服务条款: 在抓取网站前检查robots.txt文件遵守网站的爬虫规则。不要过度请求以免给服务器造成负担。添加延迟: 在连续请求之间使用time.sleep()模拟人类行为。设置User-Agent: 许多网站会屏蔽没有User-Agent的请求。错误处理: 网络请求和解析过程充满不确定性。务必使用try-except块来捕获requests.exceptions.RequestException、lxml.etree.ParserError、pdfplumber.exceptions.PDFSyntaxError等异常。数据清洗: 解析得到的数据往往是“脏”的。使用str.strip(),str.replace(), 正则表达式等工具进行清洗。考虑使用API: 如果目标网站提供了官方API优先使用API而不是抓取HTML。API更稳定、更高效。结语数据解析是数据科学和自动化工作流的第一步。从BeautifulSoup的优雅到lxml的速度从pdfplumber的精准到pandas的强大Python为我们提供了应对各种挑战的完美工具箱。通过本篇博客的学习你应该已经掌握了如何使用主流库解析HTML/XML和PDF。不同库之间的权衡与选择。结合pandas进行高级数据处理。至关重要的道德和最佳实践。
![[Android] 可视化音乐制作 -短视频超火的音乐视频制作工具](http://pic.xiahunao.cn/yaotu/[Android] 可视化音乐制作 -短视频超火的音乐视频制作工具)
