1. 项目概述从Behance到你的灵感库做设计、搞创意最怕的就是灵感枯竭。以前我习惯在Behance上漫无目的地浏览看到好的项目就随手收藏结果收藏夹越来越臃肿想找的时候却像大海捞针。后来我意识到与其被动接收不如主动构建一个属于自己的、结构化的灵感库。这个项目的核心就是用Python爬虫把Behance上那些编辑精选Curated的高质量项目按照我们自己的逻辑采集下来整理成一个本地化的、可搜索、可分类的灵感数据库。这不仅仅是“爬数据”那么简单。Behance作为Adobe旗下的设计师社区其“Curated”栏目是编辑团队手工挑选的精品代表了当前的设计趋势和顶尖水平。手动搬运效率低下而粗暴的全站爬取既不道德违反robots.txt也给对方服务器带来不必要的压力更会淹没在信息的海洋里。我们的目标是精准、高效、有道德地获取高价值内容并赋予这些数据二次生命——构建一个私人的灵感搜索引擎。整个流程会涉及几个关键环节如何模拟浏览器行为绕过基础反爬如何解析Behance复杂的页面结构特别是动态加载的内容如何设计数据库来存储项目信息、图片、标签等多维数据以及最终如何提供一个简单的界面来检索和浏览这些灵感通过这个实战项目你不仅能学会针对现代网站的爬虫技巧更能掌握一套从数据采集、处理到应用构建的完整思路这对于任何需要数据聚合的场景都大有裨益。2. 核心思路与技术选型2.1 为什么选择Behance Curated页面首先得明确目标源。Behance内容庞大直接爬取全站或搜索页数据质量参差不齐且极易触发反爬机制。而“Curated”精选页面通常是https://www.behance.net/curated或类似路径是官方筛选的优质项目集合内容价值密度极高。从这里入手相当于站在了巨人的肩膀上确保了数据源的“纯度”。我们的爬虫策略将围绕这个页面及其分页展开抓取每个精选项目的详情页链接再进行深度信息提取。2.2 爬虫策略请求、解析与存储的三角架构一个稳健的爬虫项目其架构通常围绕三个核心模块展开请求管理、数据解析和数据存储。针对Behance我们需要特别设计。请求管理直接使用requests库发起GET请求大概率会收到一个包含反爬验证的页面或者根本拿不到完整的HTML因为很多内容是通过JavaScript动态渲染的。因此我们需要一个能执行JavaScript的“无头浏览器”。Selenium是一个选择但它太重了。更优的方案是使用requests-html库它内置了简易的JS渲染能力或者更直接地使用Playwright或Pyppeteer这类现代浏览器自动化工具。它们能完美模拟真实用户访问获取渲染后的完整DOM。为了应对反爬我们还需要合理设置请求头User-Agent、Referer等并加入必要的延迟如time.sleep避免请求过快。数据解析拿到渲染后的HTML后就是信息提取。Behance页面结构清晰但嵌套较深。我们将主要使用BeautifulSoup库辅以CSS选择器或XPath来定位元素。需要提取的信息包括项目标题、作者、发布时间、所属领域标签、点赞数、浏览量、项目描述以及最重要的——项目封面图及详情页内的多张展示图链接。数据存储简单的项目可以存为JSON或CSV文件。但为了构建“灵感库”我们更需要一个能支持复杂查询和关系管理的数据系统。这里选择轻量级的SQLite数据库。我们将设计两张核心表projects表存储项目元信息ID、标题、作者、URL、发布时间等images表存储图片URL和本地保存路径并通过项目ID与projects表关联。此外还可以设计一个tags表来处理项目与标签的多对多关系方便后续按领域筛选。2.3 工具选型清单与考量编程语言Python 3.8。生态丰富爬虫库多如牛毛。HTTP请求与渲染Playwright。比Selenium更快速API更现代对动态页面支持非常好。requests-html可作为备选但其维护状态和渲染能力有时不如Playwright稳定。HTML解析BeautifulSoup4。老牌、稳定、易上手配合lxml解析器速度很快。数据存储SQLite通过Python内置的sqlite3库。无需安装额外服务单文件数据库非常适合本项目。其他工具pandas用于数据清洗和初步分析、Pillow可选用于图片处理或生成缩略图。注意在编写任何爬虫之前必须检查目标网站的robots.txt文件访问https://www.behance.net/robots.txt。尊重该文件中的规则避免爬取被明确禁止的目录这是网络爬虫的道德和法律底线。本项目针对的/curated及相关项目详情页通常不属于被明确禁止的范围但依然要保持礼貌的爬取节奏。3. 环境搭建与核心代码实现3.1 初始化项目与依赖安装首先创建一个新的项目目录并初始化虚拟环境这能有效隔离依赖。mkdir behance-inspiration-crawler cd behance-inspiration-crawler python -m venv venv # Windows: venv\Scripts\activate # Mac/Linux: source venv/bin/activate安装我们选定的核心库pip install playwright beautifulsoup4 pandas pillow # 安装Playwright的浏览器驱动 playwright install chromium3.2 数据库模型设计在项目根目录下创建一个database.py文件用于定义数据库连接和表结构。import sqlite3 from pathlib import Path DB_PATH Path(__file__).parent / data / inspiration.db DB_PATH.parent.mkdir(parentsTrue, exist_okTrue) # 确保data目录存在 def init_database(): 初始化数据库创建表 conn sqlite3.connect(DB_PATH) cursor conn.cursor() # 项目表 cursor.execute( CREATE TABLE IF NOT EXISTS projects ( id INTEGER PRIMARY KEY AUTOINCREMENT, behance_id TEXT UNIQUE NOT NULL, -- Behance平台的项目ID title TEXT NOT NULL, author TEXT, author_url TEXT, published_date TEXT, likes INTEGER DEFAULT 0, views INTEGER DEFAULT 0, url TEXT UNIQUE NOT NULL, description TEXT, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ) ) # 标签表 cursor.execute( CREATE TABLE IF NOT EXISTS tags ( id INTEGER PRIMARY KEY AUTOINCREMENT, name TEXT UNIQUE NOT NULL ) ) # 项目-标签关联表 (多对多关系) cursor.execute( CREATE TABLE IF NOT EXISTS project_tags ( project_id INTEGER NOT NULL, tag_id INTEGER NOT NULL, FOREIGN KEY (project_id) REFERENCES projects (id), FOREIGN KEY (tag_id) REFERENCES tags (id), PRIMARY KEY (project_id, tag_id) ) ) # 图片表 cursor.execute( CREATE TABLE IF NOT EXISTS images ( id INTEGER PRIMARY KEY AUTOINCREMENT, project_id INTEGER NOT NULL, image_url TEXT NOT NULL, local_path TEXT, -- 图片下载到本地的路径 is_cover INTEGER DEFAULT 0, -- 是否为封面图1是0否 FOREIGN KEY (project_id) REFERENCES projects (id) ) ) conn.commit() conn.close() print(f数据库已初始化在: {DB_PATH}) if __name__ __main__: init_database()这个设计将项目、标签、图片分离保证了数据的规范性也方便后续扩展例如按标签筛选、统计热门标签等。3.3 爬虫核心列表页抓取与详情页解析接下来是重头戏创建crawler.py。我们将分两步先从Curated列表页获取所有项目链接再逐个访问详情页抓取完整信息。第一步抓取列表页项目链接from playwright.sync_api import sync_playwright from bs4 import BeautifulSoup import time import urllib.parse from database import DB_PATH import sqlite3 def fetch_project_links_from_curated(page_num1, max_pages5): 从Behance Curated页面抓取项目详情页链接 :param page_num: 起始页码 :param max_pages: 最大爬取页数避免过量请求 :return: 项目链接列表 base_url https://www.behance.net curated_url f{base_url}/curated project_links [] with sync_playwright() as p: # 使用Chromium浏览器headlessTrue表示无头模式不显示界面 browser p.chromium.launch(headlessTrue) context browser.new_context( viewport{width: 1920, height: 1080}, user_agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 ) page context.new_page() for page_index in range(page_num, page_num max_pages): if page_index 1: url curated_url else: url f{curated_url}?page{page_index} print(f正在抓取列表页: {url}) try: page.goto(url, wait_untilnetworkidle) # 等待网络空闲确保内容加载完成 time.sleep(2) # 额外等待确保动态内容渲染 # 获取页面HTML并用BeautifulSoup解析 html page.content() soup BeautifulSoup(html, lxml) # 分析Behance页面结构项目链接通常在带有特定data-project属性的a标签里 # 这里的选择器需要根据实际页面结构调整 link_elements soup.select(a[data-project-id]) for elem in link_elements: href elem.get(href) if href and /project/ in href: full_url urllib.parse.urljoin(base_url, href) if full_url not in project_links: project_links.append(full_url) print(f 发现项目: {full_url}) except Exception as e: print(f抓取列表页 {url} 时出错: {e}) break # 礼貌性延迟避免请求过快 time.sleep(3) browser.close() print(f共发现 {len(project_links)} 个项目链接。) return project_links第二步解析详情页并存入数据库def parse_project_detail(project_url, page): 访问单个项目详情页解析并存储数据 :param project_url: 项目详情页URL :param page: Playwright的page对象用于导航 :return: 解析出的项目数据字典 print(f正在解析项目: {project_url}) try: page.goto(project_url, wait_untilnetworkidle) time.sleep(3) # 给图片等重型内容加载时间 html page.content() soup BeautifulSoup(html, lxml) # 提取项目ID (从URL或页面元素中) behance_id project_url.split(/project/)[-1].split(-)[-1] # 提取标题 title_elem soup.select_one(h1[data-testidproject-title]) or soup.select_one(h1.Title-title) title title_elem.get_text(stripTrue) if title_elem else 未知标题 # 提取作者 author_elem soup.select_one(a[data-testidproject-owner-name]) or soup.select_one(a.Owner-userName) author author_elem.get_text(stripTrue) if author_elem else 未知作者 author_url urllib.parse.urljoin(project_url, author_elem[href]) if author_elem and author_elem.get(href) else # 提取发布时间、点赞、浏览数需要更精细的选择器这里为示例 # 实际中需要查看页面源代码确定具体位置 stats_elem soup.select_one(div.ProjectInfo-stats) published_date likes views None if stats_elem: # 这里只是示例实际解析逻辑可能更复杂 text stats_elem.get_text() # 假设文本格式为 Published Mar 15, 2024 · 1.2k Likes · 15.3k Views # 可以用正则表达式提取 import re date_match re.search(rPublished\s([A-Za-z]\s\d,\s\d), text) likes_match re.search(r(\d\.?\d*[kK]?)\sLikes, text) views_match re.search(r(\d\.?\d*[kK]?)\sViews, text) published_date date_match.group(1) if date_match else None likes _parse_stat(likes_match) views _parse_stat(views_match) # 提取描述 desc_elem soup.select_one(div.ProjectInfo-description) description desc_elem.get_text(stripTrue) if desc_elem else # 提取标签 tags [] tags_container soup.select(div.ProjectTags-tags a) for tag_elem in tags_container: tag_name tag_elem.get_text(stripTrue) if tag_name: tags.append(tag_name) # 提取图片封面图及内容图 image_urls [] # 封面图 cover_elem soup.select_one(img[data-testidproject-cover-image]) or soup.select_one(img.ProjectCover-image) if cover_elem and cover_elem.get(src): image_urls.append({url: cover_elem[src], is_cover: 1}) # 内容图 - 查找项目内容区域的图片 content_images soup.select(div.ProjectContent img) for img in content_images: src img.get(src) or img.get(data-src) # 注意懒加载图片 if src and http in src and src not in [i[url] for i in image_urls]: image_urls.append({url: src, is_cover: 0}) project_data { behance_id: behance_id, title: title, author: author, author_url: author_url, published_date: published_date, likes: likes, views: views, url: project_url, description: description, tags: tags, images: image_urls } return project_data except Exception as e: print(f解析项目 {project_url} 时发生错误: {e}) return None def _parse_stat(match): 辅助函数将1.2k这样的字符串转为整数 if not match: return 0 val match.group(1).lower() if k in val: return int(float(val.replace(k, )) * 1000) return int(val) def save_project_to_db(project_data): 将项目数据保存到SQLite数据库 if not project_data: return False conn sqlite3.connect(DB_PATH) cursor conn.cursor() try: # 1. 插入或忽略项目基于behance_id去重 cursor.execute( INSERT OR IGNORE INTO projects (behance_id, title, author, author_url, published_date, likes, views, url, description) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?) , (project_data[behance_id], project_data[title], project_data[author], project_data[author_url], project_data[published_date], project_data[likes], project_data[views], project_data[url], project_data[description])) project_id cursor.lastrowid if cursor.rowcount 0: # 项目已存在获取其ID cursor.execute(SELECT id FROM projects WHERE behance_id ?, (project_data[behance_id],)) project_id cursor.fetchone()[0] # 2. 处理标签 for tag_name in project_data[tags]: cursor.execute(INSERT OR IGNORE INTO tags (name) VALUES (?), (tag_name,)) cursor.execute(SELECT id FROM tags WHERE name ?, (tag_name,)) tag_id cursor.fetchone()[0] cursor.execute(INSERT OR IGNORE INTO project_tags (project_id, tag_id) VALUES (?, ?), (project_id, tag_id)) # 3. 处理图片 for img in project_data[images]: cursor.execute( INSERT OR IGNORE INTO images (project_id, image_url, is_cover) VALUES (?, ?, ?) , (project_id, img[url], img[is_cover])) conn.commit() print(f项目 {project_data[title]} 已保存到数据库ID: {project_id}) return True except sqlite3.Error as e: print(f数据库保存失败: {e}) conn.rollback() return False finally: conn.close()第三步主流程控制在crawler.py末尾添加主函数串联整个流程def main(): # 初始化数据库 from database import init_database init_database() # 第一步获取项目链接 print(开始抓取Curated列表页...) project_urls fetch_project_links_from_curated(max_pages3) # 先抓3页试试水 # 第二步逐个解析并保存 with sync_playwright() as p: browser p.chromium.launch(headlessTrue) context browser.new_context( user_agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 ) page context.new_page() success_count 0 for url in project_urls[:10]: # 首次运行先测试前10个项目 project_data parse_project_detail(url, page) if project_data and save_project_to_db(project_data): success_count 1 time.sleep(5) # 每个项目详情页访问间隔5秒非常重要 browser.close() print(f爬取完成成功处理 {success_count}/{len(project_urls[:10])} 个项目。) if __name__ __main__: main()4. 数据持久化与图片下载优化4.1 数据库查询与数据导出数据存进SQLite后我们可以方便地进行查询。创建一个简单的query.py脚本import sqlite3 import pandas as pd from database import DB_PATH def query_projects_by_tag(tag_nameNone, limit20): 根据标签查询项目如果不指定标签则返回最新项目 conn sqlite3.connect(DB_PATH) query SELECT p.title, p.author, p.published_date, p.likes, p.views, p.url, GROUP_CONCAT(t.name, , ) as tags FROM projects p LEFT JOIN project_tags pt ON p.id pt.project_id LEFT JOIN tags t ON pt.tag_id t.id params [] if tag_name: query WHERE t.name ? params.append(tag_name) query GROUP BY p.id ORDER BY p.created_at DESC LIMIT ? params.append(limit) df pd.read_sql_query(query, conn, paramsparams) conn.close() return df def export_to_csv(filenamebehance_projects.csv): 将项目数据导出为CSV文件便于用Excel或Numbers打开分析 conn sqlite3.connect(DB_PATH) df pd.read_sql_query( SELECT p.*, GROUP_CONCAT(t.name, ; ) as tags FROM projects p LEFT JOIN project_tags pt ON p.id pt.project_id LEFT JOIN tags t ON pt.tag_id t.id GROUP BY p.id , conn) df.to_csv(filename, indexFalse, encodingutf-8-sig) # utf-8-sig支持Excel中文 conn.close() print(f数据已导出到 {filename}) if __name__ __main__: # 示例查询包含“UI”标签的项目 ui_projects query_projects_by_tag(tag_nameUI) print(ui_projects.head()) # 导出所有数据 export_to_csv()4.2 图片本地化与存储策略将图片URL保存到数据库只是第一步为了构建真正离线的灵感库我们需要将图片下载到本地。这涉及到网络请求、文件存储和错误处理。在crawler.py中增加一个函数并在保存项目数据后调用import requests from pathlib import Path import hashlib def download_project_images(project_id, image_urls, base_save_dirdownloaded_images): 下载项目图片到本地 :param project_id: 项目在数据库中的ID :param image_urls: 图片信息列表每个元素是包含url和is_cover的字典 :param base_save_dir: 图片存储根目录 save_dir Path(base_save_dir) / str(project_id) save_dir.mkdir(parentsTrue, exist_okTrue) conn sqlite3.connect(DB_PATH) cursor conn.cursor() for img_info in image_urls: img_url img_info[url] if not img_url.startswith(http): continue try: # 生成唯一文件名避免重复和特殊字符 file_hash hashlib.md5(img_url.encode()).hexdigest()[:8] # 尝试从URL推断文件扩展名 ext Path(urllib.parse.urlparse(img_url).path).suffix if not ext or len(ext) 5: # 如果没有扩展名或太长默认.jpg ext .jpg filename f{file_hash}{ext} filepath save_dir / filename # 下载图片 headers {User-Agent: Mozilla/5.0} response requests.get(img_url, headersheaders, streamTrue, timeout10) response.raise_for_status() # 检查请求是否成功 with open(filepath, wb) as f: for chunk in response.iter_content(chunk_size8192): f.write(chunk) # 更新数据库中的本地路径 local_path_str str(filepath.relative_to(base_save_dir)) # 存储相对路径 cursor.execute( UPDATE images SET local_path ? WHERE project_id ? AND image_url ? , (local_path_str, project_id, img_url)) print(f 图片已下载: {filepath}) time.sleep(0.5) # 下载间隔避免对服务器造成压力 except requests.exceptions.RequestException as e: print(f 下载图片失败 {img_url}: {e}) except Exception as e: print(f 处理图片时出错 {img_url}: {e}) conn.commit() conn.close()然后修改save_project_to_db函数在成功保存项目基本信息后调用图片下载可以考虑放到主流程中与解析分离避免单次操作时间过长。5. 构建简易的本地灵感库Web界面有了数据库和本地图片我们可以用最轻量的方式搭建一个查看界面。这里使用Python的Flask框架快速实现。安装Flaskpip install flask创建一个app.py文件from flask import Flask, render_template, request, send_from_directory import sqlite3 from database import DB_PATH from pathlib import Path app Flask(__name__) IMAGE_BASE_DIR Path(downloaded_images) # 图片存储目录 app.route(/) def index(): 首页展示项目列表 conn sqlite3.connect(DB_PATH) conn.row_factory sqlite3.Row # 以字典形式返回行 cursor conn.cursor() # 获取所有标签 cursor.execute(SELECT name FROM tags ORDER BY name) all_tags [row[name] for row in cursor.fetchall()] # 处理筛选条件 selected_tag request.args.get(tag) query SELECT p.id, p.title, p.author, p.published_date, p.likes, p.views, p.description, i.local_path as cover_path FROM projects p LEFT JOIN images i ON p.id i.project_id AND i.is_cover 1 LEFT JOIN project_tags pt ON p.id pt.project_id LEFT JOIN tags t ON pt.tag_id t.id WHERE 11 params [] if selected_tag: query AND t.name ? params.append(selected_tag) query GROUP BY p.id ORDER BY p.created_at DESC LIMIT 50 cursor.execute(query, params) projects [dict(row) for row in cursor.fetchall()] conn.close() return render_template(index.html, projectsprojects, all_tagsall_tags, selected_tagselected_tag) app.route(/project/int:project_id) def project_detail(project_id): 项目详情页 conn sqlite3.connect(DB_PATH) conn.row_factory sqlite3.Row cursor conn.cursor() # 获取项目基本信息 cursor.execute(SELECT * FROM projects WHERE id ?, (project_id,)) project dict(cursor.fetchone()) # 获取项目标签 cursor.execute( SELECT t.name FROM tags t JOIN project_tags pt ON t.id pt.tag_id WHERE pt.project_id ? , (project_id,)) project[tags] [row[name] for row in cursor.fetchall()] # 获取项目所有图片 cursor.execute(SELECT image_url, local_path, is_cover FROM images WHERE project_id ? ORDER BY is_cover DESC, id, (project_id,)) images [dict(row) for row in cursor.fetchall()] conn.close() return render_template(detail.html, projectproject, imagesimages) app.route(/images/path:filename) def serve_image(filename): 提供本地图片访问 return send_from_directory(IMAGE_BASE_DIR, filename) if __name__ __main__: # 创建模板目录 templates_dir Path(templates) templates_dir.mkdir(exist_okTrue) # 这里需要手动创建 index.html 和 detail.html 模板文件 app.run(debugTrue, port5000)接下来在templates目录下创建两个HTML模板文件。templates/index.html(列表页模板)!DOCTYPE html html head titleBehance灵感库/title style body { font-family: sans-serif; margin: 20px; } .tag-filter { margin-bottom: 20px; } .tag { display: inline-block; padding: 5px 10px; margin: 5px; background: #eee; border-radius: 3px; text-decoration: none; color: #333; } .tag.active { background: #007bff; color: white; } .project-grid { display: grid; grid-template-columns: repeat(auto-fill, minmax(300px, 1fr)); gap: 20px; } .project-card { border: 1px solid #ddd; border-radius: 8px; overflow: hidden; } .project-cover img { width: 100%; height: 200px; object-fit: cover; } .project-info { padding: 15px; } .project-title { font-weight: bold; margin-bottom: 5px; } .project-meta { color: #666; font-size: 0.9em; } /style /head body h1Behance精选灵感库/h1 div classtag-filter a href/ classtag {% if not selected_tag %}active{% endif %}全部/a {% for tag in all_tags %} a href/?tag{{ tag }} classtag {% if selected_tag tag %}active{% endif %}{{ tag }}/a {% endfor %} /div div classproject-grid {% for project in projects %} div classproject-card div classproject-cover {% if project.cover_path %} img src{{ url_for(serve_image, filenameproject.cover_path) }} alt{{ project.title }} {% else %} div stylewidth:100%; height:200px; background:#ccc;/div {% endif %} /div div classproject-info div classproject-titlea href{{ url_for(project_detail, project_idproject.id) }}{{ project.title }}/a/div div classproject-meta 作者: {{ project.author }}br 发布于: {{ project.published_date or N/A }}br {{ project.likes or 0 }} | {{ project.views or 0 }} /div /div /div {% endfor %} /div /body /htmltemplates/detail.html(详情页模板)!DOCTYPE html html head title{{ project.title }} - 灵感库/title style body { font-family: sans-serif; max-width: 1000px; margin: 20px auto; padding: 0 20px; } .back-link { margin-bottom: 20px; } .project-header { margin-bottom: 30px; } .project-title { font-size: 2em; margin-bottom: 10px; } .project-meta { color: #666; margin-bottom: 15px; } .project-tags { margin-bottom: 20px; } .tag { display: inline-block; background: #f0f0f0; padding: 3px 8px; margin-right: 5px; border-radius: 3px; font-size: 0.9em; } .project-description { line-height: 1.6; margin-bottom: 30px; } .image-gallery img { max-width: 100%; height: auto; display: block; margin: 20px auto; border: 1px solid #eee; } /style /head body div classback-linka href{{ url_for(index) }}← 返回列表/a/div div classproject-header h1 classproject-title{{ project.title }}/h1 div classproject-meta 作者: a href{{ project.author_url }} target_blank{{ project.author }}/a | 发布于: {{ project.published_date or N/A }} | {{ project.likes or 0 }} | {{ project.views or 0 }} /div div classproject-tags {% for tag in project.tags %} span classtag{{ tag }}/span {% endfor %} /div /div div classproject-description {{ project.description or 暂无详细描述 }} /div div classimage-gallery {% for img in images %} img src{% if img.local_path %}{{ url_for(serve_image, filenameimg.local_path) }}{% else %}{{ img.image_url }}{% endif %} alt项目图片 {% endfor %} /div /body /html现在运行python app.py访问http://127.0.0.1:5000一个属于你自己的、本地的Behance精选灵感库就搭建完成了你可以按标签筛选、浏览项目详情所有图片都已本地化无需网络即可查看。6. 常见问题、反爬策略与优化建议6.1 爬虫被屏蔽或返回异常数据怎么办这是爬虫开发者最常遇到的问题。Behance这类大型网站通常有反爬机制。请求头Headers确保设置了完整的User-Agent、Referer甚至Accept-Language。使用真实的浏览器UA字符串。访问频率这是最关键的一点。在time.sleep中设置的延迟如列表页3秒详情页5秒是必须的。可以考虑加入随机延迟random.uniform(2, 6)来模拟更真实的人类行为。IP限制如果长时间、大量爬取可能会触发IP封锁。对于个人小规模采集控制频率通常足够。如果需求量大需要考虑使用代理IP池但这会大大增加复杂性和成本。Cookies与Session使用Playwright或Selenium的一个好处是它们会自动管理Cookies模拟完整的浏览器会话这比单纯的requests更不容易被识别为爬虫。检测页面变化如果某天发现爬虫解析不到数据了首先检查网站HTML结构是否更新。需要调整BeautifulSoup中的CSS选择器或XPath路径。6.2 数据解析不准确或遗漏动态内容加载Behance的图片和部分内容可能是滚动到页面底部时动态加载的。Playwright的wait_until“networkidle”和time.sleep可能不够。可以尝试使用page.evaluate()执行JavaScript来模拟滚动或者等待特定元素出现page.wait_for_selector(‘img[data-testid“project-cover-image”]’)。选择器健壮性不要依赖单一的、可能变化的CSS类名。优先使用>
Python爬虫实战：构建Behance精选灵感库与本地搜索引擎
发布时间：2026/7/6 23:25:20
1. 项目概述从Behance到你的灵感库做设计、搞创意最怕的就是灵感枯竭。以前我习惯在Behance上漫无目的地浏览看到好的项目就随手收藏结果收藏夹越来越臃肿想找的时候却像大海捞针。后来我意识到与其被动接收不如主动构建一个属于自己的、结构化的灵感库。这个项目的核心就是用Python爬虫把Behance上那些编辑精选Curated的高质量项目按照我们自己的逻辑采集下来整理成一个本地化的、可搜索、可分类的灵感数据库。这不仅仅是“爬数据”那么简单。Behance作为Adobe旗下的设计师社区其“Curated”栏目是编辑团队手工挑选的精品代表了当前的设计趋势和顶尖水平。手动搬运效率低下而粗暴的全站爬取既不道德违反robots.txt也给对方服务器带来不必要的压力更会淹没在信息的海洋里。我们的目标是精准、高效、有道德地获取高价值内容并赋予这些数据二次生命——构建一个私人的灵感搜索引擎。整个流程会涉及几个关键环节如何模拟浏览器行为绕过基础反爬如何解析Behance复杂的页面结构特别是动态加载的内容如何设计数据库来存储项目信息、图片、标签等多维数据以及最终如何提供一个简单的界面来检索和浏览这些灵感通过这个实战项目你不仅能学会针对现代网站的爬虫技巧更能掌握一套从数据采集、处理到应用构建的完整思路这对于任何需要数据聚合的场景都大有裨益。2. 核心思路与技术选型2.1 为什么选择Behance Curated页面首先得明确目标源。Behance内容庞大直接爬取全站或搜索页数据质量参差不齐且极易触发反爬机制。而“Curated”精选页面通常是https://www.behance.net/curated或类似路径是官方筛选的优质项目集合内容价值密度极高。从这里入手相当于站在了巨人的肩膀上确保了数据源的“纯度”。我们的爬虫策略将围绕这个页面及其分页展开抓取每个精选项目的详情页链接再进行深度信息提取。2.2 爬虫策略请求、解析与存储的三角架构一个稳健的爬虫项目其架构通常围绕三个核心模块展开请求管理、数据解析和数据存储。针对Behance我们需要特别设计。请求管理直接使用requests库发起GET请求大概率会收到一个包含反爬验证的页面或者根本拿不到完整的HTML因为很多内容是通过JavaScript动态渲染的。因此我们需要一个能执行JavaScript的“无头浏览器”。Selenium是一个选择但它太重了。更优的方案是使用requests-html库它内置了简易的JS渲染能力或者更直接地使用Playwright或Pyppeteer这类现代浏览器自动化工具。它们能完美模拟真实用户访问获取渲染后的完整DOM。为了应对反爬我们还需要合理设置请求头User-Agent、Referer等并加入必要的延迟如time.sleep避免请求过快。数据解析拿到渲染后的HTML后就是信息提取。Behance页面结构清晰但嵌套较深。我们将主要使用BeautifulSoup库辅以CSS选择器或XPath来定位元素。需要提取的信息包括项目标题、作者、发布时间、所属领域标签、点赞数、浏览量、项目描述以及最重要的——项目封面图及详情页内的多张展示图链接。数据存储简单的项目可以存为JSON或CSV文件。但为了构建“灵感库”我们更需要一个能支持复杂查询和关系管理的数据系统。这里选择轻量级的SQLite数据库。我们将设计两张核心表projects表存储项目元信息ID、标题、作者、URL、发布时间等images表存储图片URL和本地保存路径并通过项目ID与projects表关联。此外还可以设计一个tags表来处理项目与标签的多对多关系方便后续按领域筛选。2.3 工具选型清单与考量编程语言Python 3.8。生态丰富爬虫库多如牛毛。HTTP请求与渲染Playwright。比Selenium更快速API更现代对动态页面支持非常好。requests-html可作为备选但其维护状态和渲染能力有时不如Playwright稳定。HTML解析BeautifulSoup4。老牌、稳定、易上手配合lxml解析器速度很快。数据存储SQLite通过Python内置的sqlite3库。无需安装额外服务单文件数据库非常适合本项目。其他工具pandas用于数据清洗和初步分析、Pillow可选用于图片处理或生成缩略图。注意在编写任何爬虫之前必须检查目标网站的robots.txt文件访问https://www.behance.net/robots.txt。尊重该文件中的规则避免爬取被明确禁止的目录这是网络爬虫的道德和法律底线。本项目针对的/curated及相关项目详情页通常不属于被明确禁止的范围但依然要保持礼貌的爬取节奏。3. 环境搭建与核心代码实现3.1 初始化项目与依赖安装首先创建一个新的项目目录并初始化虚拟环境这能有效隔离依赖。mkdir behance-inspiration-crawler cd behance-inspiration-crawler python -m venv venv # Windows: venv\Scripts\activate # Mac/Linux: source venv/bin/activate安装我们选定的核心库pip install playwright beautifulsoup4 pandas pillow # 安装Playwright的浏览器驱动 playwright install chromium3.2 数据库模型设计在项目根目录下创建一个database.py文件用于定义数据库连接和表结构。import sqlite3 from pathlib import Path DB_PATH Path(__file__).parent / data / inspiration.db DB_PATH.parent.mkdir(parentsTrue, exist_okTrue) # 确保data目录存在 def init_database(): 初始化数据库创建表 conn sqlite3.connect(DB_PATH) cursor conn.cursor() # 项目表 cursor.execute( CREATE TABLE IF NOT EXISTS projects ( id INTEGER PRIMARY KEY AUTOINCREMENT, behance_id TEXT UNIQUE NOT NULL, -- Behance平台的项目ID title TEXT NOT NULL, author TEXT, author_url TEXT, published_date TEXT, likes INTEGER DEFAULT 0, views INTEGER DEFAULT 0, url TEXT UNIQUE NOT NULL, description TEXT, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ) ) # 标签表 cursor.execute( CREATE TABLE IF NOT EXISTS tags ( id INTEGER PRIMARY KEY AUTOINCREMENT, name TEXT UNIQUE NOT NULL ) ) # 项目-标签关联表 (多对多关系) cursor.execute( CREATE TABLE IF NOT EXISTS project_tags ( project_id INTEGER NOT NULL, tag_id INTEGER NOT NULL, FOREIGN KEY (project_id) REFERENCES projects (id), FOREIGN KEY (tag_id) REFERENCES tags (id), PRIMARY KEY (project_id, tag_id) ) ) # 图片表 cursor.execute( CREATE TABLE IF NOT EXISTS images ( id INTEGER PRIMARY KEY AUTOINCREMENT, project_id INTEGER NOT NULL, image_url TEXT NOT NULL, local_path TEXT, -- 图片下载到本地的路径 is_cover INTEGER DEFAULT 0, -- 是否为封面图1是0否 FOREIGN KEY (project_id) REFERENCES projects (id) ) ) conn.commit() conn.close() print(f数据库已初始化在: {DB_PATH}) if __name__ __main__: init_database()这个设计将项目、标签、图片分离保证了数据的规范性也方便后续扩展例如按标签筛选、统计热门标签等。3.3 爬虫核心列表页抓取与详情页解析接下来是重头戏创建crawler.py。我们将分两步先从Curated列表页获取所有项目链接再逐个访问详情页抓取完整信息。第一步抓取列表页项目链接from playwright.sync_api import sync_playwright from bs4 import BeautifulSoup import time import urllib.parse from database import DB_PATH import sqlite3 def fetch_project_links_from_curated(page_num1, max_pages5): 从Behance Curated页面抓取项目详情页链接 :param page_num: 起始页码 :param max_pages: 最大爬取页数避免过量请求 :return: 项目链接列表 base_url https://www.behance.net curated_url f{base_url}/curated project_links [] with sync_playwright() as p: # 使用Chromium浏览器headlessTrue表示无头模式不显示界面 browser p.chromium.launch(headlessTrue) context browser.new_context( viewport{width: 1920, height: 1080}, user_agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 ) page context.new_page() for page_index in range(page_num, page_num max_pages): if page_index 1: url curated_url else: url f{curated_url}?page{page_index} print(f正在抓取列表页: {url}) try: page.goto(url, wait_untilnetworkidle) # 等待网络空闲确保内容加载完成 time.sleep(2) # 额外等待确保动态内容渲染 # 获取页面HTML并用BeautifulSoup解析 html page.content() soup BeautifulSoup(html, lxml) # 分析Behance页面结构项目链接通常在带有特定data-project属性的a标签里 # 这里的选择器需要根据实际页面结构调整 link_elements soup.select(a[data-project-id]) for elem in link_elements: href elem.get(href) if href and /project/ in href: full_url urllib.parse.urljoin(base_url, href) if full_url not in project_links: project_links.append(full_url) print(f 发现项目: {full_url}) except Exception as e: print(f抓取列表页 {url} 时出错: {e}) break # 礼貌性延迟避免请求过快 time.sleep(3) browser.close() print(f共发现 {len(project_links)} 个项目链接。) return project_links第二步解析详情页并存入数据库def parse_project_detail(project_url, page): 访问单个项目详情页解析并存储数据 :param project_url: 项目详情页URL :param page: Playwright的page对象用于导航 :return: 解析出的项目数据字典 print(f正在解析项目: {project_url}) try: page.goto(project_url, wait_untilnetworkidle) time.sleep(3) # 给图片等重型内容加载时间 html page.content() soup BeautifulSoup(html, lxml) # 提取项目ID (从URL或页面元素中) behance_id project_url.split(/project/)[-1].split(-)[-1] # 提取标题 title_elem soup.select_one(h1[data-testidproject-title]) or soup.select_one(h1.Title-title) title title_elem.get_text(stripTrue) if title_elem else 未知标题 # 提取作者 author_elem soup.select_one(a[data-testidproject-owner-name]) or soup.select_one(a.Owner-userName) author author_elem.get_text(stripTrue) if author_elem else 未知作者 author_url urllib.parse.urljoin(project_url, author_elem[href]) if author_elem and author_elem.get(href) else # 提取发布时间、点赞、浏览数需要更精细的选择器这里为示例 # 实际中需要查看页面源代码确定具体位置 stats_elem soup.select_one(div.ProjectInfo-stats) published_date likes views None if stats_elem: # 这里只是示例实际解析逻辑可能更复杂 text stats_elem.get_text() # 假设文本格式为 Published Mar 15, 2024 · 1.2k Likes · 15.3k Views # 可以用正则表达式提取 import re date_match re.search(rPublished\s([A-Za-z]\s\d,\s\d), text) likes_match re.search(r(\d\.?\d*[kK]?)\sLikes, text) views_match re.search(r(\d\.?\d*[kK]?)\sViews, text) published_date date_match.group(1) if date_match else None likes _parse_stat(likes_match) views _parse_stat(views_match) # 提取描述 desc_elem soup.select_one(div.ProjectInfo-description) description desc_elem.get_text(stripTrue) if desc_elem else # 提取标签 tags [] tags_container soup.select(div.ProjectTags-tags a) for tag_elem in tags_container: tag_name tag_elem.get_text(stripTrue) if tag_name: tags.append(tag_name) # 提取图片封面图及内容图 image_urls [] # 封面图 cover_elem soup.select_one(img[data-testidproject-cover-image]) or soup.select_one(img.ProjectCover-image) if cover_elem and cover_elem.get(src): image_urls.append({url: cover_elem[src], is_cover: 1}) # 内容图 - 查找项目内容区域的图片 content_images soup.select(div.ProjectContent img) for img in content_images: src img.get(src) or img.get(data-src) # 注意懒加载图片 if src and http in src and src not in [i[url] for i in image_urls]: image_urls.append({url: src, is_cover: 0}) project_data { behance_id: behance_id, title: title, author: author, author_url: author_url, published_date: published_date, likes: likes, views: views, url: project_url, description: description, tags: tags, images: image_urls } return project_data except Exception as e: print(f解析项目 {project_url} 时发生错误: {e}) return None def _parse_stat(match): 辅助函数将1.2k这样的字符串转为整数 if not match: return 0 val match.group(1).lower() if k in val: return int(float(val.replace(k, )) * 1000) return int(val) def save_project_to_db(project_data): 将项目数据保存到SQLite数据库 if not project_data: return False conn sqlite3.connect(DB_PATH) cursor conn.cursor() try: # 1. 插入或忽略项目基于behance_id去重 cursor.execute( INSERT OR IGNORE INTO projects (behance_id, title, author, author_url, published_date, likes, views, url, description) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?) , (project_data[behance_id], project_data[title], project_data[author], project_data[author_url], project_data[published_date], project_data[likes], project_data[views], project_data[url], project_data[description])) project_id cursor.lastrowid if cursor.rowcount 0: # 项目已存在获取其ID cursor.execute(SELECT id FROM projects WHERE behance_id ?, (project_data[behance_id],)) project_id cursor.fetchone()[0] # 2. 处理标签 for tag_name in project_data[tags]: cursor.execute(INSERT OR IGNORE INTO tags (name) VALUES (?), (tag_name,)) cursor.execute(SELECT id FROM tags WHERE name ?, (tag_name,)) tag_id cursor.fetchone()[0] cursor.execute(INSERT OR IGNORE INTO project_tags (project_id, tag_id) VALUES (?, ?), (project_id, tag_id)) # 3. 处理图片 for img in project_data[images]: cursor.execute( INSERT OR IGNORE INTO images (project_id, image_url, is_cover) VALUES (?, ?, ?) , (project_id, img[url], img[is_cover])) conn.commit() print(f项目 {project_data[title]} 已保存到数据库ID: {project_id}) return True except sqlite3.Error as e: print(f数据库保存失败: {e}) conn.rollback() return False finally: conn.close()第三步主流程控制在crawler.py末尾添加主函数串联整个流程def main(): # 初始化数据库 from database import init_database init_database() # 第一步获取项目链接 print(开始抓取Curated列表页...) project_urls fetch_project_links_from_curated(max_pages3) # 先抓3页试试水 # 第二步逐个解析并保存 with sync_playwright() as p: browser p.chromium.launch(headlessTrue) context browser.new_context( user_agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 ) page context.new_page() success_count 0 for url in project_urls[:10]: # 首次运行先测试前10个项目 project_data parse_project_detail(url, page) if project_data and save_project_to_db(project_data): success_count 1 time.sleep(5) # 每个项目详情页访问间隔5秒非常重要 browser.close() print(f爬取完成成功处理 {success_count}/{len(project_urls[:10])} 个项目。) if __name__ __main__: main()4. 数据持久化与图片下载优化4.1 数据库查询与数据导出数据存进SQLite后我们可以方便地进行查询。创建一个简单的query.py脚本import sqlite3 import pandas as pd from database import DB_PATH def query_projects_by_tag(tag_nameNone, limit20): 根据标签查询项目如果不指定标签则返回最新项目 conn sqlite3.connect(DB_PATH) query SELECT p.title, p.author, p.published_date, p.likes, p.views, p.url, GROUP_CONCAT(t.name, , ) as tags FROM projects p LEFT JOIN project_tags pt ON p.id pt.project_id LEFT JOIN tags t ON pt.tag_id t.id params [] if tag_name: query WHERE t.name ? params.append(tag_name) query GROUP BY p.id ORDER BY p.created_at DESC LIMIT ? params.append(limit) df pd.read_sql_query(query, conn, paramsparams) conn.close() return df def export_to_csv(filenamebehance_projects.csv): 将项目数据导出为CSV文件便于用Excel或Numbers打开分析 conn sqlite3.connect(DB_PATH) df pd.read_sql_query( SELECT p.*, GROUP_CONCAT(t.name, ; ) as tags FROM projects p LEFT JOIN project_tags pt ON p.id pt.project_id LEFT JOIN tags t ON pt.tag_id t.id GROUP BY p.id , conn) df.to_csv(filename, indexFalse, encodingutf-8-sig) # utf-8-sig支持Excel中文 conn.close() print(f数据已导出到 {filename}) if __name__ __main__: # 示例查询包含“UI”标签的项目 ui_projects query_projects_by_tag(tag_nameUI) print(ui_projects.head()) # 导出所有数据 export_to_csv()4.2 图片本地化与存储策略将图片URL保存到数据库只是第一步为了构建真正离线的灵感库我们需要将图片下载到本地。这涉及到网络请求、文件存储和错误处理。在crawler.py中增加一个函数并在保存项目数据后调用import requests from pathlib import Path import hashlib def download_project_images(project_id, image_urls, base_save_dirdownloaded_images): 下载项目图片到本地 :param project_id: 项目在数据库中的ID :param image_urls: 图片信息列表每个元素是包含url和is_cover的字典 :param base_save_dir: 图片存储根目录 save_dir Path(base_save_dir) / str(project_id) save_dir.mkdir(parentsTrue, exist_okTrue) conn sqlite3.connect(DB_PATH) cursor conn.cursor() for img_info in image_urls: img_url img_info[url] if not img_url.startswith(http): continue try: # 生成唯一文件名避免重复和特殊字符 file_hash hashlib.md5(img_url.encode()).hexdigest()[:8] # 尝试从URL推断文件扩展名 ext Path(urllib.parse.urlparse(img_url).path).suffix if not ext or len(ext) 5: # 如果没有扩展名或太长默认.jpg ext .jpg filename f{file_hash}{ext} filepath save_dir / filename # 下载图片 headers {User-Agent: Mozilla/5.0} response requests.get(img_url, headersheaders, streamTrue, timeout10) response.raise_for_status() # 检查请求是否成功 with open(filepath, wb) as f: for chunk in response.iter_content(chunk_size8192): f.write(chunk) # 更新数据库中的本地路径 local_path_str str(filepath.relative_to(base_save_dir)) # 存储相对路径 cursor.execute( UPDATE images SET local_path ? WHERE project_id ? AND image_url ? , (local_path_str, project_id, img_url)) print(f 图片已下载: {filepath}) time.sleep(0.5) # 下载间隔避免对服务器造成压力 except requests.exceptions.RequestException as e: print(f 下载图片失败 {img_url}: {e}) except Exception as e: print(f 处理图片时出错 {img_url}: {e}) conn.commit() conn.close()然后修改save_project_to_db函数在成功保存项目基本信息后调用图片下载可以考虑放到主流程中与解析分离避免单次操作时间过长。5. 构建简易的本地灵感库Web界面有了数据库和本地图片我们可以用最轻量的方式搭建一个查看界面。这里使用Python的Flask框架快速实现。安装Flaskpip install flask创建一个app.py文件from flask import Flask, render_template, request, send_from_directory import sqlite3 from database import DB_PATH from pathlib import Path app Flask(__name__) IMAGE_BASE_DIR Path(downloaded_images) # 图片存储目录 app.route(/) def index(): 首页展示项目列表 conn sqlite3.connect(DB_PATH) conn.row_factory sqlite3.Row # 以字典形式返回行 cursor conn.cursor() # 获取所有标签 cursor.execute(SELECT name FROM tags ORDER BY name) all_tags [row[name] for row in cursor.fetchall()] # 处理筛选条件 selected_tag request.args.get(tag) query SELECT p.id, p.title, p.author, p.published_date, p.likes, p.views, p.description, i.local_path as cover_path FROM projects p LEFT JOIN images i ON p.id i.project_id AND i.is_cover 1 LEFT JOIN project_tags pt ON p.id pt.project_id LEFT JOIN tags t ON pt.tag_id t.id WHERE 11 params [] if selected_tag: query AND t.name ? params.append(selected_tag) query GROUP BY p.id ORDER BY p.created_at DESC LIMIT 50 cursor.execute(query, params) projects [dict(row) for row in cursor.fetchall()] conn.close() return render_template(index.html, projectsprojects, all_tagsall_tags, selected_tagselected_tag) app.route(/project/int:project_id) def project_detail(project_id): 项目详情页 conn sqlite3.connect(DB_PATH) conn.row_factory sqlite3.Row cursor conn.cursor() # 获取项目基本信息 cursor.execute(SELECT * FROM projects WHERE id ?, (project_id,)) project dict(cursor.fetchone()) # 获取项目标签 cursor.execute( SELECT t.name FROM tags t JOIN project_tags pt ON t.id pt.tag_id WHERE pt.project_id ? , (project_id,)) project[tags] [row[name] for row in cursor.fetchall()] # 获取项目所有图片 cursor.execute(SELECT image_url, local_path, is_cover FROM images WHERE project_id ? ORDER BY is_cover DESC, id, (project_id,)) images [dict(row) for row in cursor.fetchall()] conn.close() return render_template(detail.html, projectproject, imagesimages) app.route(/images/path:filename) def serve_image(filename): 提供本地图片访问 return send_from_directory(IMAGE_BASE_DIR, filename) if __name__ __main__: # 创建模板目录 templates_dir Path(templates) templates_dir.mkdir(exist_okTrue) # 这里需要手动创建 index.html 和 detail.html 模板文件 app.run(debugTrue, port5000)接下来在templates目录下创建两个HTML模板文件。templates/index.html(列表页模板)!DOCTYPE html html head titleBehance灵感库/title style body { font-family: sans-serif; margin: 20px; } .tag-filter { margin-bottom: 20px; } .tag { display: inline-block; padding: 5px 10px; margin: 5px; background: #eee; border-radius: 3px; text-decoration: none; color: #333; } .tag.active { background: #007bff; color: white; } .project-grid { display: grid; grid-template-columns: repeat(auto-fill, minmax(300px, 1fr)); gap: 20px; } .project-card { border: 1px solid #ddd; border-radius: 8px; overflow: hidden; } .project-cover img { width: 100%; height: 200px; object-fit: cover; } .project-info { padding: 15px; } .project-title { font-weight: bold; margin-bottom: 5px; } .project-meta { color: #666; font-size: 0.9em; } /style /head body h1Behance精选灵感库/h1 div classtag-filter a href/ classtag {% if not selected_tag %}active{% endif %}全部/a {% for tag in all_tags %} a href/?tag{{ tag }} classtag {% if selected_tag tag %}active{% endif %}{{ tag }}/a {% endfor %} /div div classproject-grid {% for project in projects %} div classproject-card div classproject-cover {% if project.cover_path %} img src{{ url_for(serve_image, filenameproject.cover_path) }} alt{{ project.title }} {% else %} div stylewidth:100%; height:200px; background:#ccc;/div {% endif %} /div div classproject-info div classproject-titlea href{{ url_for(project_detail, project_idproject.id) }}{{ project.title }}/a/div div classproject-meta 作者: {{ project.author }}br 发布于: {{ project.published_date or N/A }}br {{ project.likes or 0 }} | {{ project.views or 0 }} /div /div /div {% endfor %} /div /body /htmltemplates/detail.html(详情页模板)!DOCTYPE html html head title{{ project.title }} - 灵感库/title style body { font-family: sans-serif; max-width: 1000px; margin: 20px auto; padding: 0 20px; } .back-link { margin-bottom: 20px; } .project-header { margin-bottom: 30px; } .project-title { font-size: 2em; margin-bottom: 10px; } .project-meta { color: #666; margin-bottom: 15px; } .project-tags { margin-bottom: 20px; } .tag { display: inline-block; background: #f0f0f0; padding: 3px 8px; margin-right: 5px; border-radius: 3px; font-size: 0.9em; } .project-description { line-height: 1.6; margin-bottom: 30px; } .image-gallery img { max-width: 100%; height: auto; display: block; margin: 20px auto; border: 1px solid #eee; } /style /head body div classback-linka href{{ url_for(index) }}← 返回列表/a/div div classproject-header h1 classproject-title{{ project.title }}/h1 div classproject-meta 作者: a href{{ project.author_url }} target_blank{{ project.author }}/a | 发布于: {{ project.published_date or N/A }} | {{ project.likes or 0 }} | {{ project.views or 0 }} /div div classproject-tags {% for tag in project.tags %} span classtag{{ tag }}/span {% endfor %} /div /div div classproject-description {{ project.description or 暂无详细描述 }} /div div classimage-gallery {% for img in images %} img src{% if img.local_path %}{{ url_for(serve_image, filenameimg.local_path) }}{% else %}{{ img.image_url }}{% endif %} alt项目图片 {% endfor %} /div /body /html现在运行python app.py访问http://127.0.0.1:5000一个属于你自己的、本地的Behance精选灵感库就搭建完成了你可以按标签筛选、浏览项目详情所有图片都已本地化无需网络即可查看。6. 常见问题、反爬策略与优化建议6.1 爬虫被屏蔽或返回异常数据怎么办这是爬虫开发者最常遇到的问题。Behance这类大型网站通常有反爬机制。请求头Headers确保设置了完整的User-Agent、Referer甚至Accept-Language。使用真实的浏览器UA字符串。访问频率这是最关键的一点。在time.sleep中设置的延迟如列表页3秒详情页5秒是必须的。可以考虑加入随机延迟random.uniform(2, 6)来模拟更真实的人类行为。IP限制如果长时间、大量爬取可能会触发IP封锁。对于个人小规模采集控制频率通常足够。如果需求量大需要考虑使用代理IP池但这会大大增加复杂性和成本。Cookies与Session使用Playwright或Selenium的一个好处是它们会自动管理Cookies模拟完整的浏览器会话这比单纯的requests更不容易被识别为爬虫。检测页面变化如果某天发现爬虫解析不到数据了首先检查网站HTML结构是否更新。需要调整BeautifulSoup中的CSS选择器或XPath路径。6.2 数据解析不准确或遗漏动态内容加载Behance的图片和部分内容可能是滚动到页面底部时动态加载的。Playwright的wait_until“networkidle”和time.sleep可能不够。可以尝试使用page.evaluate()执行JavaScript来模拟滚动或者等待特定元素出现page.wait_for_selector(‘img[data-testid“project-cover-image”]’)。选择器健壮性不要依赖单一的、可能变化的CSS类名。优先使用>
 获取与实战)
