如果你正在为计算机毕业设计发愁特别是想用Python做数据分析类项目但不知道从何入手这篇文章就是为你准备的。游客行为分析这个选题看似简单实际上涉及爬虫、数据处理、可视化展示和Web开发多个技术环节很多同学在技术选型和实现路径上容易走弯路。本文要解决的核心问题是如何用Python技术栈Django Scrapy完成一个完整的游客行为分析可视化系统。这不是简单的工具介绍而是从项目架构设计到代码实现的完整指南。你将学会如何将爬虫获取的原始数据转化为有价值的商业洞察并构建一个可交互的可视化平台。1. 为什么游客行为分析是毕业设计的优质选题游客行为分析之所以适合作为计算机毕业设计是因为它完美结合了技术深度和商业价值。这个项目能展示你全栈开发的能力从数据采集Scrapy爬虫、数据存储与处理Pandas 数据库、到数据展示Django 可视化图表。技术层面你需要掌握Scrapy框架用于爬取旅游网站的用户评论、景点评分等数据Pandas和NumPy进行数据清洗和特征工程Django框架构建Web应用和REST APIECharts或Matplotlib实现数据可视化数据库设计MySQL/PostgreSQL存储结构化数据业务价值方面分析结果可以帮助旅游平台优化产品推荐、改善用户体验这种技术业务的结合正是企业招聘时最看重的。相比单纯的技术演示项目游客行为分析有明确的应用场景答辩时更容易获得高分。而且技术栈都是当前企业常用的对就业有直接帮助。2. 项目整体架构设计一个完整的游客行为分析系统应该包含以下四个核心模块2.1 数据采集层Scrapy负责从旅游网站如携程、美团、TripAdvisor爬取游客评论、景点信息、用户评分等数据。需要考虑反爬虫策略、数据去重和增量爬取。2.2 数据处理层Pandas 数据库对爬取的原始数据进行清洗、去噪、特征提取。比如从评论文本中提取情感倾向从用户行为中分析偏好特征。2.3 业务逻辑层Django提供用户管理、数据查询、分析计算等核心功能。Django的MTV模式非常适合构建这类数据密集型应用。2.4 展示层前端 可视化使用ECharts、Chart.js等库将分析结果以图表形式展示支持时间筛选、维度下钻等交互操作。3. 环境准备与技术栈版本选择在开始编码前需要配置合适的开发环境。以下是经过验证的稳定版本组合# 创建虚拟环境 python -m venv tourism_analysis source tourism_analysis/bin/activate # Windows: tourism_analysis\Scripts\activate # 安装核心依赖 pip install django4.2.7 pip install scrapy2.11.0 pip install pandas2.0.3 pip install numpy1.24.3 pip install matplotlib3.7.2 pip install pyecharts2.0.3 pip install mysqlclient2.1.1 # 或psycopg2-binary2.9.7版本选择说明Django 4.2是LTS长期支持版本Scrapy 2.11稳定性较好Pandas 2.0性能有显著提升。建议使用Python 3.8-3.10避免最新版本可能存在的兼容性问题。4. Scrapy爬虫实现高效采集游客数据爬虫是整个项目的数据源头设计时需要特别注意合规性和稳定性。4.1 创建Scrapy项目结构scrapy startproject tourism_spider cd tourism_spider scrapy genspider tripadvisor tripadvisor.com4.2 核心爬虫代码实现# tourism_spider/spiders/tripadvisor_spider.py import scrapy import json from datetime import datetime class TripAdvisorSpider(scrapy.Spider): name tripadvisor allowed_domains [tripadvisor.com] start_urls [https://www.tripadvisor.com/Attractions-g294211-Activities-Beijing.html] custom_settings { DOWNLOAD_DELAY: 2, # 遵守robots.txt CONCURRENT_REQUESTS: 1, FEED_FORMAT: json, FEED_URI: tripadvisor_data_%(time)s.json } def parse(self, response): # 解析景点列表页 attractions response.css(div.listing a::attr(href)).getall() for attr_link in attractions[:10]: # 限制爬取数量避免被封 yield response.follow(attr_link, self.parse_attraction) def parse_attraction(self, response): # 解析具体景点页面 item { attraction_name: response.css(h1::text).get(), overall_rating: response.css(span.overallRating::text).get(), review_count: response.css(span.reviewCount::text).get(), address: response.css(span.detail::text).get(), crawl_time: datetime.now().isoformat() } # 获取评论数据 reviews response.css(div.review-container) item[reviews] [] for review in reviews[:5]: # 每个景点取5条评论 review_data { user_name: review.css(div.info_text div::text).get(), rating: review.css(span.ui_bubble_rating::attr(class)).get(), review_text: review.css(p.partial_entry::text).get(), review_date: review.css(span.ratingDate::attr(title)).get() } item[reviews].append(review_data) yield item4.3 反爬虫策略处理# tourism_spider/middlewares.py class TourismSpiderMiddleware: def process_request(self, request, spider): # 设置合理的User-Agent request.headers[User-Agent] Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 # 添加请求延迟避免频繁访问 import time time.sleep(1)5. 数据清洗与特征工程爬取的原始数据往往包含噪声和缺失值需要进行系统的数据清洗。5.1 数据清洗流程# data_cleaning.py import pandas as pd import numpy as np import re def clean_tourism_data(raw_data_file): # 读取爬取的数据 df pd.read_json(raw_data_file) # 处理缺失值 df[overall_rating] df[overall_rating].fillna(0) df[review_count] df[review_count].str.extract((\d)).fillna(0).astype(int) # 清洗评分数据 def extract_rating(rating_class): if pd.isna(rating_class): return 0 match re.search(rbubble_(\d), rating_class) return int(match.group(1)) / 10 if match else 0 # 展开评论数据 reviews_list [] for idx, row in df.iterrows(): if isinstance(row[reviews], list): for review in row[reviews]: if review: # 确保review不是None review[attraction_id] idx reviews_list.append(review) reviews_df pd.DataFrame(reviews_list) reviews_df[rating] reviews_df[rating].apply(extract_rating) # 文本清洗 reviews_df[review_text] reviews_df[review_text].str.replace(r[^\w\s], , regexTrue) reviews_df[review_text] reviews_df[review_text].str.strip() return df, reviews_df # 使用示例 if __name__ __main__: attractions_df, reviews_df clean_tourism_data(tripadvisor_data.json) print(f清洗后景点数据: {attractions_df.shape}) print(f清洗后评论数据: {reviews_df.shape})5.2 特征工程与情感分析# feature_engineering.py from textblob import TextBlob import jieba # 中文分词 def extract_features(attractions_df, reviews_df): # 情感分析 def analyze_sentiment(text): if pd.isna(text) or text : return 0 try: blob TextBlob(text) return blob.sentiment.polarity except: return 0 reviews_df[sentiment] reviews_df[review_text].apply(analyze_sentiment) # 计算每个景点的平均情感分 attraction_sentiment reviews_df.groupby(attraction_id)[sentiment].agg([mean, count]).reset_index() attraction_sentiment.columns [attraction_id, avg_sentiment, sentiment_count] # 合并回景点数据 attractions_df attractions_df.merge(attraction_sentiment, left_indexTrue, right_onattraction_id, howleft) # 分类特征根据评分划分热度等级 attractions_df[popularity_level] pd.cut(attractions_df[overall_rating], bins[0, 3, 4, 5], labels[低, 中, 高]) return attractions_df, reviews_df6. Django项目搭建与数据模型设计Django框架负责将处理好的数据通过Web界面展示出来。6.1 创建Django项目和应用django-admin startproject tourism_analysis cd tourism_analysis python manage.py startapp dashboard6.2 数据模型设计# dashboard/models.py from django.db import models class Attraction(models.Model): name models.CharField(max_length200, verbose_name景点名称) overall_rating models.FloatField(default0, verbose_name总体评分) review_count models.IntegerField(default0, verbose_name评论数量) address models.TextField(blankTrue, verbose_name地址) avg_sentiment models.FloatField(default0, verbose_name情感分析均值) popularity_level models.CharField(max_length10, choices[ (低, 低热度), (中, 中热度), (高, 高热度) ], default中, verbose_name热度等级) crawl_time models.DateTimeField(auto_now_addTrue, verbose_name爬取时间) class Meta: db_table attraction verbose_name 旅游景点 verbose_name_plural verbose_name def __str__(self): return self.name class Review(models.Model): attraction models.ForeignKey(Attraction, on_deletemodels.CASCADE, related_namereviews) user_name models.CharField(max_length100, verbose_name用户名) rating models.FloatField(default0, verbose_name评分) review_text models.TextField(verbose_name评论内容) sentiment models.FloatField(default0, verbose_name情感分析结果) review_date models.DateTimeField(nullTrue, blankTrue, verbose_name评论时间) class Meta: db_table review verbose_name 用户评论 verbose_name_plural verbose_name def __str__(self): return f{self.user_name} - {self.attraction.name}6.3 数据库迁移# 生成迁移文件 python manage.py makemigrations dashboard # 执行迁移 python manage.py migrate # 创建超级用户 python manage.py createsuperuser7. 可视化展示实现使用PyEcharts库创建交互式图表展示分析结果。7.1 视图函数设计# dashboard/views.py from django.shortcuts import render from django.http import JsonResponse from django.db.models import Avg, Count from .models import Attraction, Review from pyecharts import options as opts from pyecharts.charts import Bar, Pie, Line, WordCloud import json def dashboard(request): 主仪表板页面 return render(request, dashboard/index.html) def attraction_ranking(request): 景点评分排名图表 attractions Attraction.objects.all().order_by(-overall_rating)[:10] bar ( Bar() .add_xaxis([attr.name for attr in attractions]) .add_yaxis(总体评分, [attr.overall_rating for attr in attractions]) .set_global_opts( title_optsopts.TitleOpts(title景点评分TOP10), xaxis_optsopts.AxisOpts(axislabel_optsopts.LabelOpts(rotate45)), yaxis_optsopts.AxisOpts(name评分), ) ) return JsonResponse(json.loads(bar.dump_options())) def sentiment_analysis(request): 情感分析结果展示 sentiment_data Review.objects.values(attraction__name).annotate( avg_sentimentAvg(sentiment), review_countCount(id) ).order_by(-avg_sentiment)[:15] line ( Line() .add_xaxis([item[attraction__name] for item in sentiment_data]) .add_yaxis(平均情感分, [round(item[avg_sentiment], 3) for item in sentiment_data]) .set_global_opts( title_optsopts.TitleOpts(title景点情感分析), xaxis_optsopts.AxisOpts(axislabel_optsopts.LabelOpts(rotate45)), yaxis_optsopts.AxisOpts(name情感分数), ) ) return JsonResponse(json.loads(line.dump_options())) def popularity_distribution(request): 热度等级分布饼图 level_data Attraction.objects.values(popularity_level).annotate( countCount(id) ) pie ( Pie() .add(, [list(item.values()) for item in level_data]) .set_global_opts(title_optsopts.TitleOpts(title景点热度分布)) .set_series_opts(label_optsopts.LabelOpts(formatter{b}: {c} ({d}%))) ) return JsonResponse(json.loads(pie.dump_options()))7.2 前端模板集成!-- dashboard/templates/dashboard/index.html -- !DOCTYPE html html head meta charsetutf-8 title游客行为分析系统/title script srchttps://cdn.jsdelivr.net/npm/echarts5.4.3/dist/echarts.min.js/script style .chart-container { width: 100%; height: 400px; margin: 20px 0; } .row { display: flex; flex-wrap: wrap; } .col-6 { width: 50%; padding: 10px; box-sizing: border-box; } /style /head body div classcontainer h1游客行为分析可视化系统/h1 div classrow div classcol-6 div idattractionRanking classchart-container/div /div div classcol-6 div idsentimentAnalysis classchart-container/div /div /div div classrow div classcol-6 div idpopularityDistribution classchart-container/div /div /div /div script // 异步加载图表数据 function loadCharts() { // 景点排名图表 fetch(/api/attraction-ranking/) .then(response response.json()) .then(data { const chart echarts.init(document.getElementById(attractionRanking)); chart.setOption(data); }); // 情感分析图表 fetch(/api/sentiment-analysis/) .then(response response.json()) .then(data { const chart echarts.init(document.getElementById(sentimentAnalysis)); chart.setOption(data); }); // 热度分布图表 fetch(/api/popularity-distribution/) .then(response response.json()) .then(data { const chart echarts.init(document.getElementById(popularityDistribution)); chart.setOption(data); }); } // 页面加载完成后初始化图表 document.addEventListener(DOMContentLoaded, loadCharts); // 窗口大小变化时重绘图表 window.addEventListener(resize, function() { echarts.init(document.getElementById(attractionRanking)).resize(); echarts.init(document.getElementById(sentimentAnalysis)).resize(); echarts.init(document.getElementById(popularityDistribution)).resize(); }); /script /body /html8. 数据导入与系统集成将清洗后的数据导入Django数据库完成系统集成。8.1 数据导入脚本# import_data.py import os import django import pandas as pd # 设置Django环境 os.environ.setdefault(DJANGO_SETTINGS_MODULE, tourism_analysis.settings) django.setup() from dashboard.models import Attraction, Review def import_cleaned_data(attractions_file, reviews_file): 导入清洗后的数据到数据库 # 读取清洗后的数据 attractions_df pd.read_csv(attractions_file) reviews_df pd.read_csv(reviews_file) # 导入景点数据 for _, row in attractions_df.iterrows(): attraction, created Attraction.objects.get_or_create( namerow[name], defaults{ overall_rating: row[overall_rating], review_count: row[review_count], address: row.get(address, ), avg_sentiment: row.get(avg_sentiment, 0), popularity_level: row.get(popularity_level, 中) } ) # 导入该景点的评论数据 attraction_reviews reviews_df[reviews_df[attraction_id] _] for _, review_row in attraction_reviews.iterrows(): Review.objects.get_or_create( attractionattraction, user_namereview_row[user_name], defaults{ rating: review_row[rating], review_text: review_row[review_text], sentiment: review_row.get(sentiment, 0), review_date: pd.to_datetime(review_row.get(review_date, None)) } ) print(f成功导入 {Attraction.objects.count()} 个景点和 {Review.objects.count()} 条评论) if __name__ __main__: import_cleaned_data(cleaned_attractions.csv, cleaned_reviews.csv)8.2 URL配置# tourism_analysis/urls.py from django.contrib import admin from django.urls import path, include urlpatterns [ path(admin/, admin.site.urls), path(, include(dashboard.urls)), ] # dashboard/urls.py from django.urls import path from . import views urlpatterns [ path(, views.dashboard, namedashboard), path(api/attraction-ranking/, views.attraction_ranking, nameattraction_ranking), path(api/sentiment-analysis/, views.sentiment_analysis, namesentiment_analysis), path(api/popularity-distribution/, views.popularity_distribution, namepopularity_distribution), ]9. 系统部署与运行测试完成开发后需要进行系统部署和功能测试。9.1 启动开发服务器# 应用数据迁移 python manage.py migrate # 收集静态文件 python manage.py collectstatic # 启动开发服务器 python manage.py runserver 0.0.0.0:8000访问 http://localhost:8000 查看可视化界面http://localhost:8000/admin 管理后台数据。9.2 基础功能测试# test_basic_functionality.py from django.test import TestCase from dashboard.models import Attraction, Review class TourismAnalysisTestCase(TestCase): def setUp(self): # 创建测试数据 self.attraction Attraction.objects.create( name测试景点, overall_rating4.5, review_count100 ) self.review Review.objects.create( attractionself.attraction, user_name测试用户, rating5.0, review_text很好的景点 ) def test_attraction_creation(self): 测试景点创建功能 self.assertEqual(Attraction.objects.count(), 1) self.assertEqual(self.attraction.name, 测试景点) def test_review_relationship(self): 测试评论与景点的关联 self.assertEqual(self.review.attraction, self.attraction) self.assertEqual(self.attraction.reviews.count(), 1) def test_dashboard_access(self): 测试仪表板访问 response self.client.get(/) self.assertEqual(response.status_code, 200)10. 常见问题与解决方案在实际开发过程中可能会遇到以下典型问题10.1 爬虫被封IP问题问题现象爬虫运行一段时间后无法获取数据返回403错误解决方案使用代理IP池轮换增加随机延迟2-5秒设置合理的并发数量模拟真实浏览器头部信息10.2 数据清洗中的特殊字符处理问题现象文本数据包含emoji、特殊符号导致处理错误解决方案def clean_text(text): import re # 移除emoji emoji_pattern re.compile([ u\U0001F600-\U0001F64F # emoticons u\U0001F300-\U0001F5FF # symbols pictographs u\U0001F680-\U0001F6FF # transport map symbols u\U0001F1E0-\U0001F1FF # flags (iOS) ], flagsre.UNICODE) text emoji_pattern.sub(r, text) # 移除其他特殊字符 text re.sub(r[^\w\s], , text) return text.strip()10.3 Django静态文件加载问题问题现象生产环境图表无法显示静态文件404解决方案正确配置STATIC_URL和STATIC_ROOT使用WhiteNoise中间件处理静态文件确保Nginx/Apache正确配置静态文件路径10.4 大数据量性能优化问题现象页面加载缓慢数据库查询超时解决方案使用Django的select_related和prefetch_related优化查询添加数据库索引对分析结果使用缓存分页显示大数据集11. 项目扩展与进阶功能完成基础功能后可以考虑以下扩展方向提升项目价值11.1 实时数据更新使用Celery定时任务自动更新爬虫数据保持分析结果时效性。11.2 用户行为预测基于历史数据构建机器学习模型预测用户偏好和景点热度趋势。11.3 多维度分析增加时间维度分析季节性变化、地理维度分析区域分布等。11.4 移动端适配使用Bootstrap等响应式框架使系统支持移动端访问。这个完整的游客行为分析项目不仅能够满足毕业设计的要求更重要的是让你掌握了从数据采集到可视化展示的全流程开发能力。建议按照文章步骤逐步实现遇到问题参考常见问题解决方案最终完成一个既有技术深度又有商业价值的优秀毕业设计。
Python+Django+Scrapy构建游客行为分析可视化系统完整指南
发布时间：2026/7/21 2:28:58
如果你正在为计算机毕业设计发愁特别是想用Python做数据分析类项目但不知道从何入手这篇文章就是为你准备的。游客行为分析这个选题看似简单实际上涉及爬虫、数据处理、可视化展示和Web开发多个技术环节很多同学在技术选型和实现路径上容易走弯路。本文要解决的核心问题是如何用Python技术栈Django Scrapy完成一个完整的游客行为分析可视化系统。这不是简单的工具介绍而是从项目架构设计到代码实现的完整指南。你将学会如何将爬虫获取的原始数据转化为有价值的商业洞察并构建一个可交互的可视化平台。1. 为什么游客行为分析是毕业设计的优质选题游客行为分析之所以适合作为计算机毕业设计是因为它完美结合了技术深度和商业价值。这个项目能展示你全栈开发的能力从数据采集Scrapy爬虫、数据存储与处理Pandas 数据库、到数据展示Django 可视化图表。技术层面你需要掌握Scrapy框架用于爬取旅游网站的用户评论、景点评分等数据Pandas和NumPy进行数据清洗和特征工程Django框架构建Web应用和REST APIECharts或Matplotlib实现数据可视化数据库设计MySQL/PostgreSQL存储结构化数据业务价值方面分析结果可以帮助旅游平台优化产品推荐、改善用户体验这种技术业务的结合正是企业招聘时最看重的。相比单纯的技术演示项目游客行为分析有明确的应用场景答辩时更容易获得高分。而且技术栈都是当前企业常用的对就业有直接帮助。2. 项目整体架构设计一个完整的游客行为分析系统应该包含以下四个核心模块2.1 数据采集层Scrapy负责从旅游网站如携程、美团、TripAdvisor爬取游客评论、景点信息、用户评分等数据。需要考虑反爬虫策略、数据去重和增量爬取。2.2 数据处理层Pandas 数据库对爬取的原始数据进行清洗、去噪、特征提取。比如从评论文本中提取情感倾向从用户行为中分析偏好特征。2.3 业务逻辑层Django提供用户管理、数据查询、分析计算等核心功能。Django的MTV模式非常适合构建这类数据密集型应用。2.4 展示层前端 可视化使用ECharts、Chart.js等库将分析结果以图表形式展示支持时间筛选、维度下钻等交互操作。3. 环境准备与技术栈版本选择在开始编码前需要配置合适的开发环境。以下是经过验证的稳定版本组合# 创建虚拟环境 python -m venv tourism_analysis source tourism_analysis/bin/activate # Windows: tourism_analysis\Scripts\activate # 安装核心依赖 pip install django4.2.7 pip install scrapy2.11.0 pip install pandas2.0.3 pip install numpy1.24.3 pip install matplotlib3.7.2 pip install pyecharts2.0.3 pip install mysqlclient2.1.1 # 或psycopg2-binary2.9.7版本选择说明Django 4.2是LTS长期支持版本Scrapy 2.11稳定性较好Pandas 2.0性能有显著提升。建议使用Python 3.8-3.10避免最新版本可能存在的兼容性问题。4. Scrapy爬虫实现高效采集游客数据爬虫是整个项目的数据源头设计时需要特别注意合规性和稳定性。4.1 创建Scrapy项目结构scrapy startproject tourism_spider cd tourism_spider scrapy genspider tripadvisor tripadvisor.com4.2 核心爬虫代码实现# tourism_spider/spiders/tripadvisor_spider.py import scrapy import json from datetime import datetime class TripAdvisorSpider(scrapy.Spider): name tripadvisor allowed_domains [tripadvisor.com] start_urls [https://www.tripadvisor.com/Attractions-g294211-Activities-Beijing.html] custom_settings { DOWNLOAD_DELAY: 2, # 遵守robots.txt CONCURRENT_REQUESTS: 1, FEED_FORMAT: json, FEED_URI: tripadvisor_data_%(time)s.json } def parse(self, response): # 解析景点列表页 attractions response.css(div.listing a::attr(href)).getall() for attr_link in attractions[:10]: # 限制爬取数量避免被封 yield response.follow(attr_link, self.parse_attraction) def parse_attraction(self, response): # 解析具体景点页面 item { attraction_name: response.css(h1::text).get(), overall_rating: response.css(span.overallRating::text).get(), review_count: response.css(span.reviewCount::text).get(), address: response.css(span.detail::text).get(), crawl_time: datetime.now().isoformat() } # 获取评论数据 reviews response.css(div.review-container) item[reviews] [] for review in reviews[:5]: # 每个景点取5条评论 review_data { user_name: review.css(div.info_text div::text).get(), rating: review.css(span.ui_bubble_rating::attr(class)).get(), review_text: review.css(p.partial_entry::text).get(), review_date: review.css(span.ratingDate::attr(title)).get() } item[reviews].append(review_data) yield item4.3 反爬虫策略处理# tourism_spider/middlewares.py class TourismSpiderMiddleware: def process_request(self, request, spider): # 设置合理的User-Agent request.headers[User-Agent] Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 # 添加请求延迟避免频繁访问 import time time.sleep(1)5. 数据清洗与特征工程爬取的原始数据往往包含噪声和缺失值需要进行系统的数据清洗。5.1 数据清洗流程# data_cleaning.py import pandas as pd import numpy as np import re def clean_tourism_data(raw_data_file): # 读取爬取的数据 df pd.read_json(raw_data_file) # 处理缺失值 df[overall_rating] df[overall_rating].fillna(0) df[review_count] df[review_count].str.extract((\d)).fillna(0).astype(int) # 清洗评分数据 def extract_rating(rating_class): if pd.isna(rating_class): return 0 match re.search(rbubble_(\d), rating_class) return int(match.group(1)) / 10 if match else 0 # 展开评论数据 reviews_list [] for idx, row in df.iterrows(): if isinstance(row[reviews], list): for review in row[reviews]: if review: # 确保review不是None review[attraction_id] idx reviews_list.append(review) reviews_df pd.DataFrame(reviews_list) reviews_df[rating] reviews_df[rating].apply(extract_rating) # 文本清洗 reviews_df[review_text] reviews_df[review_text].str.replace(r[^\w\s], , regexTrue) reviews_df[review_text] reviews_df[review_text].str.strip() return df, reviews_df # 使用示例 if __name__ __main__: attractions_df, reviews_df clean_tourism_data(tripadvisor_data.json) print(f清洗后景点数据: {attractions_df.shape}) print(f清洗后评论数据: {reviews_df.shape})5.2 特征工程与情感分析# feature_engineering.py from textblob import TextBlob import jieba # 中文分词 def extract_features(attractions_df, reviews_df): # 情感分析 def analyze_sentiment(text): if pd.isna(text) or text : return 0 try: blob TextBlob(text) return blob.sentiment.polarity except: return 0 reviews_df[sentiment] reviews_df[review_text].apply(analyze_sentiment) # 计算每个景点的平均情感分 attraction_sentiment reviews_df.groupby(attraction_id)[sentiment].agg([mean, count]).reset_index() attraction_sentiment.columns [attraction_id, avg_sentiment, sentiment_count] # 合并回景点数据 attractions_df attractions_df.merge(attraction_sentiment, left_indexTrue, right_onattraction_id, howleft) # 分类特征根据评分划分热度等级 attractions_df[popularity_level] pd.cut(attractions_df[overall_rating], bins[0, 3, 4, 5], labels[低, 中, 高]) return attractions_df, reviews_df6. Django项目搭建与数据模型设计Django框架负责将处理好的数据通过Web界面展示出来。6.1 创建Django项目和应用django-admin startproject tourism_analysis cd tourism_analysis python manage.py startapp dashboard6.2 数据模型设计# dashboard/models.py from django.db import models class Attraction(models.Model): name models.CharField(max_length200, verbose_name景点名称) overall_rating models.FloatField(default0, verbose_name总体评分) review_count models.IntegerField(default0, verbose_name评论数量) address models.TextField(blankTrue, verbose_name地址) avg_sentiment models.FloatField(default0, verbose_name情感分析均值) popularity_level models.CharField(max_length10, choices[ (低, 低热度), (中, 中热度), (高, 高热度) ], default中, verbose_name热度等级) crawl_time models.DateTimeField(auto_now_addTrue, verbose_name爬取时间) class Meta: db_table attraction verbose_name 旅游景点 verbose_name_plural verbose_name def __str__(self): return self.name class Review(models.Model): attraction models.ForeignKey(Attraction, on_deletemodels.CASCADE, related_namereviews) user_name models.CharField(max_length100, verbose_name用户名) rating models.FloatField(default0, verbose_name评分) review_text models.TextField(verbose_name评论内容) sentiment models.FloatField(default0, verbose_name情感分析结果) review_date models.DateTimeField(nullTrue, blankTrue, verbose_name评论时间) class Meta: db_table review verbose_name 用户评论 verbose_name_plural verbose_name def __str__(self): return f{self.user_name} - {self.attraction.name}6.3 数据库迁移# 生成迁移文件 python manage.py makemigrations dashboard # 执行迁移 python manage.py migrate # 创建超级用户 python manage.py createsuperuser7. 可视化展示实现使用PyEcharts库创建交互式图表展示分析结果。7.1 视图函数设计# dashboard/views.py from django.shortcuts import render from django.http import JsonResponse from django.db.models import Avg, Count from .models import Attraction, Review from pyecharts import options as opts from pyecharts.charts import Bar, Pie, Line, WordCloud import json def dashboard(request): 主仪表板页面 return render(request, dashboard/index.html) def attraction_ranking(request): 景点评分排名图表 attractions Attraction.objects.all().order_by(-overall_rating)[:10] bar ( Bar() .add_xaxis([attr.name for attr in attractions]) .add_yaxis(总体评分, [attr.overall_rating for attr in attractions]) .set_global_opts( title_optsopts.TitleOpts(title景点评分TOP10), xaxis_optsopts.AxisOpts(axislabel_optsopts.LabelOpts(rotate45)), yaxis_optsopts.AxisOpts(name评分), ) ) return JsonResponse(json.loads(bar.dump_options())) def sentiment_analysis(request): 情感分析结果展示 sentiment_data Review.objects.values(attraction__name).annotate( avg_sentimentAvg(sentiment), review_countCount(id) ).order_by(-avg_sentiment)[:15] line ( Line() .add_xaxis([item[attraction__name] for item in sentiment_data]) .add_yaxis(平均情感分, [round(item[avg_sentiment], 3) for item in sentiment_data]) .set_global_opts( title_optsopts.TitleOpts(title景点情感分析), xaxis_optsopts.AxisOpts(axislabel_optsopts.LabelOpts(rotate45)), yaxis_optsopts.AxisOpts(name情感分数), ) ) return JsonResponse(json.loads(line.dump_options())) def popularity_distribution(request): 热度等级分布饼图 level_data Attraction.objects.values(popularity_level).annotate( countCount(id) ) pie ( Pie() .add(, [list(item.values()) for item in level_data]) .set_global_opts(title_optsopts.TitleOpts(title景点热度分布)) .set_series_opts(label_optsopts.LabelOpts(formatter{b}: {c} ({d}%))) ) return JsonResponse(json.loads(pie.dump_options()))7.2 前端模板集成!-- dashboard/templates/dashboard/index.html -- !DOCTYPE html html head meta charsetutf-8 title游客行为分析系统/title script srchttps://cdn.jsdelivr.net/npm/echarts5.4.3/dist/echarts.min.js/script style .chart-container { width: 100%; height: 400px; margin: 20px 0; } .row { display: flex; flex-wrap: wrap; } .col-6 { width: 50%; padding: 10px; box-sizing: border-box; } /style /head body div classcontainer h1游客行为分析可视化系统/h1 div classrow div classcol-6 div idattractionRanking classchart-container/div /div div classcol-6 div idsentimentAnalysis classchart-container/div /div /div div classrow div classcol-6 div idpopularityDistribution classchart-container/div /div /div /div script // 异步加载图表数据 function loadCharts() { // 景点排名图表 fetch(/api/attraction-ranking/) .then(response response.json()) .then(data { const chart echarts.init(document.getElementById(attractionRanking)); chart.setOption(data); }); // 情感分析图表 fetch(/api/sentiment-analysis/) .then(response response.json()) .then(data { const chart echarts.init(document.getElementById(sentimentAnalysis)); chart.setOption(data); }); // 热度分布图表 fetch(/api/popularity-distribution/) .then(response response.json()) .then(data { const chart echarts.init(document.getElementById(popularityDistribution)); chart.setOption(data); }); } // 页面加载完成后初始化图表 document.addEventListener(DOMContentLoaded, loadCharts); // 窗口大小变化时重绘图表 window.addEventListener(resize, function() { echarts.init(document.getElementById(attractionRanking)).resize(); echarts.init(document.getElementById(sentimentAnalysis)).resize(); echarts.init(document.getElementById(popularityDistribution)).resize(); }); /script /body /html8. 数据导入与系统集成将清洗后的数据导入Django数据库完成系统集成。8.1 数据导入脚本# import_data.py import os import django import pandas as pd # 设置Django环境 os.environ.setdefault(DJANGO_SETTINGS_MODULE, tourism_analysis.settings) django.setup() from dashboard.models import Attraction, Review def import_cleaned_data(attractions_file, reviews_file): 导入清洗后的数据到数据库 # 读取清洗后的数据 attractions_df pd.read_csv(attractions_file) reviews_df pd.read_csv(reviews_file) # 导入景点数据 for _, row in attractions_df.iterrows(): attraction, created Attraction.objects.get_or_create( namerow[name], defaults{ overall_rating: row[overall_rating], review_count: row[review_count], address: row.get(address, ), avg_sentiment: row.get(avg_sentiment, 0), popularity_level: row.get(popularity_level, 中) } ) # 导入该景点的评论数据 attraction_reviews reviews_df[reviews_df[attraction_id] _] for _, review_row in attraction_reviews.iterrows(): Review.objects.get_or_create( attractionattraction, user_namereview_row[user_name], defaults{ rating: review_row[rating], review_text: review_row[review_text], sentiment: review_row.get(sentiment, 0), review_date: pd.to_datetime(review_row.get(review_date, None)) } ) print(f成功导入 {Attraction.objects.count()} 个景点和 {Review.objects.count()} 条评论) if __name__ __main__: import_cleaned_data(cleaned_attractions.csv, cleaned_reviews.csv)8.2 URL配置# tourism_analysis/urls.py from django.contrib import admin from django.urls import path, include urlpatterns [ path(admin/, admin.site.urls), path(, include(dashboard.urls)), ] # dashboard/urls.py from django.urls import path from . import views urlpatterns [ path(, views.dashboard, namedashboard), path(api/attraction-ranking/, views.attraction_ranking, nameattraction_ranking), path(api/sentiment-analysis/, views.sentiment_analysis, namesentiment_analysis), path(api/popularity-distribution/, views.popularity_distribution, namepopularity_distribution), ]9. 系统部署与运行测试完成开发后需要进行系统部署和功能测试。9.1 启动开发服务器# 应用数据迁移 python manage.py migrate # 收集静态文件 python manage.py collectstatic # 启动开发服务器 python manage.py runserver 0.0.0.0:8000访问 http://localhost:8000 查看可视化界面http://localhost:8000/admin 管理后台数据。9.2 基础功能测试# test_basic_functionality.py from django.test import TestCase from dashboard.models import Attraction, Review class TourismAnalysisTestCase(TestCase): def setUp(self): # 创建测试数据 self.attraction Attraction.objects.create( name测试景点, overall_rating4.5, review_count100 ) self.review Review.objects.create( attractionself.attraction, user_name测试用户, rating5.0, review_text很好的景点 ) def test_attraction_creation(self): 测试景点创建功能 self.assertEqual(Attraction.objects.count(), 1) self.assertEqual(self.attraction.name, 测试景点) def test_review_relationship(self): 测试评论与景点的关联 self.assertEqual(self.review.attraction, self.attraction) self.assertEqual(self.attraction.reviews.count(), 1) def test_dashboard_access(self): 测试仪表板访问 response self.client.get(/) self.assertEqual(response.status_code, 200)10. 常见问题与解决方案在实际开发过程中可能会遇到以下典型问题10.1 爬虫被封IP问题问题现象爬虫运行一段时间后无法获取数据返回403错误解决方案使用代理IP池轮换增加随机延迟2-5秒设置合理的并发数量模拟真实浏览器头部信息10.2 数据清洗中的特殊字符处理问题现象文本数据包含emoji、特殊符号导致处理错误解决方案def clean_text(text): import re # 移除emoji emoji_pattern re.compile([ u\U0001F600-\U0001F64F # emoticons u\U0001F300-\U0001F5FF # symbols pictographs u\U0001F680-\U0001F6FF # transport map symbols u\U0001F1E0-\U0001F1FF # flags (iOS) ], flagsre.UNICODE) text emoji_pattern.sub(r, text) # 移除其他特殊字符 text re.sub(r[^\w\s], , text) return text.strip()10.3 Django静态文件加载问题问题现象生产环境图表无法显示静态文件404解决方案正确配置STATIC_URL和STATIC_ROOT使用WhiteNoise中间件处理静态文件确保Nginx/Apache正确配置静态文件路径10.4 大数据量性能优化问题现象页面加载缓慢数据库查询超时解决方案使用Django的select_related和prefetch_related优化查询添加数据库索引对分析结果使用缓存分页显示大数据集11. 项目扩展与进阶功能完成基础功能后可以考虑以下扩展方向提升项目价值11.1 实时数据更新使用Celery定时任务自动更新爬虫数据保持分析结果时效性。11.2 用户行为预测基于历史数据构建机器学习模型预测用户偏好和景点热度趋势。11.3 多维度分析增加时间维度分析季节性变化、地理维度分析区域分布等。11.4 移动端适配使用Bootstrap等响应式框架使系统支持移动端访问。这个完整的游客行为分析项目不仅能够满足毕业设计的要求更重要的是让你掌握了从数据采集到可视化展示的全流程开发能力。建议按照文章步骤逐步实现遇到问题参考常见问题解决方案最终完成一个既有技术深度又有商业价值的优秀毕业设计。
