博主介绍✌全网粉丝50W前互联网大厂软件研发、集结硕博英豪成立软件开发工作室专注于计算机相关专业项目实战6年之久累计开发项目作品上万套。凭借丰富的经验与专业实力已帮助成千上万的学生顺利毕业选择我们就是选择放心、选择安心毕业✌ 想要获取完整文章或者源码或者代做拉到文章底部即可与我联系了。点击查看作者主页了解更多项目感兴趣的可以先收藏起来点赞、关注不迷路大家在毕设选题项目以及论文编写等相关问题都可以给我留言咨询希望帮助同学们顺利毕业 。1、毕业设计2026年计算机专业毕业设计选题汇总建议收藏✅2、最全计算机大数据专业毕业设计选题大全建议收藏✅1、项目介绍技术栈Python为开发语言采用Spark大数据框架进行分布式处理结合Hadoop实现HDFS分布式存储通过Hive构建数据仓库进行结构化数据管理使用selenium爬虫技术采集锦江酒店网站数据。后端采用Django框架前端使用Vue框架配合Echarts可视化库推荐模块基于协同过滤算法实现个性化推荐。功能模块· 数据采集模块· 数据清洗与预处理模块· 用户注册登录模块· 可视化大屏展示模块· 酒店信息查询模块· 数据分析模块· 个性化推荐模块· 后台管理模块项目介绍本系统是一个基于Spark大数据框架的酒店数据分析与推荐平台以北京地区酒店为核心分析对象旨在为用户提供个性化推荐服务同时为酒店运营者提供数据化决策支持。系统通过selenium爬虫技术从锦江酒店网站采集酒店数据经HDFS存储后由Hive构建数据仓库实现结构化整理再通过Spark完成数据清洗与特征提取。系统采用协同过滤推荐算法基于用户历史行为生成个性化酒店推荐列表并通过Echarts可视化技术将分析结果以可视化大屏、柱状图、饼图、热力地图、词云图等多种形式直观呈现。用户可通过注册登录进入系统浏览酒店价格分布、评分情况、省市分布、类型占比等多维度分析结果管理员可通过后台管理模块对用户信息进行维护。系统目前已实现数据采集、分布式处理、可视化展示与智能推荐等核心功能为用户提供清晰的酒店选择依据为运营者输出精准的市场分析报告。2、项目界面1酒店数据可视化分析大屏该页面为酒店数据分析可视化大屏集成城市均价柱状图、基础数据卡片、酒店数量柱状图、距离价格对比图、评分对比面积图、评分分类统计表及类型分类饼图从价格、评分、数量、距离等维度直观呈现酒店数据特征与分布结构。2酒店信息数据该页面为酒店数据分析系统的数据表格界面提供关键词搜索功能以表格形式展示酒店名称、地址、封面、市区距离、类型、标签、评分、价格、城市等信息支持查看酒店详细内容可便捷查询与浏览酒店基础数据。3酒店数据省市分布该页面为酒店数据分析系统的数据可视化界面以热力地图结合气泡标记的形式展示酒店数据的省市分布情况可直观呈现不同区域酒店数量的分布差异与聚集特征辅助分析酒店市场的区域布局。4酒店价格区间柱状图分析和酒店类型饼图分析该页面为酒店数据分析系统的价格分析可视化界面以柱状图展示不同价格区间的酒店数量分布以环形图呈现不同类型酒店的均价占比可从价格区间与酒店类型维度直观分析酒店价格结构与分布特征。5酒店评分数量分布、酒店市区距离分布该页面为酒店数据分析系统的评分分析可视化界面以折线图展示不同评分区间的酒店数量分布以横向柱状图呈现top10酒店的市区距离情况可从评分与区位维度直观分析酒店的服务质量与地理分布特征。6价格超200酒店类型分析、酒店类型平均评分分析该页面为酒店数据分析系统的类型分析可视化界面左侧通过玫瑰图展示价格超200酒店的类型占比右侧采用饼图呈现各类型酒店的平均评分情况可从价格区间和评分维度直观对比不同类型酒店的分布特征与服务水平。7酒店名称词云图分析该页面为酒店数据分析系统的数据词云图界面展示酒店名字词云通过词语字体大小呈现对应酒店名称的出现频次与热度直观反映数据集中的高频酒店名称分布特征快速凸显热门酒店信息。8注册登录界面该页面为大数据酒店数据分析系统的登录界面提供用户名与密码输入框支持记住我功能设有登录按钮与账号注册入口可完成用户身份验证与账号创建保障系统访问安全。9后台数据管理该页面为后台管理系统的前台用户管理界面提供用户名和性别筛选搜索功能以表格形式展示用户账号、性别、地址、头像等信息支持增加、删除用户操作可高效管理前台用户数据。10Spark大数据分析该页面为Python代码编辑与运行界面基于Spark框架实现酒店数据的分布式分析可完成城市均价排行、城市酒店数量统计、高价酒店筛选等分析任务并在控制台输出分析结果实现大数据场景下的酒店数据处理与统计展示。3、项目说明一、技术栈说明本系统以Python为核心开发语言后端采用Django框架构建业务逻辑与API接口前端使用Vue框架实现响应式交互界面。大数据处理层基于Spark框架进行分布式计算结合Hadoop实现HDFS分布式存储通过Hive构建数据仓库对采集数据进行结构化管理和查询。数据采集层使用selenium爬虫技术从锦江酒店网站抓取酒店信息。推荐模块采用协同过滤算法基于用户历史行为生成个性化推荐。可视化层借助Echarts图表库将分析结果以多种图表形式在前端动态呈现。二、功能模块详细介绍· 数据采集模块该模块基于selenium爬虫技术编写自动化采集脚本实现对锦江酒店网站酒店数据的抓取。开发者可配置目标URL与采集规则爬取内容包括酒店名称、地址、封面图片、市区距离、类型、标签、评分、价格、城市等字段。采集到的原始数据经初步整理后存入HDFS分布式文件系统为后续大数据处理提供基础数据源。· 数据清洗与预处理模块原始数据存储于HDFS后通过Hive构建数据仓库实现结构化管理和初步查询。模块调用Spark框架对数据进行分布式清洗处理包括去重、异常值过滤、缺失值填补、字段格式标准化等操作。清洗后的高质量数据按照分析需求进行特征提取与维度划分形成可用于可视化分析与推荐算法训练的标准数据集。· 用户注册登录模块系统前端提供统一的用户登录入口包含用户名与密码输入框、登录按钮及注册链接。新用户可通过注册功能创建个人账号后端对用户密码进行加密存储并实现身份验证与会话管理。该模块保障系统访问安全确保可视化分析与个性化推荐功能仅对授权用户开放。· 可视化大屏展示模块作为系统的核心展示界面该模块将多维度分析结果集成于单一可视化大屏。页面包含城市均价柱状图、基础数据统计卡片、酒店数量柱状图、距离与价格对比图、评分对比面积图、评分分类统计表及类型分类饼图。用户可在一屏之内直观对比酒店在价格、评分、数量、距离等多个维度的分布特征与关联规律快速把握市场整体状况。· 酒店信息查询模块该模块以数据表格形式呈现酒店详细信息页面提供关键词搜索功能支持按酒店名称、地址、城市等字段进行模糊查询。表格列展示酒店名称、地址、封面、市区距离、类型、标签、评分、价格、城市等字段支持分页浏览与查看详情操作方便用户快捷检索目标酒店并获取完整信息。· 数据分析模块模块基于清洗后的标准数据集通过Spark进行多维度统计分析。分析内容包括酒店省市分布热力地图以气泡标记形式呈现不同区域酒店数量聚集特征价格区间分布柱状图展示各价格段酒店数量酒店类型环形图分析不同类型酒店均价占比评分分布折线图呈现评分区间与酒店数量的关系市区距离横向柱状图对比top10酒店的地理区位价格超200酒店类型玫瑰图与各类型平均评分饼图从价格和评分维度对比不同类型酒店特征酒店名称词云图直观反映高频酒店名称分布。多角度分析结果为用户和运营者提供全面的数据洞察。· 个性化推荐模块该模块基于协同过滤推荐算法分析用户历史评分与行为数据挖掘用户偏好特征生成个性化酒店推荐列表。模块通过Spark对用户行为数据进行分布式处理与模型训练结合酒店特征维度进行相似度计算为用户推送符合其兴趣偏好的酒店选项提升用户体验与选择效率。· 后台管理模块该模块面向系统管理员提供前台用户信息的集中管理功能。页面支持按用户名和性别进行筛选搜索以表格形式展示用户账号、性别、地址、头像等信息并提供增加用户、删除用户等操作接口。管理员可高效维护用户数据保障系统用户信息的准确性与规范性。三、项目总结本系统经过技术选型、架构设计、模块开发与集成测试四个阶段成功构建了一个基于Spark大数据框架的酒店数据分析与推荐平台。系统以北京地区酒店为核心分析对象通过selenium爬虫采集锦江酒店网站数据依托Hadoop HDFS实现分布式存储利用Hive构建数据仓库进行结构化整理借助Spark完成分布式清洗、特征提取与多维度统计分析采用协同过滤算法实现个性化推荐并通过Django与Vue搭建前后端分离架构最终以Echarts可视化大屏和多种图表形式直观呈现分析结果。系统涵盖数据采集、清洗预处理、用户管理、可视化展示、酒店查询、数据分析、智能推荐、后台维护八大功能模块为用户提供清晰的酒店选择依据为运营者输出精准的市场分析报告验证了大数据技术在酒店行业中的应用价值。4、核心代码# coding:utf8# 导包frompyspark.sqlimportSparkSessionfrompyspark.sql.functionsimportcount,avg,col,sum,whenfrompyspark.sql.functionsimportdesc,ascfrompyspark.sql.functionsimportmax,litdefsaved(result,table):# MySQL JDBC URL 和连接属性jdbc_urljdbc:mysql://node1:3306/bigdata?useSSLfalseuseUnicodetruecharsetutf8# 将 DataFrame 写入 MySQL 数据库result.write.mode(overwrite)\.format(jdbc)\.option(url,jdbc_url)\.option(dbtable,f{table})\.option(user,root)\.option(password,root)\.option(encoding,utf-8)\.option(driver,com.mysql.cj.jdbc.Driver)\.save()# 将 DataFrame 写入 Hive 表使用 parquet 格式result.write.mode(overwrite).format(parquet).saveAsTable(f{table})# 执行Hive查询并显示结果spark.sql(fselect * from{table}).show()if__name____main__:# 构建SparkSession并添加JDBC驱动路径sparkSparkSession.builder.appName(sparkSQL).master(local[*]).\ config(spark.sql.shuffle.partitions,2).\ config(spark.sql.warehouse.dir,hdfs://node1:8020/user/hive/warehouse).\ config(hive.metastore.uris,thrift://node1:9083).\ enableHiveSupport().\ getOrCreate()scspark.sparkContext# 读取数据表hoteldataspark.read.table(hoteldata)# 需求1城市均价排行average_priceshoteldata.groupby(city)\.agg(avg(col(price)).alias(avg_price))\.orderBy(col(avg_price).desc())# 取前十的城市均价result1average_prices.limit(10)saved(result1,avepriceTop)# 需求2统计各大城市酒店city_countshoteldata.groupby(city)\.agg(count(*).alias(city_count))\.orderBy(desc(city_count))result2city_counts.limit(10)saved(result2,cityTop)# 需求3获取价格前十的数据保留 title, price, star 列top_ten_priceshoteldata.orderBy(col(price).desc()).limit(10)# 查找 star 字段的最大值max_starhoteldata.agg(max(col(star))).collect()[0][0]# 将最大值转换为字符串并截取保留一位小数max_star_str{:.1f}.format(max_star)# 保留一位小数作为字符串max_star_truncatedfloat(max_star_str)# 转回浮点数# 将最大 star 值添加为一个新列到 top_ten_prices DataFrametop_ten_with_max_startop_ten_prices.withColumn(max_star,lit(max_star_truncated))# 保存结果saved(top_ten_with_max_star,priceTop)# 需求4酒店前十的价格与市区距离对比result4top_ten_prices.select(overCenter,title,price).limit(10)saved(result4,centerPriceTop)# 需求4酒店前十的价格与评分对比result5top_ten_prices.select(star,title,price).limit(10)saved(result5,starPriceTop)# 需求6评分分类hoteldata_starclasshoteldata.withColumn(star_category,when(col(star).between(0,4.6),0到4.6一般).when(col(star).between(4.6,4.8),4.6到4.8良好).when(col(star).between(4.8,4.9),4.8到4.9优秀).when(col(star).between(4.9,float(inf)),4.9以上/卓越).otherwise(未分类))result6hoteldata_starclass.groupby(star_category).agg(count(*).alias(count))saved(result6,starcategory)# 需求7类型分析result7hoteldata.groupby(type).agg(count(*).alias(count))saved(result7,typecategory)# 需求8价格区间分类hoteldata_priceclasshoteldata.withColumn(price_category,when(col(price).between(0,100),0到100).when(col(price).between(100,200),100到200).when(col(price).between(200,300),200到300).when(col(price).between(300,400),300到400).when(col(price).between(400,500),400到500).when(col(price).between(500,float(inf)),500以上).otherwise(未分类))# 统计每个价格区间的酒店数量result8hoteldata_priceclass.groupby(price_category).agg(count(*).alias(count))saved(result8,pricecategory)# 需求9各类型价格result9hoteldata.groupby(type).agg(avg(col(price)).alias(avg_price))saved(result9,typeprice)# 需求10评分前十的酒店的标题和市区距离top_start_valueshoteldata.orderBy(desc(star)).limit(10)result10top_start_values.select(title,overCenter)saved(result10,starCenter)# 需求11按类型分组计算每种类型中价格超过200的酒店数量result11hoteldata.groupby(type).agg(sum(when(col(price)200,1).otherwise(0)).alias(price_over))saved(result11,typeTwo)# 需求12计算每种类型的酒店的平均评分type_avg_starthoteldata.groupby(type).agg(avg(star).alias(avg_start))# 将结果按类型排序result12type_avg_start.orderBy(type)saved(result12,typeStar)# 需求13计算每个城市的酒店数量result13hoteldata.groupby(city).count()saved(result13,addresssum)5、源码获取方式
计算机毕业设计源码：Python基于Spark与Hive的酒店大数据分析与推荐系统 Django框架 Vue 可视化 Hadoop 爬虫 协同过滤推荐算法 民宿 客栈（建议收藏）✅
发布时间：2026/7/5 1:04:10
博主介绍✌全网粉丝50W前互联网大厂软件研发、集结硕博英豪成立软件开发工作室专注于计算机相关专业项目实战6年之久累计开发项目作品上万套。凭借丰富的经验与专业实力已帮助成千上万的学生顺利毕业选择我们就是选择放心、选择安心毕业✌ 想要获取完整文章或者源码或者代做拉到文章底部即可与我联系了。点击查看作者主页了解更多项目感兴趣的可以先收藏起来点赞、关注不迷路大家在毕设选题项目以及论文编写等相关问题都可以给我留言咨询希望帮助同学们顺利毕业 。1、毕业设计2026年计算机专业毕业设计选题汇总建议收藏✅2、最全计算机大数据专业毕业设计选题大全建议收藏✅1、项目介绍技术栈Python为开发语言采用Spark大数据框架进行分布式处理结合Hadoop实现HDFS分布式存储通过Hive构建数据仓库进行结构化数据管理使用selenium爬虫技术采集锦江酒店网站数据。后端采用Django框架前端使用Vue框架配合Echarts可视化库推荐模块基于协同过滤算法实现个性化推荐。功能模块· 数据采集模块· 数据清洗与预处理模块· 用户注册登录模块· 可视化大屏展示模块· 酒店信息查询模块· 数据分析模块· 个性化推荐模块· 后台管理模块项目介绍本系统是一个基于Spark大数据框架的酒店数据分析与推荐平台以北京地区酒店为核心分析对象旨在为用户提供个性化推荐服务同时为酒店运营者提供数据化决策支持。系统通过selenium爬虫技术从锦江酒店网站采集酒店数据经HDFS存储后由Hive构建数据仓库实现结构化整理再通过Spark完成数据清洗与特征提取。系统采用协同过滤推荐算法基于用户历史行为生成个性化酒店推荐列表并通过Echarts可视化技术将分析结果以可视化大屏、柱状图、饼图、热力地图、词云图等多种形式直观呈现。用户可通过注册登录进入系统浏览酒店价格分布、评分情况、省市分布、类型占比等多维度分析结果管理员可通过后台管理模块对用户信息进行维护。系统目前已实现数据采集、分布式处理、可视化展示与智能推荐等核心功能为用户提供清晰的酒店选择依据为运营者输出精准的市场分析报告。2、项目界面1酒店数据可视化分析大屏该页面为酒店数据分析可视化大屏集成城市均价柱状图、基础数据卡片、酒店数量柱状图、距离价格对比图、评分对比面积图、评分分类统计表及类型分类饼图从价格、评分、数量、距离等维度直观呈现酒店数据特征与分布结构。2酒店信息数据该页面为酒店数据分析系统的数据表格界面提供关键词搜索功能以表格形式展示酒店名称、地址、封面、市区距离、类型、标签、评分、价格、城市等信息支持查看酒店详细内容可便捷查询与浏览酒店基础数据。3酒店数据省市分布该页面为酒店数据分析系统的数据可视化界面以热力地图结合气泡标记的形式展示酒店数据的省市分布情况可直观呈现不同区域酒店数量的分布差异与聚集特征辅助分析酒店市场的区域布局。4酒店价格区间柱状图分析和酒店类型饼图分析该页面为酒店数据分析系统的价格分析可视化界面以柱状图展示不同价格区间的酒店数量分布以环形图呈现不同类型酒店的均价占比可从价格区间与酒店类型维度直观分析酒店价格结构与分布特征。5酒店评分数量分布、酒店市区距离分布该页面为酒店数据分析系统的评分分析可视化界面以折线图展示不同评分区间的酒店数量分布以横向柱状图呈现top10酒店的市区距离情况可从评分与区位维度直观分析酒店的服务质量与地理分布特征。6价格超200酒店类型分析、酒店类型平均评分分析该页面为酒店数据分析系统的类型分析可视化界面左侧通过玫瑰图展示价格超200酒店的类型占比右侧采用饼图呈现各类型酒店的平均评分情况可从价格区间和评分维度直观对比不同类型酒店的分布特征与服务水平。7酒店名称词云图分析该页面为酒店数据分析系统的数据词云图界面展示酒店名字词云通过词语字体大小呈现对应酒店名称的出现频次与热度直观反映数据集中的高频酒店名称分布特征快速凸显热门酒店信息。8注册登录界面该页面为大数据酒店数据分析系统的登录界面提供用户名与密码输入框支持记住我功能设有登录按钮与账号注册入口可完成用户身份验证与账号创建保障系统访问安全。9后台数据管理该页面为后台管理系统的前台用户管理界面提供用户名和性别筛选搜索功能以表格形式展示用户账号、性别、地址、头像等信息支持增加、删除用户操作可高效管理前台用户数据。10Spark大数据分析该页面为Python代码编辑与运行界面基于Spark框架实现酒店数据的分布式分析可完成城市均价排行、城市酒店数量统计、高价酒店筛选等分析任务并在控制台输出分析结果实现大数据场景下的酒店数据处理与统计展示。3、项目说明一、技术栈说明本系统以Python为核心开发语言后端采用Django框架构建业务逻辑与API接口前端使用Vue框架实现响应式交互界面。大数据处理层基于Spark框架进行分布式计算结合Hadoop实现HDFS分布式存储通过Hive构建数据仓库对采集数据进行结构化管理和查询。数据采集层使用selenium爬虫技术从锦江酒店网站抓取酒店信息。推荐模块采用协同过滤算法基于用户历史行为生成个性化推荐。可视化层借助Echarts图表库将分析结果以多种图表形式在前端动态呈现。二、功能模块详细介绍· 数据采集模块该模块基于selenium爬虫技术编写自动化采集脚本实现对锦江酒店网站酒店数据的抓取。开发者可配置目标URL与采集规则爬取内容包括酒店名称、地址、封面图片、市区距离、类型、标签、评分、价格、城市等字段。采集到的原始数据经初步整理后存入HDFS分布式文件系统为后续大数据处理提供基础数据源。· 数据清洗与预处理模块原始数据存储于HDFS后通过Hive构建数据仓库实现结构化管理和初步查询。模块调用Spark框架对数据进行分布式清洗处理包括去重、异常值过滤、缺失值填补、字段格式标准化等操作。清洗后的高质量数据按照分析需求进行特征提取与维度划分形成可用于可视化分析与推荐算法训练的标准数据集。· 用户注册登录模块系统前端提供统一的用户登录入口包含用户名与密码输入框、登录按钮及注册链接。新用户可通过注册功能创建个人账号后端对用户密码进行加密存储并实现身份验证与会话管理。该模块保障系统访问安全确保可视化分析与个性化推荐功能仅对授权用户开放。· 可视化大屏展示模块作为系统的核心展示界面该模块将多维度分析结果集成于单一可视化大屏。页面包含城市均价柱状图、基础数据统计卡片、酒店数量柱状图、距离与价格对比图、评分对比面积图、评分分类统计表及类型分类饼图。用户可在一屏之内直观对比酒店在价格、评分、数量、距离等多个维度的分布特征与关联规律快速把握市场整体状况。· 酒店信息查询模块该模块以数据表格形式呈现酒店详细信息页面提供关键词搜索功能支持按酒店名称、地址、城市等字段进行模糊查询。表格列展示酒店名称、地址、封面、市区距离、类型、标签、评分、价格、城市等字段支持分页浏览与查看详情操作方便用户快捷检索目标酒店并获取完整信息。· 数据分析模块模块基于清洗后的标准数据集通过Spark进行多维度统计分析。分析内容包括酒店省市分布热力地图以气泡标记形式呈现不同区域酒店数量聚集特征价格区间分布柱状图展示各价格段酒店数量酒店类型环形图分析不同类型酒店均价占比评分分布折线图呈现评分区间与酒店数量的关系市区距离横向柱状图对比top10酒店的地理区位价格超200酒店类型玫瑰图与各类型平均评分饼图从价格和评分维度对比不同类型酒店特征酒店名称词云图直观反映高频酒店名称分布。多角度分析结果为用户和运营者提供全面的数据洞察。· 个性化推荐模块该模块基于协同过滤推荐算法分析用户历史评分与行为数据挖掘用户偏好特征生成个性化酒店推荐列表。模块通过Spark对用户行为数据进行分布式处理与模型训练结合酒店特征维度进行相似度计算为用户推送符合其兴趣偏好的酒店选项提升用户体验与选择效率。· 后台管理模块该模块面向系统管理员提供前台用户信息的集中管理功能。页面支持按用户名和性别进行筛选搜索以表格形式展示用户账号、性别、地址、头像等信息并提供增加用户、删除用户等操作接口。管理员可高效维护用户数据保障系统用户信息的准确性与规范性。三、项目总结本系统经过技术选型、架构设计、模块开发与集成测试四个阶段成功构建了一个基于Spark大数据框架的酒店数据分析与推荐平台。系统以北京地区酒店为核心分析对象通过selenium爬虫采集锦江酒店网站数据依托Hadoop HDFS实现分布式存储利用Hive构建数据仓库进行结构化整理借助Spark完成分布式清洗、特征提取与多维度统计分析采用协同过滤算法实现个性化推荐并通过Django与Vue搭建前后端分离架构最终以Echarts可视化大屏和多种图表形式直观呈现分析结果。系统涵盖数据采集、清洗预处理、用户管理、可视化展示、酒店查询、数据分析、智能推荐、后台维护八大功能模块为用户提供清晰的酒店选择依据为运营者输出精准的市场分析报告验证了大数据技术在酒店行业中的应用价值。4、核心代码# coding:utf8# 导包frompyspark.sqlimportSparkSessionfrompyspark.sql.functionsimportcount,avg,col,sum,whenfrompyspark.sql.functionsimportdesc,ascfrompyspark.sql.functionsimportmax,litdefsaved(result,table):# MySQL JDBC URL 和连接属性jdbc_urljdbc:mysql://node1:3306/bigdata?useSSLfalseuseUnicodetruecharsetutf8# 将 DataFrame 写入 MySQL 数据库result.write.mode(overwrite)\.format(jdbc)\.option(url,jdbc_url)\.option(dbtable,f{table})\.option(user,root)\.option(password,root)\.option(encoding,utf-8)\.option(driver,com.mysql.cj.jdbc.Driver)\.save()# 将 DataFrame 写入 Hive 表使用 parquet 格式result.write.mode(overwrite).format(parquet).saveAsTable(f{table})# 执行Hive查询并显示结果spark.sql(fselect * from{table}).show()if__name____main__:# 构建SparkSession并添加JDBC驱动路径sparkSparkSession.builder.appName(sparkSQL).master(local[*]).\ config(spark.sql.shuffle.partitions,2).\ config(spark.sql.warehouse.dir,hdfs://node1:8020/user/hive/warehouse).\ config(hive.metastore.uris,thrift://node1:9083).\ enableHiveSupport().\ getOrCreate()scspark.sparkContext# 读取数据表hoteldataspark.read.table(hoteldata)# 需求1城市均价排行average_priceshoteldata.groupby(city)\.agg(avg(col(price)).alias(avg_price))\.orderBy(col(avg_price).desc())# 取前十的城市均价result1average_prices.limit(10)saved(result1,avepriceTop)# 需求2统计各大城市酒店city_countshoteldata.groupby(city)\.agg(count(*).alias(city_count))\.orderBy(desc(city_count))result2city_counts.limit(10)saved(result2,cityTop)# 需求3获取价格前十的数据保留 title, price, star 列top_ten_priceshoteldata.orderBy(col(price).desc()).limit(10)# 查找 star 字段的最大值max_starhoteldata.agg(max(col(star))).collect()[0][0]# 将最大值转换为字符串并截取保留一位小数max_star_str{:.1f}.format(max_star)# 保留一位小数作为字符串max_star_truncatedfloat(max_star_str)# 转回浮点数# 将最大 star 值添加为一个新列到 top_ten_prices DataFrametop_ten_with_max_startop_ten_prices.withColumn(max_star,lit(max_star_truncated))# 保存结果saved(top_ten_with_max_star,priceTop)# 需求4酒店前十的价格与市区距离对比result4top_ten_prices.select(overCenter,title,price).limit(10)saved(result4,centerPriceTop)# 需求4酒店前十的价格与评分对比result5top_ten_prices.select(star,title,price).limit(10)saved(result5,starPriceTop)# 需求6评分分类hoteldata_starclasshoteldata.withColumn(star_category,when(col(star).between(0,4.6),0到4.6一般).when(col(star).between(4.6,4.8),4.6到4.8良好).when(col(star).between(4.8,4.9),4.8到4.9优秀).when(col(star).between(4.9,float(inf)),4.9以上/卓越).otherwise(未分类))result6hoteldata_starclass.groupby(star_category).agg(count(*).alias(count))saved(result6,starcategory)# 需求7类型分析result7hoteldata.groupby(type).agg(count(*).alias(count))saved(result7,typecategory)# 需求8价格区间分类hoteldata_priceclasshoteldata.withColumn(price_category,when(col(price).between(0,100),0到100).when(col(price).between(100,200),100到200).when(col(price).between(200,300),200到300).when(col(price).between(300,400),300到400).when(col(price).between(400,500),400到500).when(col(price).between(500,float(inf)),500以上).otherwise(未分类))# 统计每个价格区间的酒店数量result8hoteldata_priceclass.groupby(price_category).agg(count(*).alias(count))saved(result8,pricecategory)# 需求9各类型价格result9hoteldata.groupby(type).agg(avg(col(price)).alias(avg_price))saved(result9,typeprice)# 需求10评分前十的酒店的标题和市区距离top_start_valueshoteldata.orderBy(desc(star)).limit(10)result10top_start_values.select(title,overCenter)saved(result10,starCenter)# 需求11按类型分组计算每种类型中价格超过200的酒店数量result11hoteldata.groupby(type).agg(sum(when(col(price)200,1).otherwise(0)).alias(price_over))saved(result11,typeTwo)# 需求12计算每种类型的酒店的平均评分type_avg_starthoteldata.groupby(type).agg(avg(star).alias(avg_start))# 将结果按类型排序result12type_avg_start.orderBy(type)saved(result12,typeStar)# 需求13计算每个城市的酒店数量result13hoteldata.groupby(city).count()saved(result13,addresssum)5、源码获取方式
