简介这份资源是山东大学大数据课程设计的完整项目包围绕基于Hadoop实现的图书推荐系统展开适合大数据、计算机相关专业的学生用于课程设计、期末大作业或毕业设计也适合想入门推荐算法与分布式计算的开发者参考。压缩包共78个文件约20.11MB以Java源码与编译后的class文件为主另含XML配置、properties参数文件、SQL建表脚本、项目工程文件及说明文档结构完整、层次清晰。项目代码带有注释新手也能读懂部署后即可运行并附有实验报告与数据库脚本便于理解Apriori频繁项集挖掘与推荐流程的实现细节。目前已有506人学习下载可作为高分课程设计的参考模板帮助读者快速掌握Hadoop环境下推荐系统的搭建思路与核心代码逻辑。1. 从课程设计到能跑起来的图书推荐这套 Hadoop 方案到底解决什么问题很多人做「山东大学大数据的课程设计-基于hadoop实现的图书推荐系统」时卡住的地方不是算法而是环境。伪分布式搭建完NameNode 起来了DataNode 却掉线好不容易把数据塞进 HDFSMapReduce 任务又因为输入格式不对直接报错。这套方案的核心价值是把「图书推荐」这个业务场景拆成可落地的三段用 Hadoop 存行为数据、用协同过滤算相似度、用数据库存推荐结果。它适合正在做课程设计的学生也适合想补一段完整离线推荐链路的工程师。你不需要先精通机器学习但得能看懂 Java 或 Python 的 MapReduce 逻辑并且愿意花半天时间把 Hadoop 伪分布式环境调通。下面我按自己踩过的顺序把环境、数据、算法、数据库和排错一次讲清。2. 环境先立住Hadoop 伪分布式搭建与开发环境配置2.1 为什么课程设计优先选伪分布式而不是 Docker 镜像标题里写的是「基于hadoop实现」但没限定集群规模。我一般会建议课程设计阶段用伪分布式原因很直接单机就能跑NameNode、DataNode、ResourceManager、NodeManager 全在一台机器上调试时日志集中不用来回 ssh。Docker 镜像虽然启动快但课程设计通常要求写实验报告报告里要贴配置文件、要解释每个进程的作用伪分布式更容易讲清楚。另外很多学校的实验平台只给一台虚拟机伪分布式是唯一能同时满足「有 HDFS」和「有 YARN」的方案。伪分布式的核心是让 Hadoop 以独立进程运行而不是单机模式下的本地文件系统。你需要改五个文件core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml以及 hadoop-env.sh。下面是我常用的最小配置基于 Hadoop 3.x路径按自己解压位置改。# 解压并设置环境变量假设装在 /opt/module tar -zxvf hadoop-3.x.tar.gz -C /opt/module/ echo export HADOOP_HOME/opt/module/hadoop-3.x ~/.bashrc echo export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ~/.bashrc source ~/.bashrc # 查看版本确认环境变量生效 hadoop version这段命令做两件事把 Hadoop 放到统一目录避免路径里带空格或中文把 bin 和 sbin 加入 PATH后面启动集群不用写全路径。参数上唯一要注意的是 JAVA_HOME在 hadoop-env.sh 里显式指定不要依赖系统默认否则 NameNode 格式化时会报找不到 java。!-- core-site.xml指定 HDFS 的默认文件系统和临时目录 -- configuration property namefs.defaultFS/name valuehdfs://localhost:9000/value /property property namehadoop.tmp.dir/name value/opt/module/hadoop-3.x/data/tmp/value /property /configurationfs.defaultFS 写成 hdfs://localhost:9000端口 9000 是 NameNode 的 RPC 端口后面 Java 代码连 HDFS 时要用同一个。hadoop.tmp.dir 必须手动指定默认在 /tmp 下机器重启就丢课程设计做到一半数据没了就是这里翻车。!-- hdfs-site.xml副本数设为 1伪分布式不需要多副本 -- configuration property namedfs.replication/name value1/value /property property namedfs.namenode.name.dir/name value/opt/module/hadoop-3.x/data/namenode/value /property property namedfs.datanode.data.dir/name value/opt/module/hadoop-3.x/data/datanode/value /property /configuration副本数在伪分布式下必须改成 1否则 DataNode 会一直报「只有一个节点但需要 3 个副本」虽然不影响运行但日志里全是警告实验报告不好看。name.dir 和 data.dir 分开存格式化时只清 name.dir不会误删数据。!-- mapred-site.xml指定 MapReduce 跑在 YARN 上 -- configuration property namemapreduce.framework.name/name valueyarn/value /property /configuration!-- yarn-site.xml指定 NodeManager 的辅助服务 -- configuration property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property /configurationyarn.nodemanager.aux-services 必须写 mapreduce_shuffle这是 MapReduce 任务在 YARN 上跑的必要条件漏了会报「Shuffle error」。配置改完按顺序执行格式化与启动# 第一次启动前格式化 NameNode只能执行一次 hdfs namenode -format # 启动 HDFS 和 YARN start-dfs.sh start-yarn.sh # 验证进程应该看到 NameNode、DataNode、ResourceManager、NodeManager jps格式化只能做一次第二次格式化会导致 DataNode 的 clusterID 和 NameNode 不一致DataNode 直接起不来。如果手滑格式化了两次把 data 目录全删掉重新格式化这是最常见的后悔药。2.2 开发环境怎么连Eclipse 链接配置 Hadoop 与依赖管理课程设计通常要求提交源代码用 Eclipse 或 IDEA 都行。我习惯用 Maven 管依赖因为 Hadoop 的 jar 包版本必须和集群一致手动拷 jar 容易漏。pom.xml 里加这几个核心依赖dependencies !-- Hadoop 客户端版本必须和集群一致 -- dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-client/artifactId version3.x.x/version /dependency !-- 如果推荐算法用 Mahout 的协同过滤加这个 -- dependency groupIdorg.apache.mahout/groupId artifactIdmahout-core/artifactId version0.9/version /dependency /dependencies版本号写你实际解压的 Hadoop 版本不要照抄。hadoop-client 会自动带入 hdfs、mapreduce、yarn 的客户端 jar。如果学校要求用 Eclipse 而不是 Maven那就把 $HADOOP_HOME/share/hadoop 下 common、hdfs、mapreduce、yarn 四个目录的 jar 全加进 Build Path少一个都会在运行时抛 ClassNotFoundException。连接 HDFS 的 Java 代码里Configuration 对象默认读 classpath 下的 core-site.xml。如果你没把配置文件拷进项目就要手动 setConfiguration conf new Configuration(); conf.set(fs.defaultFS, hdfs://localhost:9000); FileSystem fs FileSystem.get(conf);我一般会把 core-site.xml 和 hdfs-site.xml 直接放到 src/main/resources 下这样代码里不用硬编码地址换机器只改配置文件。注意 Windows 上跑 MapReduce 还需要 winutils.exe 和 hadoop.dll否则报「Could not locate executable null\bin\winutils.exe」这是 Windows 开发环境的经典坑课程设计如果要求 Linux 提交直接在 Linux 里跑最省事。3. 数据与算法图书推荐系统的核心实现路径3.1 图书行为数据的 HDFS 存储与格式设计推荐系统的输入是用户行为课程设计里通常给三张表用户表、图书表、评分表。评分表是核心字段一般是 userId、bookId、rating、timestamp。原始数据可能是 CSV 或 SQL 导出第一步是上传到 HDFS。# 在 HDFS 建目录上传评分数据 hdfs dfs -mkdir -p /bookrec/input hdfs dfs -put ratings.csv /bookrec/input/ hdfs dfs -ls /bookrec/input/上传前要检查 CSV 有没有表头MapReduce 默认按行读表头会被当成一条记录导致解析失败。我一般会在上传前用 sed 去掉第一行或者在 Mapper 里判断字段数。数据量课程设计一般不大几万到几十万条评分但格式必须统一分隔符用逗号字段顺序固定不要混用制表符。如果数据来自 MySQL常见做法是用 Sqoop 导入但课程设计环境不一定装 Sqoop直接 mysqldump 成 CSV 再 put 更稳。数据库课程设计里常要求体现「数据库增删改查」所以评分表在 MySQL 里建好导出 CSV 进 HDFS 算算完的推荐结果再写回 MySQL这条链路能把 Hadoop 和数据库两个知识点都覆盖。3.2 基于物品协同过滤的 MapReduce 实现图书推荐最常用的算法是协同过滤分 UserCF 和 ItemCF。课程设计里我推荐 ItemCF因为图书数量通常比用户少物品相似度矩阵更小而且解释性强「喜欢这本书的人还喜欢那本」。MapReduce 实现分四步算物品共现、算相似度、取 TopN 相似、生成推荐。第一步Mapper 读评分数据按用户分组输出「用户 - 物品列表」。Reducer 收到一个用户的所有物品两两组合输出「物品对 - 1」。// Mapper输出 userId, bookId public class UserItemMapper extends MapperLongWritable, Text, Text, Text { Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String[] fields value.toString().split(,); // 跳过表头或脏数据 if (fields.length 3 || userId.equals(fields[0])) return; context.write(new Text(fields[0]), new Text(fields[1])); } }// Reducer同一用户的物品两两组合输出 bookA:bookB, 1 public class ItemPairReducer extends ReducerText, Text, Text, IntWritable { Override protected void reduce(Text key, IterableText values, Context context) throws IOException, InterruptedException { ListString items new ArrayList(); for (Text v : values) items.add(v.toString()); for (int i 0; i items.size(); i) { for (int j i 1; j items.size(); j) { // 保证 A:B 和 B:A 统一成一种顺序避免重复 String pair items.get(i).compareTo(items.get(j)) 0 ? items.get(i) : items.get(j) : items.get(j) : items.get(i); context.write(new Text(pair), new IntWritable(1)); } } } }这段逻辑的关键在 pair 的排序如果不统一顺序A:B 和 B:A 会被当成两个不同的键相似度算出来偏小。参数上items 列表如果特别大两两组合会内存溢出课程设计数据量小可以忽略但要知道这个边界。第二步相似度计算。用共现次数除以两个物品各自出现次数的平方根就是余弦相似度。这一步可以用第二个 MapReduce 任务也可以直接在推荐阶段算。我一般会单独跑一个任务输出相似度矩阵存到 HDFS方便调试。第三步取每个物品的 TopN 相似物品。Mapper 输出「物品 - 相似物品:相似度」Reducer 里用优先队列维护 TopN。第四步生成推荐。对每个用户把他已评分的物品的相似物品加权求和去掉已看过的排序取 TopN 作为推荐结果。// 推荐阶段核心加权求和 for (String item : userItems) { ListPairString, Double sims simMap.get(item); for (PairString, Double sim : sims) { if (userItems.contains(sim.getFirst())) continue; // 去掉已看 scoreMap.merge(sim.getFirst(), sim.getSecond(), Double::sum); } }scoreMap 里累加的就是推荐分数最后按分数降序取前 10 本。参数上相似度阈值一般设 0.1 到 0.2低于这个值说明两本书几乎没关系加进去反而降准确率。TopN 相似物品数设 20 到 50太小推荐多样性差太大计算量涨。3.3 推荐结果写回 MySQL 的数据库设计推荐结果要落到数据库课程设计里通常要求建三张表用户表、图书表、推荐结果表。推荐结果表字段包括 userId、bookId、score、rank。写回用 JDBC在 Reducer 的 cleanup 阶段批量插入不要每条记录插一次否则几万条推荐能把数据库连接打满。-- 推荐结果表rank 是关键字用反引号 CREATE TABLE rec_result ( id INT PRIMARY KEY AUTO_INCREMENT, user_id VARCHAR(32), book_id VARCHAR(32), score DOUBLE, rank INT, INDEX idx_user (user_id) );// Reducer cleanup 中批量插入 Connection conn DriverManager.getConnection( jdbc:mysql://localhost:3306/bookrec?useSSLfalse, root, password); String sql INSERT INTO rec_result(user_id, book_id, score, rank) VALUES(?,?,?,?); PreparedStatement ps conn.prepareStatement(sql); for (Map.EntryString, Double e : topN.entrySet()) { ps.setString(1, userId); ps.setString(2, e.getKey()); ps.setDouble(3, e.getValue()); ps.setInt(4, rank); ps.addBatch(); } ps.executeBatch();注意 rank 是 MySQL 关键字建表和插入都要加反引号否则报语法错误。索引加在 user_id 上查询某个用户的推荐列表时不用全表扫。数据库连接池在 MapReduce 里不常用因为每个 Reducer 是独立 JVM用 DriverManager 就够但记得在 cleanup 里关连接。4. 避坑与排查课程设计里最容易翻车的五个点4.1 DataNode 启动后立刻消失现象jps 看到 DataNode 进程几秒后没了NameNode 的 Web UI 显示活跃节点为 0。原因多次执行 hdfs namenode -formatNameNode 的 clusterID 变了DataNode 的 clusterID 还是旧的两者不匹配。解决停掉集群删除 namenode 和 datanode 的 data 目录重新格式化一次再启动。记住格式化只能做一次做实验前先拍快照。4.2 MapReduce 任务卡在 map 0% reduce 0%现象任务提交后一直不动日志里没有明显报错。原因YARN 的 NodeManager 没起来或者 yarn-site.xml 里 aux-services 配错。解决jps 确认 NodeManager 在检查 yarn-site.xml 的 mapreduce_shuffle 拼写重启 YARN。另一个可能是内存不够课程设计虚拟机给 2G 内存YARN 默认容器 1G跑两个任务就卡把 yarn.nodemanager.resource.memory-mb 调到 1024 以下。4.3 中文图书名在 HDFS 里乱码现象上传的 CSV 里图书名是中文MapReduce 读出来变成问号。原因文件编码是 GBKHadoop 默认按 UTF-8 读。解决上传前用 iconv 转成 UTF-8或者在 Mapper 里用 new String(bytes, GBK) 转。我一般直接转文件省得代码里到处处理编码。4.4 推荐结果全是同一个分数现象推荐列表里所有图书分数一样排序没意义。原因相似度计算时没有归一化或者共现次数直接当相似度用。解决用余弦相似度分母加上两个物品出现次数的平方根。如果数据稀疏很多物品对共现为 0相似度矩阵会很大课程设计里可以只保留共现次数大于 2 的物品对。4.5 数据库写回时连接超时现象Reducer 跑到 90% 报 Communications link failure。原因MySQL 默认 wait_timeout 是 8 小时但 MapReduce 任务如果跑太久连接会断。解决在 JDBC URL 里加 autoReconnecttrue或者把写回放到 cleanup 里一次性做缩短连接持有时间。课程设计数据量小cleanup 写回足够。5. 进阶技巧用 Python 快速验证推荐效果与参数调优课程设计交完代码老师常问「你的推荐准不准」。这时候需要离线评估指标用准确率、召回率、覆盖率。我一般用 Python 读 HDFS 导出的推荐结果和测试集快速算指标比再写一个 MapReduce 任务快得多。import pandas as pd # 读推荐结果和测试集测试集是用户真实看过的书 rec pd.read_csv(rec_result.csv) test pd.read_csv(test_ratings.csv) # 每个用户的推荐列表 rec_group rec.groupby(user_id)[book_id].apply(set) test_group test.groupby(user_id)[book_id].apply(set) # 准确率推荐里命中真实的比例 hit 0 total 0 for user in rec_group.index: if user in test_group.index: hit len(rec_group[user] test_group[user]) total len(rec_group[user]) print(Precision:, hit / total if total else 0) # 召回率真实里被推荐覆盖的比例 hit 0 total 0 for user in test_group.index: if user in rec_group.index: hit len(rec_group[user] test_group[user]) total len(test_group[user]) print(Recall:, hit / total if total else 0)这段代码的关键是 groupby 后转 set用集合交集算命中。参数上测试集一般按时间切用最后 20% 的行为做测试前面的做训练不要随机切否则会用未来数据预测过去指标虚高。如果准确率低于 0.1先检查相似度阈值是不是太高降到 0.05 试试如果覆盖率太低说明推荐集中在热门书把 TopN 相似物品数从 20 调到 50或者对热门书做惩罚。调参时我习惯固定其他变量只动一个先调相似度阈值再调 TopN最后调推荐列表长度。每次改完重新跑一遍 MapReduce把指标记在表格里对比。课程设计报告里放一张参数对比表比只贴代码有说服力。相似度阈值 TopN相似 Precision Recall 0.20 20 0.12 0.08 0.10 20 0.15 0.11 0.10 50 0.14 0.16 0.05 50 0.11 0.19从表里能看出阈值降到 0.05 召回率上去了但准确率掉了这是推荐系统的经典权衡。课程设计里选 0.10 和 50 这组比较均衡。最后提醒一句Hadoop 跑完记得 hdfs dfs -get 把结果拉回本地虚拟机一关数据就没了这个血泪经验我踩过不止一次。希望帮到你。本文还有配套的精品资源点击获取 Hadoop伪分布式实战：山东大学大数据课程设计图书推荐系统
简介这份资源是山东大学大数据课程设计的完整项目包围绕基于Hadoop实现的图书推荐系统展开适合大数据、计算机相关专业的学生用于课程设计、期末大作业或毕业设计也适合想入门推荐算法与分布式计算的开发者参考。压缩包共78个文件约20.11MB以Java源码与编译后的class文件为主另含XML配置、properties参数文件、SQL建表脚本、项目工程文件及说明文档结构完整、层次清晰。项目代码带有注释新手也能读懂部署后即可运行并附有实验报告与数据库脚本便于理解Apriori频繁项集挖掘与推荐流程的实现细节。目前已有506人学习下载可作为高分课程设计的参考模板帮助读者快速掌握Hadoop环境下推荐系统的搭建思路与核心代码逻辑。1. 从课程设计到能跑起来的图书推荐这套 Hadoop 方案到底解决什么问题很多人做「山东大学大数据的课程设计-基于hadoop实现的图书推荐系统」时卡住的地方不是算法而是环境。伪分布式搭建完NameNode 起来了DataNode 却掉线好不容易把数据塞进 HDFSMapReduce 任务又因为输入格式不对直接报错。这套方案的核心价值是把「图书推荐」这个业务场景拆成可落地的三段用 Hadoop 存行为数据、用协同过滤算相似度、用数据库存推荐结果。它适合正在做课程设计的学生也适合想补一段完整离线推荐链路的工程师。你不需要先精通机器学习但得能看懂 Java 或 Python 的 MapReduce 逻辑并且愿意花半天时间把 Hadoop 伪分布式环境调通。下面我按自己踩过的顺序把环境、数据、算法、数据库和排错一次讲清。2. 环境先立住Hadoop 伪分布式搭建与开发环境配置2.1 为什么课程设计优先选伪分布式而不是 Docker 镜像标题里写的是「基于hadoop实现」但没限定集群规模。我一般会建议课程设计阶段用伪分布式原因很直接单机就能跑NameNode、DataNode、ResourceManager、NodeManager 全在一台机器上调试时日志集中不用来回 ssh。Docker 镜像虽然启动快但课程设计通常要求写实验报告报告里要贴配置文件、要解释每个进程的作用伪分布式更容易讲清楚。另外很多学校的实验平台只给一台虚拟机伪分布式是唯一能同时满足「有 HDFS」和「有 YARN」的方案。伪分布式的核心是让 Hadoop 以独立进程运行而不是单机模式下的本地文件系统。你需要改五个文件core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml以及 hadoop-env.sh。下面是我常用的最小配置基于 Hadoop 3.x路径按自己解压位置改。# 解压并设置环境变量假设装在 /opt/module tar -zxvf hadoop-3.x.tar.gz -C /opt/module/ echo export HADOOP_HOME/opt/module/hadoop-3.x ~/.bashrc echo export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ~/.bashrc source ~/.bashrc # 查看版本确认环境变量生效 hadoop version这段命令做两件事把 Hadoop 放到统一目录避免路径里带空格或中文把 bin 和 sbin 加入 PATH后面启动集群不用写全路径。参数上唯一要注意的是 JAVA_HOME在 hadoop-env.sh 里显式指定不要依赖系统默认否则 NameNode 格式化时会报找不到 java。!-- core-site.xml指定 HDFS 的默认文件系统和临时目录 -- configuration property namefs.defaultFS/name valuehdfs://localhost:9000/value /property property namehadoop.tmp.dir/name value/opt/module/hadoop-3.x/data/tmp/value /property /configurationfs.defaultFS 写成 hdfs://localhost:9000端口 9000 是 NameNode 的 RPC 端口后面 Java 代码连 HDFS 时要用同一个。hadoop.tmp.dir 必须手动指定默认在 /tmp 下机器重启就丢课程设计做到一半数据没了就是这里翻车。!-- hdfs-site.xml副本数设为 1伪分布式不需要多副本 -- configuration property namedfs.replication/name value1/value /property property namedfs.namenode.name.dir/name value/opt/module/hadoop-3.x/data/namenode/value /property property namedfs.datanode.data.dir/name value/opt/module/hadoop-3.x/data/datanode/value /property /configuration副本数在伪分布式下必须改成 1否则 DataNode 会一直报「只有一个节点但需要 3 个副本」虽然不影响运行但日志里全是警告实验报告不好看。name.dir 和 data.dir 分开存格式化时只清 name.dir不会误删数据。!-- mapred-site.xml指定 MapReduce 跑在 YARN 上 -- configuration property namemapreduce.framework.name/name valueyarn/value /property /configuration!-- yarn-site.xml指定 NodeManager 的辅助服务 -- configuration property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property /configurationyarn.nodemanager.aux-services 必须写 mapreduce_shuffle这是 MapReduce 任务在 YARN 上跑的必要条件漏了会报「Shuffle error」。配置改完按顺序执行格式化与启动# 第一次启动前格式化 NameNode只能执行一次 hdfs namenode -format # 启动 HDFS 和 YARN start-dfs.sh start-yarn.sh # 验证进程应该看到 NameNode、DataNode、ResourceManager、NodeManager jps格式化只能做一次第二次格式化会导致 DataNode 的 clusterID 和 NameNode 不一致DataNode 直接起不来。如果手滑格式化了两次把 data 目录全删掉重新格式化这是最常见的后悔药。2.2 开发环境怎么连Eclipse 链接配置 Hadoop 与依赖管理课程设计通常要求提交源代码用 Eclipse 或 IDEA 都行。我习惯用 Maven 管依赖因为 Hadoop 的 jar 包版本必须和集群一致手动拷 jar 容易漏。pom.xml 里加这几个核心依赖dependencies !-- Hadoop 客户端版本必须和集群一致 -- dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-client/artifactId version3.x.x/version /dependency !-- 如果推荐算法用 Mahout 的协同过滤加这个 -- dependency groupIdorg.apache.mahout/groupId artifactIdmahout-core/artifactId version0.9/version /dependency /dependencies版本号写你实际解压的 Hadoop 版本不要照抄。hadoop-client 会自动带入 hdfs、mapreduce、yarn 的客户端 jar。如果学校要求用 Eclipse 而不是 Maven那就把 $HADOOP_HOME/share/hadoop 下 common、hdfs、mapreduce、yarn 四个目录的 jar 全加进 Build Path少一个都会在运行时抛 ClassNotFoundException。连接 HDFS 的 Java 代码里Configuration 对象默认读 classpath 下的 core-site.xml。如果你没把配置文件拷进项目就要手动 setConfiguration conf new Configuration(); conf.set(fs.defaultFS, hdfs://localhost:9000); FileSystem fs FileSystem.get(conf);我一般会把 core-site.xml 和 hdfs-site.xml 直接放到 src/main/resources 下这样代码里不用硬编码地址换机器只改配置文件。注意 Windows 上跑 MapReduce 还需要 winutils.exe 和 hadoop.dll否则报「Could not locate executable null\bin\winutils.exe」这是 Windows 开发环境的经典坑课程设计如果要求 Linux 提交直接在 Linux 里跑最省事。3. 数据与算法图书推荐系统的核心实现路径3.1 图书行为数据的 HDFS 存储与格式设计推荐系统的输入是用户行为课程设计里通常给三张表用户表、图书表、评分表。评分表是核心字段一般是 userId、bookId、rating、timestamp。原始数据可能是 CSV 或 SQL 导出第一步是上传到 HDFS。# 在 HDFS 建目录上传评分数据 hdfs dfs -mkdir -p /bookrec/input hdfs dfs -put ratings.csv /bookrec/input/ hdfs dfs -ls /bookrec/input/上传前要检查 CSV 有没有表头MapReduce 默认按行读表头会被当成一条记录导致解析失败。我一般会在上传前用 sed 去掉第一行或者在 Mapper 里判断字段数。数据量课程设计一般不大几万到几十万条评分但格式必须统一分隔符用逗号字段顺序固定不要混用制表符。如果数据来自 MySQL常见做法是用 Sqoop 导入但课程设计环境不一定装 Sqoop直接 mysqldump 成 CSV 再 put 更稳。数据库课程设计里常要求体现「数据库增删改查」所以评分表在 MySQL 里建好导出 CSV 进 HDFS 算算完的推荐结果再写回 MySQL这条链路能把 Hadoop 和数据库两个知识点都覆盖。3.2 基于物品协同过滤的 MapReduce 实现图书推荐最常用的算法是协同过滤分 UserCF 和 ItemCF。课程设计里我推荐 ItemCF因为图书数量通常比用户少物品相似度矩阵更小而且解释性强「喜欢这本书的人还喜欢那本」。MapReduce 实现分四步算物品共现、算相似度、取 TopN 相似、生成推荐。第一步Mapper 读评分数据按用户分组输出「用户 - 物品列表」。Reducer 收到一个用户的所有物品两两组合输出「物品对 - 1」。// Mapper输出 userId, bookId public class UserItemMapper extends MapperLongWritable, Text, Text, Text { Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String[] fields value.toString().split(,); // 跳过表头或脏数据 if (fields.length 3 || userId.equals(fields[0])) return; context.write(new Text(fields[0]), new Text(fields[1])); } }// Reducer同一用户的物品两两组合输出 bookA:bookB, 1 public class ItemPairReducer extends ReducerText, Text, Text, IntWritable { Override protected void reduce(Text key, IterableText values, Context context) throws IOException, InterruptedException { ListString items new ArrayList(); for (Text v : values) items.add(v.toString()); for (int i 0; i items.size(); i) { for (int j i 1; j items.size(); j) { // 保证 A:B 和 B:A 统一成一种顺序避免重复 String pair items.get(i).compareTo(items.get(j)) 0 ? items.get(i) : items.get(j) : items.get(j) : items.get(i); context.write(new Text(pair), new IntWritable(1)); } } } }这段逻辑的关键在 pair 的排序如果不统一顺序A:B 和 B:A 会被当成两个不同的键相似度算出来偏小。参数上items 列表如果特别大两两组合会内存溢出课程设计数据量小可以忽略但要知道这个边界。第二步相似度计算。用共现次数除以两个物品各自出现次数的平方根就是余弦相似度。这一步可以用第二个 MapReduce 任务也可以直接在推荐阶段算。我一般会单独跑一个任务输出相似度矩阵存到 HDFS方便调试。第三步取每个物品的 TopN 相似物品。Mapper 输出「物品 - 相似物品:相似度」Reducer 里用优先队列维护 TopN。第四步生成推荐。对每个用户把他已评分的物品的相似物品加权求和去掉已看过的排序取 TopN 作为推荐结果。// 推荐阶段核心加权求和 for (String item : userItems) { ListPairString, Double sims simMap.get(item); for (PairString, Double sim : sims) { if (userItems.contains(sim.getFirst())) continue; // 去掉已看 scoreMap.merge(sim.getFirst(), sim.getSecond(), Double::sum); } }scoreMap 里累加的就是推荐分数最后按分数降序取前 10 本。参数上相似度阈值一般设 0.1 到 0.2低于这个值说明两本书几乎没关系加进去反而降准确率。TopN 相似物品数设 20 到 50太小推荐多样性差太大计算量涨。3.3 推荐结果写回 MySQL 的数据库设计推荐结果要落到数据库课程设计里通常要求建三张表用户表、图书表、推荐结果表。推荐结果表字段包括 userId、bookId、score、rank。写回用 JDBC在 Reducer 的 cleanup 阶段批量插入不要每条记录插一次否则几万条推荐能把数据库连接打满。-- 推荐结果表rank 是关键字用反引号 CREATE TABLE rec_result ( id INT PRIMARY KEY AUTO_INCREMENT, user_id VARCHAR(32), book_id VARCHAR(32), score DOUBLE, rank INT, INDEX idx_user (user_id) );// Reducer cleanup 中批量插入 Connection conn DriverManager.getConnection( jdbc:mysql://localhost:3306/bookrec?useSSLfalse, root, password); String sql INSERT INTO rec_result(user_id, book_id, score, rank) VALUES(?,?,?,?); PreparedStatement ps conn.prepareStatement(sql); for (Map.EntryString, Double e : topN.entrySet()) { ps.setString(1, userId); ps.setString(2, e.getKey()); ps.setDouble(3, e.getValue()); ps.setInt(4, rank); ps.addBatch(); } ps.executeBatch();注意 rank 是 MySQL 关键字建表和插入都要加反引号否则报语法错误。索引加在 user_id 上查询某个用户的推荐列表时不用全表扫。数据库连接池在 MapReduce 里不常用因为每个 Reducer 是独立 JVM用 DriverManager 就够但记得在 cleanup 里关连接。4. 避坑与排查课程设计里最容易翻车的五个点4.1 DataNode 启动后立刻消失现象jps 看到 DataNode 进程几秒后没了NameNode 的 Web UI 显示活跃节点为 0。原因多次执行 hdfs namenode -formatNameNode 的 clusterID 变了DataNode 的 clusterID 还是旧的两者不匹配。解决停掉集群删除 namenode 和 datanode 的 data 目录重新格式化一次再启动。记住格式化只能做一次做实验前先拍快照。4.2 MapReduce 任务卡在 map 0% reduce 0%现象任务提交后一直不动日志里没有明显报错。原因YARN 的 NodeManager 没起来或者 yarn-site.xml 里 aux-services 配错。解决jps 确认 NodeManager 在检查 yarn-site.xml 的 mapreduce_shuffle 拼写重启 YARN。另一个可能是内存不够课程设计虚拟机给 2G 内存YARN 默认容器 1G跑两个任务就卡把 yarn.nodemanager.resource.memory-mb 调到 1024 以下。4.3 中文图书名在 HDFS 里乱码现象上传的 CSV 里图书名是中文MapReduce 读出来变成问号。原因文件编码是 GBKHadoop 默认按 UTF-8 读。解决上传前用 iconv 转成 UTF-8或者在 Mapper 里用 new String(bytes, GBK) 转。我一般直接转文件省得代码里到处处理编码。4.4 推荐结果全是同一个分数现象推荐列表里所有图书分数一样排序没意义。原因相似度计算时没有归一化或者共现次数直接当相似度用。解决用余弦相似度分母加上两个物品出现次数的平方根。如果数据稀疏很多物品对共现为 0相似度矩阵会很大课程设计里可以只保留共现次数大于 2 的物品对。4.5 数据库写回时连接超时现象Reducer 跑到 90% 报 Communications link failure。原因MySQL 默认 wait_timeout 是 8 小时但 MapReduce 任务如果跑太久连接会断。解决在 JDBC URL 里加 autoReconnecttrue或者把写回放到 cleanup 里一次性做缩短连接持有时间。课程设计数据量小cleanup 写回足够。5. 进阶技巧用 Python 快速验证推荐效果与参数调优课程设计交完代码老师常问「你的推荐准不准」。这时候需要离线评估指标用准确率、召回率、覆盖率。我一般用 Python 读 HDFS 导出的推荐结果和测试集快速算指标比再写一个 MapReduce 任务快得多。import pandas as pd # 读推荐结果和测试集测试集是用户真实看过的书 rec pd.read_csv(rec_result.csv) test pd.read_csv(test_ratings.csv) # 每个用户的推荐列表 rec_group rec.groupby(user_id)[book_id].apply(set) test_group test.groupby(user_id)[book_id].apply(set) # 准确率推荐里命中真实的比例 hit 0 total 0 for user in rec_group.index: if user in test_group.index: hit len(rec_group[user] test_group[user]) total len(rec_group[user]) print(Precision:, hit / total if total else 0) # 召回率真实里被推荐覆盖的比例 hit 0 total 0 for user in test_group.index: if user in rec_group.index: hit len(rec_group[user] test_group[user]) total len(test_group[user]) print(Recall:, hit / total if total else 0)这段代码的关键是 groupby 后转 set用集合交集算命中。参数上测试集一般按时间切用最后 20% 的行为做测试前面的做训练不要随机切否则会用未来数据预测过去指标虚高。如果准确率低于 0.1先检查相似度阈值是不是太高降到 0.05 试试如果覆盖率太低说明推荐集中在热门书把 TopN 相似物品数从 20 调到 50或者对热门书做惩罚。调参时我习惯固定其他变量只动一个先调相似度阈值再调 TopN最后调推荐列表长度。每次改完重新跑一遍 MapReduce把指标记在表格里对比。课程设计报告里放一张参数对比表比只贴代码有说服力。相似度阈值 TopN相似 Precision Recall 0.20 20 0.12 0.08 0.10 20 0.15 0.11 0.10 50 0.14 0.16 0.05 50 0.11 0.19从表里能看出阈值降到 0.05 召回率上去了但准确率掉了这是推荐系统的经典权衡。课程设计里选 0.10 和 50 这组比较均衡。最后提醒一句Hadoop 跑完记得 hdfs dfs -get 把结果拉回本地虚拟机一关数据就没了这个血泪经验我踩过不止一次。希望帮到你。本文还有配套的精品资源点击获取