自媒体运营分析 - 数据清洗与预处理实验

姓名任佳莉一、实验目的①熟悉助睿 Uniplore 一站式数据科学平台操作流程掌握助睿 ETL 拖拽式零代码数据加工方式理解 Pipeline 流水线处理逻辑。②掌握 CSV 文件输入、分组聚合、多条件过滤、空值填充、字段筛选、表输出等核心 ETL 组件配置方法。③掌握分支分流ETL 设计思路同一原始数据分两路处理分别产出全平台汇总数据、重点平台清洗明细数据。④理解原始自媒体数据存在的数据冗余、无效记录、字段缺失等问题掌握标准化数据清洗、预处理流程。⑤规范输出两张业务数据表分别支撑数据仪表盘总览指标、后续深度特征分析建立分口径数据分析思维。二、实验环境与数据源2.1 实验环境本次实验依托助睿数智Uniplore零代码数据科学平台覆盖数据接入、ETL 处理、可视化全流程实训能力。实训平台地址https://lab.guilian.cn/平台官网https://www.uniplore.com/操作方式浏览器可视化拖拽组件搭建转换流无需编写代码完成完整数据 ETL。2.2 实验数据源数据源文件自媒体作品数据明细.csv存放于平台公共资源库需复制至个人文件库使用。数据范围6 月 8 日 - 6 月 15 日班级学生各自媒体平台发布作品互动数据仅包含采集前未删除作品新增、下架作品不在数据集内。原始数据包含平台B 站、CSDN、微信、知乎、小红书、头条存在浏览量空值、全零无效记录、文本字段缺失、多平台指标不统一等脏数据问题。三、实验原理与整体设计思路3.1 ETL 与数据清洗原理ETL 即抽取 Extract、转换 Transform、加载 Load抽取读取 CSV 原始自媒体明细数据转换分为两条分支并行处理分支 1全平台无过滤聚合按日期 平台分组求和统计大盘指标分支 2筛选 B 站 / CSDN 有效流量作品、填充空值、精简无用字段加载两支流分别写入两张数据表summary_all_platforms、content_analysis。数据清洗核心作用解决原始数据平台冗余、无效零流量记录、文本空值、多余采集字段问题统一数据格式保证后续统计、特征计算不报错。3.2 整体流程设计新建自媒体运营分析项目→复制公共 CSV 数据源至个人文件库→新建转换流→CSV 文件输入拆分双分支分支 1排序记录→分组聚合→表输出全平台概况汇总表分支 2多条件过滤记录→替换 NULL 空值→字段选择精简→表输出清洗后作品明细表执行转换流→预览两张数据表结果→校验数据逻辑正确性。四、实验步骤4.1 平台登录与项目创建①登录助睿大数据实训平台进入数据集成 ETL 模块。②新建个人项目项目名称自定义为「自媒体运营分析」保存进入项目工作空间。③进入资源库 - 文件库在公共空间找到自媒体作品数据明细.csv导出复制至个人文件库作为本次实验数据源。4.2 新建数据转换流①项目空白处右键新建转换流命名为「自媒体数据清洗与预处理 7-1」并保存。②浏览左侧组件库区分输入、转换、输出类组件熟悉 CSV 输入、分组、过滤、替换 NULL、字段选择、表输出组件功能。4.3 数据抽取配置CSV 文件输入①拖拽「CSV 文件输入」组件至画布双击打开配置。②文件路径选择个人文件库中已复制的自媒体作品数据明细.csv自动读取全部原始字段预览数据确认加载正常。4.4 分支 1全平台聚合统计无过滤大盘数据①从 CSV 输入拉出一条数据流依次拖拽「排序记录」「分组」组件串联。②排序组件配置按crawl_date采集日期、platform平台排序。③分组聚合配置分组字段为crawl_date、platform全部数值互动字段执行求和作品数、总浏览、点赞、收藏、分享、B 站投币、微信推荐、知乎喜欢 / 赞同。④拖拽「表输出」组件命名为「全平台概况表输出」目标表选择summary_all_platforms绑定聚合后数据流。4.5 分支 2多条件过滤筛选有效作品①从 CSV 输入拉出第二条数据流接入「过滤记录」组件。②配置复合筛选条件AND/OR 组合(platform B站 AND views 0) OR (platform CSDN AND views 0)③分流规则匹配条件数据进入后续清洗流程不匹配数据设置为空操作直接丢弃。4.6 缺失值填充替换 NULL 值①过滤后的数据流接入「替换 NULL 值」组件。②配置填充规则作者名称author_name、作品标题title空值统一填充文本「未知」数值互动字段无空值无需处理规避后续文本匹配、统计报错。4.7 字段选择精简冗余字段①填充完成后接入「字段选择」组件。②删除原始采集标记字段source_file仅保留分析核心字段date, author_name, title, platform, likes, favorites, shares, coins, views, url多余字段全部移除缩小数据集体积。4.8 输出清洗明细表拖拽第二个「表输出」组件命名「内容分析表输出」目标数据表选择content_analysis接入字段选择后的清洗数据流。4.9 运行转换流与数据预览校验①点击画布顶部运行按钮启动转换流任务查看执行日志确认无报错。②分别打开两张输出表预览summary_all_platforms包含全部平台每日聚合数据浏览量为 0 的平台作品正常统计各平台专属互动指标独立列存放content_analysis仅留存 B 站、CSDN 且浏览量0 作品标题、作者空值已填充为 “未知”字段精简无冗余。五、实验结果分析全平台汇总表summary_all_platforms成功按日期、平台完成聚合统计完整保留微信、知乎、小红书、头条等低流量平台数据可用于仪表盘顶部大盘总览指标展示B 站投币、知乎赞同、微信推荐等专属指标分开存储数据含义清晰不会混淆统计口径。清洗明细表content_analysis完成精准过滤仅保留具备流量分析价值的 B 站、CSDN 有效作品文本空值全部填充无用采集字段剔除数据整洁规范可直接作为下一实验标题特征提取、互动率计算的输入数据源。双分支并行处理实现一套原始数据同时支撑两种业务分析口径数据分类逻辑准确无数据丢失、错分、空值报错问题完成实验全部预设目标。六、实验中遇到的问题及解决方法①问题公共 CSV 文件无法直接读取找不到数据源解决公共空间文件仅可查看必须导出复制至个人文件库再在 CSV 输入组件中选择个人文件。②问题过滤条件配置错误误保留浏览量为 0 的 B 站 / CSDN 作品解决重新编辑过滤记录组件确认条件为平台匹配且浏览量大于 0通过 OR 分隔两个平台条件预览数据核对流量数值。③问题作者、标题空值未处理预览明细表出现 NULL 字段解决增加「替换 NULL 值」组件对两个文本字段统一填充 “未知”放置在过滤之后、字段选择之前。④问题聚合后数据表多余无关字段大盘统计出现重复指标解决分组聚合时仅对数值互动字段求和平台专属指标单独保留不做合并保证汇总表字段规范。七、实验总结与心得体会本次实验完整学习了助睿 ETL 平台双分支并行数据处理核心思路从零搭建自媒体数据清洗转换流熟练掌握 CSV 数据源读取、分组聚合、多条件复合过滤、缺失值填充、字段裁剪、数据表输出等高频组件操作。通过实操直观理解数据清洗的必要性原始采集数据存在大量无效、缺失、冗余内容不做预处理会导致后续可视化、特征计算出错。零代码拖拽式 ETL 无需编程即可完成复杂多分支数据分流极大降低数据分析门槛。实验过程中通过预览数据反复校验筛选、填充、聚合逻辑提升了数据问题排查、流程调试能力掌握了分口径设计数据表的业务思维为后续自媒体标题特征分析、可视化仪表盘实验打下坚实基础。