随着社会的不断发展互联网数据时代的到来数据的背后是什么数据有什么用怎么用庞大的数据来呈现出数据的价值让我们一起去揭开它神秘的面纱。以Bilibili热门视频弹幕数据爬取与分析爬取为例介绍网络爬虫的基本原理Python环境的搭建PyCharm scrapy模块的爬虫数据的运用把获取到的数据进行清洗、整合储存数据到MySQL然后进行数据可视化的呈现简单对呈现的图进行数据分析。功能模块设计该章节的功能模块设计只是大概描述了系统的所有功能模块将功能按权限来讲解。系统总体结构图如图3-1所示。数据可视化分析看板展示Bilibili热门视频弹幕数据爬取与分析基本情况分析展示如图4-3所示。