python如何完成数据抓取

一直听别人说python爬虫怎么怎么样利用做毕设的机会跟着B站的视频亲自做一下这个过程记录如下以抓取https://music.91q.com/songlist/309271千千音乐网页中的数据为例1.新建一个文件夹用来处理爬取相关任务2.爬取信息如上图示我们要爬取的信息的url就是Request URL中前的部分。代码如上。3.存储信息我们要将信息先存储在csv文件里而csv文件中的字段要根据网页中的相关信息来写如上图。1初始化csv文件2填充信息4.补充路由参数路由参数就是第二张图片之后的内容从Network换到Source按如图路径可以看到sign参数的生成方式这个东西是用来反爬的我们等会要依据这个来生成sign参。我们在spiderPublic.py的类中先准备一下要用到的固定参数和公共函数。在文件夹中新建spiderSheet.py文件用来完成爬取和存储歌单信息。如图导入相关包并定义歌单类型列表。点击运行结果如下如图我们成功将爬取到的歌单信息保存到了CSV文件中