酷狗音乐搜索爬虫解析

最近在仿写某项目时,打算加入一些新的功能,需要用到通过歌曲名称来搜索歌曲信息的功能(数据可靠性无法保证),这些在各大音乐厂商那有现成的,调研了几大厂家后,决定使用酷狗,恭喜酷狗 酷狗音乐的搜索功...

网络爬虫 2021-09-28 1753

某图片网站sign生成-第二版

我的内心很崩溃,代码又变了,所以这就是我为什么已经不干爬虫的原因。 我自己的小程序需要下载4K图片,本来小程序就是做的玩的,因此不想下载所有的图片,毕竟1个图片就好几M。这才几天啊,生成sign...

网络爬虫 2021-01-13 1203

某应图片sign生成

写过后,发现挺简单的,虽然看起来做了混淆,但其实和没做没啥区别。另外,通过搜索就可以发现签名函数的位置。 这里使用node js的方式来解决md5和encrypt的引入问题,尽管使用python...

网络爬虫 2020-12-31 1131

python爬虫blibli-华农兄弟弹幕生成词云

这里只贴下代码,简单介绍下 看看下方代码最底部的注释,这是比较重要的几个链接,当然最重要的是弹幕的链接,只需要访问某个视频详情页,打开浏览器调试,刷新页面就可以看到,但是只能看到1000+的弹幕...

网络爬虫 2019-12-28 1330

58同城字体破解

58同城的其中一个反爬措施是字体反爬,如下图: 在租房详情页里面的大部分数字信息都设置了不同的字体。 1.解析出网页的字体文件 在网页中查找@font-face的部分,如下图: 使用以下代码将字...

网络爬虫 2019-01-10 6388

爬虫使用cookie

1.urllib库 from urllib import request from urllib import parse from http.cookiejar import CookieJa...

网络爬虫 2018-12-18 2678

BeautifulSoup中find,find_all,select的使用

BeautifulSoup是python的一个数据处理的库,通常搭配requests来实现数据的采集。功能强大,除了有点慢(相对于lxml等),是处理静态数据的不二选择。 以下通过解释一个简单的...

网络爬虫 2018-09-13 1365