Ubuntu 安装: sudo apt-get install redis-server 卸载： sudo apt-get purge --auto-remove redis-server 启动...
1.必须保证虚拟机的ip与本机的ip处于同一个段，否者无法成功。 这里引出cent os下配置网络。详情看这篇 https://blog.csdn.net/zyq_2014/article/de...
import json # scrapy提供了多种导出item的方法，按crtl+b查看 from scrapy.exporters import JsonItemExporter from s...
crawlspider模板是scrapy提供的一个专用全站爬虫模板，根据url的规则来决定是否解析，十分强大。 1.LinkExtractors链接提取器： LinkExtractors类的参数...
写一个下载器中间件需要重写: process_request(self, request,spider)---这个方法是在请求发送前执行或者 process_response(self, req...
1.随机User-Agent设置 前言：设置User-Agent或者代理都需要使用scrapy的DownloaderMiddleware中的process_request方法。 process_...
读取csv文件 import csv with open('test.csv', 'r', encoding='utf-8')as f: # reader是一个迭代器 reader = csv....
import pymysql conn = pymysql.connect(host='localhost', user='root', password='huyu1680456489', p...
最近在学习的项目中需要支付宝的付款功能，其中付款后的return_url无法在本地环境中重现，尽管看到有教程说改system中的hosts文件就可以了，但实际操作总是无法成功，刚好有台服务器就试...
# Request对象在我们写爬虫，爬取一页的数据需要重新发送一个请求的时候调用。这个需要传递一些参数，其中比较常见的参数有： # Request中的meta是比如在列表页中，我获取了标题和作者...