读取csv文件 import csv with open('test.csv', 'r', encoding='utf-8')as f: # reader是一个迭代器 reader = csv....
import pymysql conn = pymysql.connect(host='localhost', user='root', password='huyu1680456489', p...
最近在学习的项目中需要支付宝的付款功能，其中付款后的return_url无法在本地环境中重现，尽管看到有教程说改system中的hosts文件就可以了，但实际操作总是无法成功，刚好有台服务器就试...
# Request对象在我们写爬虫，爬取一页的数据需要重新发送一个请求的时候调用。这个需要传递一些参数，其中比较常见的参数有： # Request中的meta是比如在列表页中，我获取了标题和作者...
1.urllib库 from urllib import request from urllib import parse from http.cookiejar import CookieJa...
二分查找顾名思义就是，查一半，符合就接着查，不符合就丢弃。 def search(data, item): low = 0 # 最小的索引 hight = len(data) - 1 # dat...
序列化：数据类型转为字符串 反序列化：字符串转为数据类型 1.json import json # json dumps序列化 # json loads反序列化 # 数字，字符串，列表，字典，[...
爬虫的工作流程是： 1.spider.py：用户编写提取网页字段的解析函数，这里会产生request，可以理解为链接 2.经过middleware，到达引擎，发送到scheduler入队，经过引...