读写csv文件

读取csv文件 import csv with open('test.csv', 'r', encoding='utf-8')as f: # reader是一个迭代器 reader = csv....

Python 2018-12-30 348

python操作mysql与mongodb

import pymysql conn = pymysql.connect(host='localhost', user='root', password='huyu1680456489', p...

Python 2018-12-29 321

pycharm调试远程服务器项目

最近在学习的项目中需要支付宝的付款功能,其中付款后的return_url无法在本地环境中重现,尽管看到有教程说改system中的hosts文件就可以了,但实际操作总是无法成功,刚好有台服务器就试...

易用工具 2018-12-26 386

Scrapy的Request与Response

# Request对象在我们写爬虫,爬取一页的数据需要重新发送一个请求的时候调用。这个需要传递一些参数,其中比较常见的参数有: # Request中的meta是比如在列表页中,我获取了标题和作者...

Scrapy框架 2018-12-22 406

爬虫使用cookie

1.urllib库 from urllib import request from urllib import parse from http.cookiejar import CookieJa...

网络爬虫 2018-12-18 381

常见算法

二分查找顾名思义就是,查一半,符合就接着查,不符合就丢弃。 def search(data, item): low = 0 # 最小的索引 hight = len(data) - 1 # dat...

Python 2018-12-17 358

序列化与反序列化

序列化:数据类型转为字符串 反序列化:字符串转为数据类型 1.json import json # json dumps序列化 # json loads反序列化 # 数字,字符串,列表,字典,[...

Python 2018-12-13 458

scrapy笔记

爬虫的工作流程是: 1.spider.py:用户编写提取网页字段的解析函数,这里会产生request,可以理解为链接 2.经过middleware,到达引擎,发送到scheduler入队,经过引...

Scrapy框架 2018-12-11 547