pyspider创建淘女郎图片爬虫任务-源码解析
源码：#!/usr/bin/env python# -*- encoding: utf-8 -*-# Created on 2016-03-29 10:59:36# Project: taonvlangfrom pyspider.libs.base_handler import *DIR_PATH = 'E:/taonvlang'class Handler(BaseHandl …… 阅读全文
Python 全部文章
pyspider创建淘女郎图片爬虫任务-运行流程解析
单步运行运行该任务，第一步爬取多页：每个页面里面抓取10个淘女郎主页链接：对每个淘女郎主页详情页面爬取图片链接：图片全部下载在E:\taonvlang\目录下按淘女郎名称创建文件夹保存。 …… 阅读全文
pyspider总结
框架本身的好处：步骤划分清晰，每步只要把每步的代码写好、调试好，能降低爬虫任务的复杂度和繁琐度。可以有效利用中间结果分别调试其中的任何一个步骤，不用回溯整条任务链。框架不足之处：1、证书问题2、登录问题爬的多的时候如何对抗反爬虫机制，例如淘女郎爬虫任务，爬多了会提示重新登录，明明谷歌浏览器已经登录状态，但是爬虫任务却不能直接使用浏览器的缓存数据，差评。 …… 阅读全文
Python打印函数用时的两种方法--类的构造析构函数与函数装饰器
在安卓审计项目里，我们使用python脚本来对APK进行扫描检测，为了统计每一步操作的耗时情况编写了一个简单的类，并通过下面的方式使用：#coding:utf-8import timeclass TimeRecorder: def __init__(self, name): print(name + u"开始") self.name = name …… 阅读全文
获取句子迷的经典语录[Python版本]
#coding:utf-8import starfrom bs4 import BeautifulSoupimport win32clipboard, win32condef getJuzi(urlroot): nexturl = urlroot ipage = 0 result = '' while True: ipage = ipag …… 阅读全文
Python编码UNICODE GBK UTF-8字符集转换的正确姿势
规范脚本文件编码 由于需要经常性使用到中文字符，因此Python脚本新建后，请在头部添加代码：# coding: utf-8或者为pycharm设置代码模版，这样每次新建Python文件时会自动带上以上代码。如果不添加，即使字符串以u开头，也是编译不通过的。UNICODE脚本中的字符最好使用UNICODE编码（英文可以不需要，但是中文尽量使用），因为UNICODE编码是比较好的“中间”字符集 …… 阅读全文