Biegral Blog

仅作练习：1、Python网页抓取2、Python正则表达式应用直接上代码：# coding: utf-8import sysimport urllibimport urllib2import reimport requests# reload(sys)# sys.setdefaultencoding("utf-8")# 基金代码fundIds = ['000051 …… 阅读全文

# coding: utf-8import sysimport osimport timereload(sys)sys.setdefaultencoding("GBK")# shutdown computer after time_diff secondsdef shutdown(seconds): print str(seconds) + u' 秒后将会关机...' …… 阅读全文

前言之前我们用了 urllib 库，这个作为入门的工具还是不错的，对了解一些爬虫的基本理念，掌握爬虫爬取的流程有所帮助。入门之后，我们就需要学习一些更加高级的内容和工具来方便我们的爬取。那么这一节来简单介绍一下 requests 库的基本用法。注：Python 版本依然基于 2.7官方文档以下内容大多来自于官方文档，本文进行了一些修改和总结。要了解更多可以参考 …… 阅读全文

上一节我们介绍了正则表达式，它的内容其实还是蛮多的，如果一个正则匹配稍有差池，那可能程序就处在永久的循环之中，而且有的小伙伴们也对写正则表达式的写法用得不熟练，没关系，我们还有一个更强大的工具，叫Beautiful Soup，有了它我们可以很方便地提取出HTML或XML标签中的内容，实在是方便，这一节就让我们一起来感受一下Beautiful Soup的强大吧。1. Beautiful So …… 阅读全文

http://www.lfd.uci.edu/~gohlke/pythonlibs/找到相应的库，解压后把bs4目录复制到Python安装目录下的lib目录下。参考：http://cuiqingcai.com/1319.html#coding:utf-8from bs4 import BeautifulSouphtml = ...soup = BeautifulSoup …… 阅读全文

下载：https://pypi.python.org/pypi/selenium#downloads浏览器驱动：https://sites.google.com/a/chromium.org/chromedriver/downloadshttp://chromedriver.storage.googleapis.com/index.html?path=2.21/ …… 阅读全文

selenium用以制作自动化测试工具还是非常不错的，这里演示一个打开谷歌浏览器并输入一个关键词，最后提交搜索的示例脚本。安装selenium见《Python库selenium的安装与使用》。# coding:utf-8import starfrom selenium import webdriverfrom selenium.webdriver.c …… 阅读全文

1、安装pipinstallpyspiderWindows下安装需要注意的问题：http://docs.pyspider.org/en/latest/Frequently-Asked-Questions/2、启动pyspider all3、后台配置http://localhost:5000/点击cr …… 阅读全文