词条信息

admin
超级管理员
版本创建者 发短消息   
简易百科旧版 >> Python爬虫环境常用库及安装 >> 历史版本

最新历史版本 :Python爬虫环境常用库及安装 返回词条




1:urllib urllib.request

这两个库是python自带的库,不需要重新安装,在python中输入如下代码:

import urllib
import urllib.request
response=urllib.request.urlopen("http://www.baidu.com")
print(response)


返回结果为HTTPResponse的对象:

<http.client.HTTPResponse object at 0x000001929C7525F8>


2:正则表达式模块


import re

该库为python自带的库,直接运行不报错,证明该库正确安装。


3:request库的安装

安装命令:pip install requests

验证该库是否安装成功,运行如下代码:


import requests
response=requests.get("http://www.baidu.com")
print(response)


4:selenium库的安装

由于如果需要使用selenium的话,需要为本机配置对应浏览器的驱动,下面以chomedriver为例,首先安装chromedriver,chromedriver与支持对应的chrome版本如下:

chromedriver版本 支持的Chrome版本

v2.33 v60-62

v2.32 v59-61

v2.31 v58-60

v2.30 v58-60

v2.29 v56-58

v2.28 v55-57

v2.27 v54-56

v2.26 v53-55

v2.25 v53-55

v2.24 v52-54

v2.23 v51-53

v2.22 v49-52

v2.21 v46-50

v2.20 v43-48

v2.19 v43-47

v2.18 v43-46

v2.17 v42-43

v2.13 v42-45

v2.15 v40-43

v2.14 v39-42

v2.13 v38-41

v2.12 v36-40

v2.11 v36-40

v2.10 v33-36

v2.9 v31-34

v2.8 v30-33

v2.7 v30-33

v2.6 v29-32

v2.5 v29-32

v2.4 v29-32

如何查看本机的chrome的版本,具体方法如下:



chromedriver的下载地址如下:

http://chromedriver.storage.googleapis.com/index.html

chromedriver解压后放到Python或者其他配置了环境变量的目录下。

测试代码及运行结果如下:



安装plantomjs

下载地址为:http://phantomjs.org/download.html

下载完成后,解压文件夹,将文件夹中phantomjs.exe的拷贝到Python或者其他配置了环境变量的目录下,或单独为其配置环境变量,测试代码及运行结果如下:



5: 安装LXML


6:安装beautifulsoup


7:安装pyquery


8:安装pymysql


9:安装pymongo


10:安装redis


11:安装flask


12:安装django