Python爬蟲的Urllib庫的高級用法詳解

本文和大家分享的主要是python爬蟲的Urllib庫的高級用法相關內(nèi)容，一起來看看吧，希望對大家學習python有所幫助。

　　1.分分鐘扒一個網(wǎng)頁下來

　　怎樣扒網(wǎng)頁呢？其實就是根據(jù)URL來獲取它的網(wǎng)頁信息，雖然我們在瀏覽器中看到的是一幅幅優(yōu)美的畫面，但是其實是由瀏覽器解釋才呈現(xiàn)出來的，實質它 是一段HTML代碼，加 JS、CSS，如果把網(wǎng)頁比作一個人，那么HTML便是他的骨架，JS便是他的肌肉，CSS便是它的衣服。所以最重要的部分是存在于HTML中的，下面我 們就寫個例子來扒一個網(wǎng)頁下來。

　　import urllib2

　　response = urllib2.urlopen("http://www.baidu.com";)print response.read()

　　是的你沒看錯，真正的程序就兩行，把它保存成 demo.py，進入該文件的目錄，執(zhí)行如下命令查看運行結果，感受一下。

　　python demo.py

看，這個網(wǎng)頁的已經(jīng)被我們扒下來了，是不是很酸爽？

　　2.分析扒網(wǎng)頁的方法

　　那么我們來分析這兩行代碼，第一行

　　response = urllib2.urlopen("http://www.baidu.com";)

　　首先我們調用的是urllib2庫里面的urlopen方法，傳入一個URL，這個網(wǎng)址是百度首頁，協(xié)議是HTTP協(xié)議，當然你也可以把HTTP換做FTP,FILE,HTTPS 等等，只是代表了一種協(xié)議，urlopen一般接受三個參數(shù)，它的參數(shù)如下：

　　urlopen(url, data, timeout)

　　第一個參數(shù)url即為URL，第二個參數(shù)data是訪問URL時要傳送的數(shù)據(jù)，第三個timeout是設置超時時間。

　　第二三個參數(shù)是可以不傳送的，data默認為空None，timeout默認為 socket._GLOBAL_DEFAULT_TIMEOUT

　　第一個參數(shù)URL是必須要傳送的，在這個例子里面我們傳送了百度的URL，執(zhí)行urlopen方法之后，返回一個response對象，返回信息便保存在這里面。

　　print response.read()

　　response對象有一個read方法，可以返回獲取到的網(wǎng)頁內(nèi)容。

　　如果不加read直接打印會是什么？答案如下：

　　<addinfourl at 139728495260376 whose fp =>

　　直接打印出了該對象的描述，所以記得一定要加read方法，否則它不出來內(nèi)容可就不怪我咯！

　　3.構造Requset

　　其實上面的urlopen參數(shù)可以傳入一個request請求,它其實就是一個Request類的實例，構造時需要傳入Url,Data等等的內(nèi)容。比如上面的兩行代碼，我們可以這么改寫

　　import urllib2

　　request = urllib2.Request("http://www.baidu.com";)response = urllib2.urlopen(request)

　　print response.read()

　　運行結果是完全一樣的，只不過中間多了一個request對象，推薦大家這么寫，因為在構建請求時還需要加入好多內(nèi)容，通過構建一個request，服務器響應請求得到應答，這樣顯得邏輯上清晰明確。

　　4.POST和GET數(shù)據(jù)傳送

　　上面的程序演示了最基本的網(wǎng)頁抓取，不過，現(xiàn)在大多數(shù)網(wǎng)站都是動態(tài)網(wǎng)頁，需要你動態(tài)地傳遞參數(shù)給它，它做出對應的響應。所以，在訪問時，我們需要傳遞數(shù)據(jù)給它。最常見的情況是什么？對了，就是登錄注冊的時候呀。

　　把數(shù)據(jù)用戶名和密碼傳送到一個URL，然后你得到服務器處理之后的響應，這個該怎么辦？下面讓我來為小伙伴們揭曉吧！

　　數(shù)據(jù)傳送分為POST和GET兩種方式，兩種方式有什么區(qū)別呢？

　　最重要的區(qū)別是GET方式是直接以鏈接形式訪問，鏈接中包含了所有的參數(shù)，當然如果包含了密碼的話是一種不安全的選擇，不過你可以直觀地看到自己提交了什么內(nèi)容。POST則不會在網(wǎng)址上顯示所有的參數(shù)，不過如果你想直接查看提交了什么就不太方便了，大家可以酌情選擇。

　　POST方式：

　　上面我們說了data參數(shù)是干嘛的？對了，它就是用在這里的，我們傳送的數(shù)據(jù)就是這個參數(shù)data，下面一下POST方式。

import urllib

import urllib2

values = {"username":"1016903103@qq.com","password":"XXXX"}

data = urllib.urlencode(values)

url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn";

request = urllib2.Request(url,data)

response = urllib2.urlopen(request)

print response.read()

　　我們引入了urllib庫，現(xiàn)在我們模擬登陸CSDN，當然上述代碼可能登陸不進去，因為還要做一些設置頭部header的工作，或者還有一些參數(shù) 沒有設置全，還沒有提及到在此就不寫上去了，在此只是說明登錄的原理。我們需要定義一個字典，名字為values，參數(shù)我設置了username和 password，下面利用urllib的urlencode方法將字典編碼，命名為data，構建request時傳入兩個參數(shù)，url和data，運 行程序，即可實現(xiàn)登陸，返回的便是登陸后呈現(xiàn)的頁面內(nèi)容。當然你可以自己搭建一個來測試一下。

　　注意上面字典的定義方式還有一種，下面的寫法是等價的

import urllib

import urllib2

values = {}

values['username'] = "1016903103@qq.com"

values['password'] = "XXXX"

data = urllib.urlencode(values)

url = "http://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn";

request = urllib2.Request(url,data)

response = urllib2.urlopen(request)

print response.read()

　　以上方法便實現(xiàn)了POST方式的傳送

　　GET方式：

　　至于GET方式我們可以直接把參數(shù)寫到網(wǎng)址上面，直接構建一個帶參數(shù)的URL出來即可。

import urllib

import urllib2

values={}

values['username'] = "1016903103@qq.com"

values['password']="XXXX"

data = urllib.urlencode(values)

url = "http://passport.csdn.net/account/login";

geturl = url + "?"+data

request = urllib2.Request(geturl)

response = urllib2.urlopen(request)

print response.read()

　　你可以print geturl，打印輸出一下url，發(fā)現(xiàn)其實就是原來的url加？然后加編碼后的參數(shù)

　　http://passport.csdn.net/account/login?username=1016903103%40qq.com&password=XXXX

　　和我們平常GET訪問方式一模一樣，這樣就實現(xiàn)了數(shù)據(jù)的GET方式傳送。

　　1.設置Headers

　　有些網(wǎng)站不會同意程序直接用上面的方式進行訪問，如果識別有問題，那么站點根本不會響應，所以為了完全模擬瀏覽器的工作，我們需要設置一些Headers 的屬性。

　　首先，打開我們的瀏覽器，調試瀏覽器F12，我用的是Chrome，打開網(wǎng)絡監(jiān)聽，示意如下，比如知乎，點登錄之后，我們會發(fā)現(xiàn)登陸之后界面都變化 了，出現(xiàn)一個新的界面，實質上這個頁面包含了許許多多的內(nèi)容，這些內(nèi)容也不是一次性就加載完成的，實質上是執(zhí)行了好多次請求，一般是首先請求HTML文 件，然后加載JS，CSS 等等，經(jīng)過多次請求之后，網(wǎng)頁的骨架和肌肉全了，整個網(wǎng)頁的效果也就出來了。

拆分這些請求，我們只看一第一個請求，你可以看到，有個Request URL，還有headers，下面便是response，圖片顯示得不全，小伙伴們可以親身實驗一下。那么這個頭中包含了許許多多是信息，有文件編碼啦，壓縮方式啦，請求的agent啦等等。

　　其中，agent就是請求的身份，如果沒有寫入請求身份，那么服務器不一定會響應，所以可以在headers中設置agent,例如下面的例子，這個例子只是說明了怎樣設置的headers，小伙伴們看一下設置格式就好。

　　import urllib  import urllib2

　　url = 'http://www.server.com/login'

　　user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'

　　values = {'username' : 'cqc',  'password' : 'XXXX' }

　　headers = { 'User-Agent' : user_agent }

　　data = urllib.urlencode(values)

　　request = urllib2.Request(url, data, headers)

　　response = urllib2.urlopen(request)

　　page = response.read()

　　這樣，我們設置了一個headers，在構建request時傳入，在請求時，就加入了headers傳送，服務器若識別了是瀏覽器發(fā)來的請求，就會得到響應。

　　另外，我們還有 對付”反盜鏈” 的方式，對付防盜鏈，服務器會識別headers中的referer是不是它自己，如果不是，有的服務器不會響應，所以我們還可以在headers中加入referer

　　例如我們可以構建下面的headers

　　headers = { 'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'  ,

　　'Referer':'http://www.zhihu.com/articles' }

　　同上面的方法，在傳送請求時把ers傳入Request參數(shù)里，這樣就能應付防盜鏈了。

　　另外headers的一些屬性，下面的需要特別注意一下：

　　User-Agent : 有些服務器或 Proxy 會通過該值來判斷是否是瀏覽器發(fā)出的請求

　　Content-Type : 在使用 REST 接口時，服務器會檢查該值，用來確定 HTTP Body 中的內(nèi)容該怎樣解析。

　　application/ ： 在 XML RPC，如 RESTful/SOAP 調用時使用

　　application/json ： 在 JSON RPC 調用時使用

　　application/x-www-form-urlencoded ： 瀏覽器提交 Web 表單時使用

　　在使用服務器提供的 RESTful 或 SOAP 服務時， Content-Type 設置錯誤會導致服務器拒絕服務

　　其他的有必要的可以審查瀏覽器的headers內(nèi)容，在構建時寫入同樣的數(shù)據(jù)即可。

　　2. Proxy（代理）的設置

　　urllib2 默認會使用 http_proxy 來設置 HTTP Proxy。假如一個網(wǎng)站它會某一段時間某個IP 的訪問次數(shù)，如果訪問次數(shù)過多，它會禁止你的訪問。所以你可以設置一些來幫助你做工作，每隔一段時間換一個代理，網(wǎng)站君都不知道是誰在搗鬼了，這酸爽！

　　下面一段代碼說明了的設置用法

　　import urllib2

　　enable_proxy = True

　　proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})

　　null_proxy_handler = urllib2.ProxyHandler({})if enable_proxy:

　　opener = urllib2.build_opener(proxy_handler)

　　else:

　　opener = urllib2.build_opener(null_proxy_handler)

　　urllib2.install_opener(opener)

　　3.Timeout 設置

　　上一節(jié)已經(jīng)說過urlopen方法了，第三個參數(shù)就是timeout的設置，可以設置等待多久超時，為了解決一些網(wǎng)站實在響應過慢而造成的影響。

　　例如下面的代碼,如果第二個參數(shù)為空那么要特別指定是timeout是多少，寫明形參，如果data已經(jīng)傳入，則不必。

　　import urllib2

　　response = urllib2.urlopen('http://www.baidu.com', timeout=10)

　　import urllib2response = urllib2.urlopen('http://www.baidu.com',data, 10)

　　4.使用 HTTP 的 PUT 和 DELETE 方法

　　http協(xié)議有六種請求方法，get,,put,delete,post,options，我們有時候需要用到PUT方式或者DELETE方式請求。

　　PUT：這個方法比較少見。HTML表單也不支持這個。本質上來講， PUT和POST極為相似，都是向服務器發(fā)送數(shù)據(jù)，但它們之間有一個重要區(qū)別，PUT通常指定了資源的存放位置，而POST則沒有，POST的數(shù)據(jù)存放位置由服務器自己決定。

　　DELETE：刪除某一個資源?；旧线@個也很少見，不過還是有一些地方比如amazon的S3云服務里面就用的這個方法來刪除資源。

　　如果要使用 HTTP PUT 和 DELETE ，只能使用比較低層的 httplib 庫。雖然如此，我們還是能通過下面的方式，使 urllib2 能夠發(fā)出 PUT 或DELETE 的請求，不過用的次數(shù)的確是少，在這里提一下。

　　import urllib2request = urllib2.Request(uri, data=data)request.get_method = lambda: 'PUT' # or 'DELETE'response = urllib2.urlopen(request)

　　5.使用DebugLog

　　可以通過下面的方法把 Debug Log 打開，這樣收發(fā)包的內(nèi)容就會在屏幕上打印出來，方便調試，這個也不太常用，僅提一下

　　import urllib2

　　httpHandler = urllib2.HTTPHandler(debuglevel=1)

　　httpsHandler = urllib2.HTTPSHandler(debuglevel=1)

　　opener = urllib2.build_opener(httpHandler, httpsHandler)

　　urllib2.install_opener(opener)

　　response = urllib2.urlopen('http://www.baidu.com')

 

 

來源：博客園