本文和大家分享的主要是python爬蟲的Selenium使用相關(guān)內(nèi)容，一起來看看吧，希望對大家學習python爬蟲有所幫助。

　　簡介：

　　用pyhon爬取動態(tài)頁面時普通的urllib2無法實現(xiàn)，例如下面的京東首頁，隨著滾動條的下拉會加載新的內(nèi)容，而urllib2就無法抓取這些內(nèi)容，此時就需要今天的主角selenium。

Selenium是一個用于Web應(yīng)用程序測試的工具。Selenium測試直接運行在瀏覽器中，就像真正的用戶在操作一樣。支持的瀏覽器包括IE、Mozilla Firefox、Mozilla Suite等。使用它爬取頁面也十分方便，只需要按照訪問步驟模擬人在操作就可以了，完全不用操心Cookie,Session的處理，它甚至可以幫助你輸入賬戶，密碼，然后點擊登陸按鈕，對于上面的滾動條，你只需要讓瀏覽器滾到到最低端，然后保存頁面就可以了。以上的這些功能在應(yīng)對一些反爬蟲機制時十分有用。接下來就開始我們的講解正文，帶領(lǐng)大家實現(xiàn)一個需要登錄的動態(tài)網(wǎng)頁的爬取。

　　案例實現(xiàn)：

　　使用selnium需要選擇一個調(diào)用的瀏覽器并下載好對應(yīng)的驅(qū)動，在桌面版可以選擇Chrome,FireFox等，服務(wù)器端可以使用PhantomJS，桌面版可以直接調(diào)出來瀏覽器觀察到變化，所以一般我們可以在桌面版用Chrome等調(diào)試好之后，將瀏覽器改為PhantomJS然后上傳到服務(wù)器使其運行，這里我們直接以PhantomJS做演示.

　　首先時導入模塊：

1 from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

2 from selenium import webdriver

　　接下來時初始化一個瀏覽器，參數(shù)中可以指定加載網(wǎng)頁的一些屬性：

1 cap = webdriver.DesiredCapabilities.PHANTOMJS

2 cap["phantomjs.page.settings.resourceTimeout"] = 180

3 cap["phantomjs.page.settings.loadImages"] = False

4

5 driver = webdriver.PhantomJS(executable_path="/home/gaorong/phantomjs-2.1.1-linux-x86_64/bin/phantomjs", desired_capabilities=cap)

　　上面初始了PhantomJS并設(shè)置了瀏覽器的路徑，加載屬性選擇了資源加載超時時間和不加載圖片（我們只關(guān)心網(wǎng)頁文本）。在 這里 還可以選擇其他設(shè)置。

　　設(shè)置一些屬性，并下載一個網(wǎng)頁

1 driver.set_page_load_timeout(180)

2 driver.get('https://otx.alienvault.com/accounts/login/')

3 time.sleep(5)

4 driver.save_screenshot('./login.png') #為便于調(diào)試，保存網(wǎng)頁的截圖

　　由于在服務(wù)器端運行難免出錯，可以用save_screenshot保存當前網(wǎng)頁的頁面便于調(diào)試。

　　接下來就是輸入賬戶和密碼登陸，以獲取網(wǎng)站的Cookies，便于后面請求。

　　1 #輸入username和password

　　2 driver.find_element_by_xpath("/html/body/div[1]/div[1]/login/div[2]/div/form/input[1]").send_keys('*****')

　　3 time.sleep(1)

　　4 print 'input user success!!!'

　　5

　　6 driver.find_element_by_xpath("/html/body/div[1]/div[1]/login/div[2]/div/form/input[2]").send_keys('****')

　　7 time.sleep(1)

　　8 print 'input password success!!!'

9

10 driver.find_element_by_xpath("/html/body/div[1]/div[1]/login/div[2]/div/form/button").click()

11 time.sleep(5)

　　上面代碼使用find_element_by_xpath獲取輸入框的位置后輸入賬戶和密碼并點擊登陸鍵，可以看到一些都很方便。它會自動跳轉(zhuǎn)到下一個頁面，我們只需要sleep幾秒等待它。

　　我們需要爬取的網(wǎng)頁信息在某個特定的element里，所以我們需要判斷一下這個element是否出現(xiàn)：

　　1 try:

　　2 element = WebDriverWait(driver, 10).until(

　　3 EC.presence_of_element_located((By.CLASS_NAME, 'pulses'))

　　4 )

　　5 print 'find element!!!'

　　6 except:

　　7 print 'not find element!!!'

　　8 print traceback.format_exc()

　　9 driver.quit()

　　上面判斷 class為 'pulse' 這個element是否出現(xiàn)，如果等待10s后還未出現(xiàn)，則selenum會爆出TimeoutError錯誤。

　　上面就進行了基本的初始化，然后就需要處理動態(tài)的內(nèi)容了，這個網(wǎng)頁像京東一樣會隨著下拉自動出現(xiàn)內(nèi)容，所以我們需要實現(xiàn)下拉滾動條：

　　1 print 'begin scroll to get info page...'2 t1 = time.time()3 n = 60 #這里可以控制網(wǎng)頁滾動距離4 for i in range(1,n+1):5 s = "window.scrollTo(0,document.body.scrollHeight/{0}*{1});".format(n,i)6 #輸出滾動位置，網(wǎng)頁大小，和時間7 print s, len(driver.page_source),time.time()-t18 driver.execute_script(s)9 time.sleep(2)

　　其中driver.page_source就是獲取網(wǎng)頁文本。當滾動完畢后我們就可以調(diào)用它然后寫到一個文件里。這樣就完成了這個的程序邏輯。

　　高級：

　　用selenim可以應(yīng)對常見的反爬蟲策略，因為相當于一個人在瀏覽網(wǎng)頁，但是對于驗證碼這些還需要做額外的處理，還有一點就是訪問速度不能過快，畢竟他需要調(diào)用一個瀏覽器，如果嫌他速度慢的話我們可以在必要的時候使用他，非必要時候可以使用requests庫進行操作。

來源：博客園