Python語言中Scrapy 命令是非常重要的一個(gè)命令，今天和大家分享的就是Scrapy 命令的相關(guān)用法。Scrapy 命令分為兩種： 全局命令和項(xiàng)目命令，具體的用法，一起來看看吧 。

　　全局命令：在哪里都能使用。

　　項(xiàng)目命令：必須在爬蟲項(xiàng)目里面才能使用。

　　全局命令

　　C:\\Users\\AOBO>scrapy -h

　　Scrapy 1.2.1 - no active project

　　Usage:

　　scrapy[options] [args]

　　Available commands:

　　bench Run quick benchmark test

　　commands

　　fetch Fetch a URL using the Scrapy downloader

　　genspider Generate new spider using pre-defined templates

　　runspider Run a self-contained spider (without creating a project)

　　settings Get settings values

　　shell Interactive scraping console

　　startproject Create new project

　　version Print Scrapy version

　　view Open URL in browser, as seen by Scrapy

　　[ more ] More commands available when run from project directory

　　Use "scrapy-h" to see more info about a command

　?。?nbsp;startproject ：創(chuàng)建一個(gè)爬蟲項(xiàng)目： scrapy startproject demo （ demo 創(chuàng)建的爬蟲項(xiàng)目的名字）

　　． runspider 運(yùn)用單獨(dú)一個(gè)爬蟲文件： scrapy runspider abc.py

　?。?nbsp;veiw 下載一個(gè)網(wǎng)頁的源代碼，并在默認(rèn)的文本編輯器中打開這個(gè)源代碼： scrapy view http://www.aobossir.com/

　　． shell 進(jìn)入交互終端，用于爬蟲的調(diào)試（如果你不調(diào)試，那么就不常用）： scrapy shell http://www.baidu.com --nolog （ --nolog 不顯示日志信息）

　?。?nbsp;version 查看版本：（ scrapy version ）

　?。?nbsp;bench 測試本地硬件性能（工作原理：）： scrapy bench （如果遇到問題：解決問題: import win32api ImportError: DLL load failed ，到這里查看解決辦法。）

　　項(xiàng)目命令

　?。ㄟM(jìn)入項(xiàng)目路徑，才能看到項(xiàng)目命令）

　　D:\\BaiduYunDownload\\first>scrapy -h

　　Scrapy 1.2.1 - project: first

　　Usage:

　　scrapy[options] [args]

　　Available commands:

　　bench Run quick benchmark test

　　check Check spider contracts

　　commands

　　crawl Run a spider

　　edit Edit spider

　　fetch Fetch a URL using the Scrapy downloader

　　genspider Generate new spider using pre-defined templates

　　list List available spiders

　　parse Parse URL (using its spider) and print the results

　　runspider Run a self-contained spider (without creating a project)

　　settings Get settings values

　　shell Interactive scraping console

　　startproject Create new project

　　version Print Scrapy version

　　view Open URL in browser, as seen by Scrapy

　　Use "scrapy-h" to see more info about a command

　　D:\\BaiduYunDownload\\first>

　?。?nbsp;genspider 創(chuàng)建一個(gè)爬蟲文件，我們在爬蟲項(xiàng)目里面才能創(chuàng)建爬蟲文件（這個(gè)命令用的非常多）（ startproject ：創(chuàng)建一個(gè)爬蟲項(xiàng)目）。創(chuàng)建爬蟲文件是按照以下模板來創(chuàng)建的，使用 scrapy genspider -l 命令查看有哪些模板。

　　D:\\BaiduYunDownload\\first>scrapy genspider -l

　　Available templates:

　　basic

　　crawl

　　csvfeed

　　xmlfeed

　　D:\\BaiduYunDownload\\first>

　　basic 基礎(chǔ) crawl 自動爬蟲 csvfeed 用來處理csv文件 xmlfeed 用來處理xml文件

　　按照 basic 模板創(chuàng)建一個(gè)名為 f1 的爬蟲文件： scrapy genspider -t basic f1，創(chuàng)建了一個(gè) f1.py 文件。

　?。甤heck測試爬蟲文件、或者說：檢測一個(gè)爬蟲，如果結(jié)果是：OK，那么說明結(jié)果沒有問題。： scrapy check f1

　　．crawl運(yùn)行一個(gè)爬蟲文件。： scrapy crawl f1 或者 scrapy crawl f1 --nolog

　?。甽ist列出當(dāng)前爬蟲項(xiàng)目下所有的爬蟲文件： scrapy list

　?。甧dit使用編輯器打開爬蟲文件 （Windows上似乎有問題，Linux上沒有問題）： scrapy edit f1

 

來源：AoboSir