国产名模a∨精品视频,国产成人福利免费视频,国产精品人妻久久毛片高清无卡

關(guān)于Scrapy爬蟲項目運行和調(diào)試的小技巧（上篇）

2019-05-07 10:18

掃除運行Scrapy爬蟲程序的bug之后，現(xiàn)在便可以開始進(jìn)行編寫爬蟲邏輯了。在正式開始爬蟲編寫之前，在這里介紹四種小技巧，可以方便我們操縱和調(diào)試爬蟲。

一、建立main．py文件，直接在Pycharm下進(jìn)行調(diào)試

很多時候我們在使用Scrapy爬蟲框架的時候，如果想運行Scrapy爬蟲項目的話，一般都會想著去命令行中直接執(zhí)行命令“scrapy crawl crawler＿name”，其中crawler＿name指的是爬蟲的名字，在一開始創(chuàng)建Scrapy爬蟲模板的時候就指定了的，而且在該爬蟲項目中具有唯一性。但是每次跑到命令行下去執(zhí)行，看交互的結(jié)果，有時候并不是很清晰，所以這里介紹一種方法，可以幫助大家提高開發(fā)效率，尤其是調(diào)試的時候更是顯得方便。

在與爬蟲項目的scrapy．cfg文件同級目錄下建立一個main．py文件，用于控制整個爬蟲項目的執(zhí)行。

在該文件夾中寫入的代碼見下圖。其中execute函數(shù)是內(nèi)嵌在scrapy中的，調(diào)用這個函數(shù)可以直接調(diào)用該Scrapy工程項目的爬蟲腳本，這個函數(shù)的執(zhí)行需要在爬蟲項目的父目錄下進(jìn)行。而第7行代碼的意思就是獲取當(dāng)前py文件的父目錄，省去我們直接復(fù)制路徑的精力和時間，同時也方便我們將該項目放到其他的平臺上去運行，不會報路徑的錯誤。execute函數(shù)里邊的參數(shù)其實就是將Scrapy爬蟲執(zhí)行命令拆分，然后分別以一個字符的方式放到了一個數(shù)組中。