成人电影一级片,久久一级高潮a免费

當(dāng)前位置： OFweek 人工智能網(wǎng) > 其他 > 正文

關(guān)于Scrapy爬蟲項(xiàng)目運(yùn)行和調(diào)試的小技巧（上篇）

2019-05-07 10:18

Python進(jìn)階學(xué)習(xí)交流

關(guān)注

掃除運(yùn)行Scrapy爬蟲程序的bug之后，現(xiàn)在便可以開始進(jìn)行編寫爬蟲邏輯了。在正式開始爬蟲編寫之前，在這里介紹四種小技巧，可以方便我們操縱和調(diào)試爬蟲。

一、建立main．py文件，直接在Pycharm下進(jìn)行調(diào)試

很多時(shí)候我們?cè)谑褂肧crapy爬蟲框架的時(shí)候，如果想運(yùn)行Scrapy爬蟲項(xiàng)目的話，一般都會(huì)想著去命令行中直接執(zhí)行命令“scrapy crawl crawler＿name”，其中crawler＿name指的是爬蟲的名字，在一開始創(chuàng)建Scrapy爬蟲模板的時(shí)候就指定了的，而且在該爬蟲項(xiàng)目中具有唯一性。但是每次跑到命令行下去執(zhí)行，看交互的結(jié)果，有時(shí)候并不是很清晰，所以這里介紹一種方法，可以幫助大家提高開發(fā)效率，尤其是調(diào)試的時(shí)候更是顯得方便。

在與爬蟲項(xiàng)目的scrapy．cfg文件同級(jí)目錄下建立一個(gè)main．py文件，用于控制整個(gè)爬蟲項(xiàng)目的執(zhí)行。

在該文件夾中寫入的代碼見下圖。其中execute函數(shù)是內(nèi)嵌在scrapy中的，調(diào)用這個(gè)函數(shù)可以直接調(diào)用該Scrapy工程項(xiàng)目的爬蟲腳本，這個(gè)函數(shù)的執(zhí)行需要在爬蟲項(xiàng)目的父目錄下進(jìn)行。而第7行代碼的意思就是獲取當(dāng)前py文件的父目錄，省去我們直接復(fù)制路徑的精力和時(shí)間，同時(shí)也方便我們將該項(xiàng)目放到其他的平臺(tái)上去運(yùn)行，不會(huì)報(bào)路徑的錯(cuò)誤。execute函數(shù)里邊的參數(shù)其實(shí)就是將Scrapy爬蟲執(zhí)行命令拆分，然后分別以一個(gè)字符的方式放到了一個(gè)數(shù)組中。