scrapy中添加快捷运行项目命令,不需要cmd窗口了

问题描述：

本人用的代码编辑器是sublime，每次调整一下代码运行爬虫都需要从代码编辑器里切换到cmd窗口，去运行scrapy命令，着实觉得太麻烦了。

解决办法：

在scrapy中，为了避免每一次运行或调试都输入一串命令，可以在项目文件下新建一个run.py文件，每次运行爬虫只需要运行此脚本即可。且运行调试模式也需要设置此启动脚本。

from scrapy import cmdline
cmdline.execute('scrapy crawl duke'.split())

若嫌弃scrapy日志文件太杂乱,想无日志输出,只需在后面增加--nolog即可: 

from scrapy import cmdline
cmdline.execute('scrapy crawl duke --nolog'.split())

以上代码只需要将我的''duke''替换为你自己的爬虫名就可以了。

另外你还可以直接在每个Python文件里添加__main__方法

比如在文件末尾添加：

if __name__ == '__main__':
    from scrapy import cmdline
    cmdline.execute('scrapy crawl duke'.split())

然后只要执行ctrl+b就可以运行scrapy命令了。

用起来特别的爽啊...

如果有引入items文件且报items模块找不到的话，可以在项目目录下，建一个run.php来运行

比如看我上图的文件路径

run.py

from scrapy import cmdline
cmdline.execute('scrapy crawl chem'.split())

然后执行run.py文件就行