使用 Scrapy 爬取图片时，是直接使用 pipeline 下载好？还是保存 URL 用其它专门工具下载好？

This topic created in 3181 days ago, the information mentioned may be changed or developed.

如题，似乎 Scrapy 在下载时仍然是单线程的？如果用 aria2 等下载工具则可以是多线程的，所以速度能够更快一些？

2 replies • 2017-09-21 22:03:18 +08:00

954880786

Sep 21, 2017 via iPhone

你 scrapy 开多个线程每个都在下图片和用多个线程下一个图片一样的吧

golmic

Sep 21, 2017 via Android

同意楼上