分布式爬虫是要共享一个 URL 池的么？
多台服务器的话，可以分布在全世界么？比如各地都买 vps
目前一般用什么语言写分布式爬虫？ PHP 能行么（一直都用 php 爬的，但都是小爬虫）？谢谢
有没有一个综合性的思路，谢谢
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 3156 days ago, the information mentioned may be changed or developed.
 |
1
yrj Oct 21, 2017 via iPad
参考 pyspider
|
 |
2
t1518968889 Oct 21, 2017 via Android
puppeteer
|
 |
3
xielemon Oct 21, 2017
scrapy-redis
|
 |
4
hcnhcn012 Oct 22, 2017 via iPhone
scrapy-redis +1
|
 |
5
SlipStupig Oct 23, 2017
scrapy+etcd
|
 |
6
rainnus Oct 23, 2017
scrapy-redis + 2
|
Select Language