请问一下大家,scrapy 的报告中显示:received_count 69941, scraped_count 66392, 那中间的差异数 3000 多条是什么原因,
是不是一些网页上的杂七杂八的不重要的其他的数据,
还是真实的我要抓取的数据,但没有抓取到?但是我 scrapy 并没有报错呀。。
谢谢。。
另外,大家用 scrapy 采集写入 Mysql 的时候,都用 twisted 吗?
会不会是因为我没有使用 twisted 的原因,导致一些数据采集了,但来不及插入数据库?
是不是一些网页上的杂七杂八的不重要的其他的数据,
还是真实的我要抓取的数据,但没有抓取到?但是我 scrapy 并没有报错呀。。
谢谢。。
另外,大家用 scrapy 采集写入 Mysql 的时候,都用 twisted 吗?
会不会是因为我没有使用 twisted 的原因,导致一些数据采集了,但来不及插入数据库?