我记得是可以自己写中间件进行额外的处理的，要在 settings.py 里的 ITEM_PIPELINES 添加你定义好的处理方法，还要在 spider 的入口处定义你的处理方法，下面的项目是我去年写的，代码比较垃圾，凑合看吧

http://git.oschina.net/zanpen2000/gov_website_crawler_checker

@superkey 对啊，一套服务对应多个产品，这样的例子太多了

@wowpanda 头三年无论是上班在公司，还是下班在家，都在学习，设计模式，代码大全， Android ， Nodejs ， Python ，当然公司主要使用.net ，多学其他语言是为了触类旁通吧，每个学完了之后都做个练手的项目，其实我说多少都没有用，重要的是保持兴趣，当然，要舍得寂寞和付出，有时候早上 3 点醒了就开始看书敲代码，白天就咖啡顶着，中午睡一会，晚上回家继续，我感觉我技术不厉害，就是感觉自己有兴趣，有了兴趣，什么都有了，不用别人说

我 30 以前做软件维护，回家后，在一家软件公司从零开始学开发，现在的技术已经被公司认可，多看书，多付出，努力，会有回报的。

@Felldeadbird 我的情况正好和你相反
我能说那些科班出身的程序员很少用 git 吗？
复杂分支判断不用表查询只用 switch 和 ifelse ，说是不好维护，天啦噜！一个方法 1000 行代码你认为好维护吗？
当面跟我说不喜欢用各种架构如 MVVM ，我说你现在用的不就是 mvc 吗？

我是野生的，但是情况刚好和你所说的相反，所以你说的情况我真的不能苟同，公司的科班程序员很多时候真的让我无语，你说的拼音做表名的情况，现在我们的项目就是那个本科程序员用拼音做的表名。

所以，你看，程序员其实是分两种的，但不是野生之分，而是节操之分，有节操的程序员，真的是需要职业精神和操守的，无论是野生还是原生，只要保持热情，谦卑的学习精神，就算是个好程序员

我说的，你同意吗？

中间件去重，也就是边爬边去

@chinuno 请教自动签到的思路？

写个备份程序并打包的工具

当代雷锋啊，你俩关系正常吧？