推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
chendajun
V2EX  ›  Python

weixin.sogou.com 抓取微信公众号的文章,已经加了代理,还是很快就封掉。请问有好的办法吗?

  •  
  •   chendajun · Nov 25, 2016 · 4462 views
    This topic created in 3486 days ago, the information mentioned may be changed or developed.
    9 replies    2016-12-01 15:13:49 +08:00
    Biny
        1
    Biny  
       Nov 25, 2016
    代理池大一点,采集的程序分布在多台机器上面跑,采集的频率降低,慢慢采
    iannil
        2
    iannil  
       Nov 25, 2016
    搜狗抓公众号信息,文章去微信抓。我抓过上亿条,没有问题的。
    chendajun
        3
    chendajun  
    OP
       Nov 25, 2016
    @iannil “搜狗抓公众号信息”指的是在搜狗上抓公众号的功能介绍,微信认证这些信息吗? “文章去微信抓”具体能说说怎么抓吗?谢了!
    stone1342006
        4
    stone1342006  
       Nov 25, 2016
    同在搜狗抓微信公众号文章, 加代理没有被封 。 可能如同 @Biny 说的,代理的 ip 多一点就没可以了
    chendajun
        5
    chendajun  
    OP
       Nov 25, 2016
    @Biny
    @stone1342006
    代理不稳定啊,付费的也是经常掉。
    zhaoyue199508
        6
    zhaoyue199508  
       Nov 25, 2016
    @chendajun 花点钱上动态 vps
    Biny
        7
    Biny  
       Nov 25, 2016
    @chendajun 可以购买国外的 vps ,一般最少都带有 2 个以上的 IP ,一般 512m 内存的 VPS 国外的也就 30-40 块人民币
    tkisme
        8
    tkisme  
       Nov 26, 2016
    偷偷说一句,用电话拨号上网 ip 是不断变化的,那就意味着。。。
    yanzixuan
        9
    yanzixuan  
       Dec 1, 2016
    @iannil 弱问如何在微信里抓。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2989 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 04:37 · PVG 12:37 · LAX 21:37 · JFK 00:37
    ♥ Do have faith in what you're doing.