首页 http://blog.ciytan.com/
里面的一篇文章 http://mtpdhpgc.ciytan.com/
仔细看了下，文章都是文不对题的，这是不是传说中的垃圾站？
一篇文章一个域名，他是人工完成的么？
里面的一篇文章 http://mtpdhpgc.ciytan.com/
仔细看了下，文章都是文不对题的，这是不是传说中的垃圾站？
一篇文章一个域名，他是人工完成的么？
This topic created in 4504 days ago, the information mentioned may be changed or developed.
 |
1
ETiV Feb 6, 2014 via iPhone
泛域名解析
|
 |
2
binux Feb 6, 2014
爬虫的大部分规则是根据域名做的，通过泛域可以绕过这些规则
|
 |
3
dingyaguang117 Feb 6, 2014
@binux 他这样的让爬虫认为是不同的site，好处是？
|
 |
4
loading Feb 6, 2014  1
为了避免ciytan.com被判垃圾站
|
|
5
binux Feb 6, 2014 1
@dingyaguang117 比如首页提权，比如单站点收录上限，比如站点抓取配额。不过，对应也会有对应的泛域挖掘策略就是了。
|
 |
6
miniwade514 OP 1
|
 |
7
msg7086 Feb 8, 2014
@miniwade514 不是重定向。就是简单的URL美化。只不过一般是只重塑URI，而这里是重塑二级域名
|
Select Language