发布一个查询服务

This topic created in 5287 days ago, the information mentioned may be changed or developed.

之前看了有人做的查询服务和朋友讨论后觉得应该不是grep模式的，而是X到数据库做name和email的索引，所以行为上可能导致搜索出来的账号不全，做了一个新的，特别简陋
http://one.xiaom.co/csdn/cmgs

最后的那个就是id，跑在自己写的AE上，晚上回去把文本丢到node1做个balance，所以现在只有单北京节点可以访问，速度上虽然是全文grep，丢内存用grep，欢迎查询。

grep

查询

node1

18 replies • 1970-01-01 08:00:00 +08:00

Air_Mu

Dec 22, 2011

楼主写个表单嘛。。。

CMGS

Dec 22, 2011 via iPhone

好嘞…晚上回去做个界面…

avatasia

Dec 22, 2011

@CMGS 速度好快，目前并发多少啊？

Eyon

Dec 22, 2011

lz，我要基于密码查询的...................

alsotang

Dec 22, 2011

不懂这是在干吗。。。一进去就只有一个表单而已。。

CMGS

Dec 22, 2011

@avatasia 内存grep，没测试并发，512M的VPS，不会太弱
@Eyon 可以基于密码查询，正则都支持╮(╯_╰)╭
@alsotang 因为。。还没时间做页面

prtitrz

Dec 22, 2011

@alsotang http://one.xiaom.co/csdn/**** ****是你要查询的字符串

prtitrz

Dec 22, 2011

@Eyon lz用的是全文grep，csdn是明文存放密码。。so。。。

CMGS

Dec 22, 2011

@prtitrz 正解，虽然用了mask，但grep的时候可不mask。。
我先解决坑爹的Gevent和Subprocess问题。。得换subprocess。。

Eyon

Dec 22, 2011

@prtitrz 在我用密码查询的时候，可以把用户名给我省略几位

因为我密码基本固定，但用户名不固定.......

yuhuofeihe

Dec 22, 2011

@prtitrz 额不小心点到了你这个地址……
然后……
网页就不断的刷出来～

CMGS

Dec 22, 2011

@yuhuofeihe
因为是正则。。。so。。。把匹配的600多w全render出来了= =

richiefans

Dec 22, 2011

速度不错啊具体实现机制的代码能share么，对这种大数据查询还真的不知道有什么好方法

CMGS

Dec 22, 2011

代码不是问题……这货的关键在于1.系统grep，2.内存mount到一个路径，文件丢这里面……完全以空间换时间，其实这份代码是有问题的。在于Gevent-subprocess比较脑残没readline，用迭代器会比较疼……

CMGS

Dec 23, 2011

@richiefans
搞定了，http://one.xiaom.co/csdn/
基于gunicorn+gevent
subprocess是用的gevent-subprocess，没有readline……让人很忧桑……
这种类型文件做索引存数据库没啥必要，因为就算这样你要索引的是用户名和Email，反查密码而已……
而且，那样就无法正则grep了，SQL的正则也是全扫描，so~

我的做法是丢内存，mount一个内存分区丢进去……popen启动系统grep（不可能写得比这个imba的- -）然后……就是现在看到的啦，Copy了之前@colorday的皮肤……叫一个写App Engine的货写前端……还是杀了我吧T.T

所以这个服务就这样了，懒得管，现在双节点应该都上线了东京/北京……欢迎测试……特点就是，咱们不入数据库，同样高效……但是是正则哟~

feilaoda

Dec 23, 2011

这个强，忘记用户名，忘记密码，只记得密码可能的关键字，不过还是被找回来了。
不错，密码就这样被泄漏了。

arzon

Dec 23, 2011

HTTP/1.1 500 Internal Server Error

CMGS

Dec 23, 2011

唉？我看看- -重启服务了……擦的这个……是2号节点内存不够用了嗯……