damngoto

几百万条更新频率很低的数据用什么低(零)成本的存储方便查询?

  •  
  •   damngoto · Jul 26, 2022 · 12306 views
    This topic created in 1571 days ago, the information mentioned may be changed or developed.

    放到数据库虽然查询快,但是成本对我来说高了:)

    放到 csv 里面费内存,serverless 服务的还不太好调用。

    Apache 有个 parquet 格式,不知道这个量级查询速度怎么样。

    9 replies  •  2022-07-26 19:05:39 +08:00
    pota
    pota
    Jul 26, 2022
    1
    数据少的话放到 cloudflare workers kv 里面?
    gfreezy
    gfreezy
    Jul 26, 2022❤️1
    2
    sqlite 可以吗
    EchoUtopia
    EchoUtopia
    Jul 26, 2022
    3
    之前看过一个很强很便宜方案:用 sqlite 存储分片数据,把 sqlite 数据库文件存储到对象存储里面去(非常便宜),然后使用 serverless 去查询分片数据,最后再聚合一次
    damngoto
    damngoto
    OP
    Jul 26, 2022
    4
    @pota workers kv 支持多少数据
    pota
    pota
    Jul 26, 2022❤️1
    5
    @damngoto #4 空间 1GB
    damngoto
    damngoto
    OP
    Jul 26, 2022
    6
    @EchoUtopia 嗯,我想到的也是类似。主要担心查询速度和同时服务用户数,😁
    damngoto
    damngoto
    OP
    Jul 26, 2022
    7
    @pota 哇,那应该够了。我去了解下。
    gesse
    gesse
    Jul 26, 2022
    8
    @EchoUtopia
    有地址可以看吗?
    EchoUtopia
    EchoUtopia
    Jul 26, 2022
    9
    @gesse
    @damngoto
    忘了,好像聚合是利用 postgres 聚合的,性能非常好,关键价格便宜。并发就不知道了。当时是在 twitter 刷到的,好像是发布在 hackernews 上的。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1012 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 22:53 · PVG 06:53 · LAX 14:53 · JFK 17:53
    ♥ Do have faith in what you're doing.