huangya
V2EX  ›  问与答

接近 1.8T 的含有大量小文件的数据备份方案

  •  
  •   huangya · Jan 10, 2023 · 1692 views
    This topic created in 1245 days ago, the information mentioned may be changed or developed.
    现在有个 2T 盘,接近有 1.8T 的数据,里面有大量小文件。现在想备份到一个 4T 的盘上去。因为是小文件,所以我倾向于直接使用 dd 命令克隆整个分区到 4T 。后续可能要使用工具或者命令增大这个分区。因为克隆上去,可能分区信息是 2T 盘的信息.将来使用 rsync 同步后面 2T 盘的数据变化。 但问题是现在 4T 的盘上也有接近1.5T 的数据。现在只能先把这 4T 盘里面的 1.5T 数据搬运到别处吗?等备份完 2T 盘里面的数据再搬回来吗?
    6 replies    2023-01-11 07:26:40 +08:00
    ZRS
        1
    ZRS  
       Jan 10, 2023 via iPhone
    用 zfs send / recv
    novolunt
        2
    novolunt  
       Jan 10, 2023   ❤️ 1
    小文件要用谷歌的 cdc-rsync 服务去同步,比 rsync 快很多
    https://github.com/google/cdc-file-transfer

    如果不在乎速度,还打算备份成一个压缩包,可以使用
    zstd -14 -T4 -r /opt -o a.zst
    如果是远程备份
    slave=1.1.1.1 #做好免密登陆
    zstd -14 -T0 -r /opt -c | ssh $slave "cat > pkg_file. tgz "
    57L49t45Jo9IJvge
        3
    57L49t45Jo9IJvge  
       Jan 10, 2023
    这点数据 rsync 足以
    kokutou
        4
    kokutou  
       Jan 10, 2023 via Android
    4t 分区缩小,搞个 2t 的出来再 dd 。。。

    不过有的分区格式缩小就炸了。。。
    huangya
        5
    huangya  
    OP
       Jan 10, 2023
    @novolunt cdc-rsync 只支持 windows to linux. 我现在是 linux to linux. 或者 linux 本地 copy 也行(也就是把这款 4T 硬盘和 2T 硬盘连在同一台机器上)
    Showfom
        6
    Showfom  
    PRO
       Jan 11, 2023
    @youzi0516 #3 rsync 1.5T 小文件,如果是机械硬盘的话,没个一两天基本搞不定
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1012 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 19:18 · PVG 03:18 · LAX 12:18 · JFK 15:18
    ♥ Do have faith in what you're doing.