mactaew
V2EX  ›  问与答

面临大量文件迁移工作,烦请大家推荐工具软件

  •  
  •   mactaew · Sep 13, 2020 · 5188 views
    This topic created in 2101 days ago, the information mentioned may be changed or developed.

    随着工作年限增加,过去积累了很多工作文件,所以最近装了一台服务器跑 Esxi,让 Win10 (下称:vWin )和 NAS (下称:vNAS )系统运行在虚拟服务器上。

    计划如下:

    1. 将分散在本地的文件(大约有 2TB,存在大量几十 KB 的文稿或者表格一类的小文件)先全部拷贝到 vNAS 管理的数据盘上( RDM,容量为 3TB ),然后用 vWin 将这些散落的文件在统一的存储位置上按规则整理一遍;

    2. 完成整理后通过 vNAS 的同步工具将这些整理过后的文件同步全部到云端,作为归档库;

    3. 远期产生的结案工作,全部用统一的方式打包,然后传送到 vNAS 并自动同步到归档库中。

    那么,问题来了。

    在 “第 1 步” 会面临大量因为权限、报毒、文件损坏以及一些位置原因导致拷贝中止,但由于文件数量巨大,我自己都不知道那些文件拷贝失败了。

    所以希望向各位有经验的朋友们请教,是否有满足如下一项或者多项需求的工具软件可以推荐,收费或免费均可,for macOS 、for win 均可。

    感激不尽。

    主要需求:

    1. 有拷贝文件任务列表,拷贝出问题是跳过文件并保留错误记录;

    2. 支持拷贝到远程文件夹,例如 smb 、afp 、webdav 、ftp 等协议;

    3. 软件或系统异常关闭后,能保留再次恢复拷贝任务。

    以上,希望得到帮助,再次表示感激之情。

    推荐被采纳者,如有需要能力内愿意赠送 1 年 “世界很大,我想出去看看” 服务,以表感谢之情。

    29 replies    2020-09-13 22:08:55 +08:00
    MakeItGreat
        1
    MakeItGreat  
       Sep 13, 2020 via Android   ❤️ 1
    我最近搞了一下这个东西
    我把小文件先挪到 Vhd 里面
    然后挪 Vhd
    完美!
    ebony0319
        2
    ebony0319  
       Sep 13, 2020 via Android   ❤️ 1
    这种一般自己写一个程序就 ok 。如果不急我过两天旅游完回来后可以替你写。
    ybbswc
        3
    ybbswc  
       Sep 13, 2020   ❤️ 1
    直接 ghost 全盘备份?
    delectate
        4
    delectate  
       Sep 13, 2020   ❤️ 1
    freefilesync 即可。
    delectate
        5
    delectate  
       Sep 13, 2020
    2020 年话有人提 ghost ?不是坏就是蠢。
    Jirajine
        6
    Jirajine  
       Sep 13, 2020 via Android   ❤️ 1
    那就起个 linux live cd,linux 下不会报毒且无视 ntfs 权限,然后直接 rsync 拷走或者打个 tarball 。
    hakono
        7
    hakono  
       Sep 13, 2020 via Android
    所以每次有人问大量小文件怎么存储的时候,总有人说规划好目录直接塞硬盘分区里,性能没问题,是真的没有管理过大量小文件的经历
    直接塞分区里,存储和读写是没问题,但是一旦想要迁移或者备份的时候,大量小文件直接塞硬盘分区里的行为将是一场噩梦
    Nadao
        8
    Nadao  
       Sep 13, 2020   ❤️ 1
    关于没法 COPY 出来的文件,很简单,我一般就 MOVE 的方法。 剩下的就是没有复制的了。
    Mithril
        9
    Mithril  
       Sep 13, 2020   ❤️ 2
    有个老东西叫 richcopy,一直用它复制大量文件。
    zhcnxyz
        10
    zhcnxyz  
       Sep 13, 2020   ❤️ 1
    teracopy 是专门拷贝大量小文件的,轻量速度快
    IsA26hN4DcQDS7Z9
        11
    IsA26hN4DcQDS7Z9  
       Sep 13, 2020   ❤️ 1
    第一步在 pe 下操作即可
    mactaew
        12
    mactaew  
    OP
       Sep 13, 2020
    @delectate 可能是个人适用的场景不太一样啦,能解决问题都是办法嘛,哈哈哈
    ybbswc
        13
    ybbswc  
       Sep 13, 2020
    @delectate #5 我是蠢,您多精啊。
    mactaew
        14
    mactaew  
    OP
       Sep 13, 2020
    @hakono 是的,合理的存储规划和归档标准太重要了,毕业以来做过三个行业,所以各种类型的文件都有,整理起来贼痛苦。所以现在也是两条腿走路,新增数据全部遵循自己最新一版的文件管理规范存放,原有的数据逐步迁移整理,最后全部准备本地阵列+云冗余。
    mactaew
        15
    mactaew  
    OP
       Sep 13, 2020
    @ybbswc Ghost 一定是有 Ghost 的应用场景的,毕竟这个主题也没有很详尽的场景描述。
    mactaew
        16
    mactaew  
    OP
       Sep 13, 2020
    非常感谢推荐 FreeSyncFile,RichCopy,TeraCopy 的朋友,我试一试那一款更适合我的场景!先送上一份铜币感谢,感谢各位慷慨分享。
    Shook
        17
    Shook  
       Sep 13, 2020   ❤️ 1
    我一般就是在 PE 里直接整盘复制
    mingl0280
        19
    mingl0280  
       Sep 13, 2020 via Android
    rsync 或者 robocopy,全盘克隆用 clonezilla 。除了 robocopy 是 Windows 专用其他两个都支持 ssh/smb/ftp
    nobody123
        20
    nobody123  
       Sep 13, 2020
    FastCopy 可以满足你的要求。
    jin7
        21
    jin7  
       Sep 13, 2020
    beyond compare 比开源的好
    imn1
        22
    imn1  
       Sep 13, 2020
    跨设备,ftp,时间充裕、不需要高速并发的话,就同步工具无人看守挺好的
    如果只是 win10 跨硬盘,FastCopy,记得去官网下载最新版 3.9,2.x 版能用,但感觉慢
    wtks1
        23
    wtks1  
       Sep 13, 2020 via Android
    如果用 freesyncfile,可以捐赠一个最小金额,获取多线程的版本
    ccmingchao
        24
    ccmingchao  
       Sep 13, 2020 via Android
    零碎的小文件,不管是谁家都比较慢。如果是基于归档的话。把小文件打成 ISO,以后用起来会稍微方便一点。
    xJogger
        25
    xJogger  
       Sep 13, 2020 via Android
    可以试试 GoodSync,满足 1 和 2 。
    小文件多的话,可以在 gs 里设置并行拷贝,速度会快很多。
    gamexg
        26
    gamexg  
       Sep 13, 2020 via Android
    rsync
    可以用 rsync 拷贝,也可以拷贝完用 rsync 核对一次。
    jianghu52
        27
    jianghu52  
       Sep 13, 2020
    beyond compare 就算了.不用试了.那是个文件比较工具,对于这种迁移小文件的动作,支持的不是很好.而且也很慢.
    luvcrashbot
        28
    luvcrashbot  
       Sep 13, 2020
    我以前用的 FasCopy 来跨硬盘传输数据。印象中好像是不支持网络直接传输的?如果合适的话楼主倒是可以试试。
    oubfgiar
        29
    oubfgiar  
       Sep 13, 2020 via iPhone
    我用 fastcopy,可以把要复制的文件夹保存为文本列表,即使死机崩溃了也可以用列表恢复任务。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5359 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 84ms · UTC 09:23 · PVG 17:23 · LAX 02:23 · JFK 05:23
    ♥ Do have faith in what you're doing.