由于单个文件夹下文件几万,直接读取路径感觉很慢,想把文件转移到kodbox上用数据库标记文件路径的方式。
1.1TB数据,15W个文件哪种方式能快速稳定的迁移至kodbox架构。(Winserver环境)

①服务器内部使用客户端直接上传(这样会被webserver切片,实测很慢)
②先压缩好再使用服务器上的客户端上传再在线解压(个人感觉这样很繁琐)
③直接使用kodbox复制功能复制网络挂载中的文件夹

唉,实测下来使用内部的复制功能文件已经被copy到files目录下,但是数据库没有记录数据路径,前端找不到文件。
最尴尬的是kodbox不能清理数据库中没有记录到的数据,导致存储路径很大。
快出一个数据目录清理功能吧。求求

    finethankyou 推荐的方法是

    1. 通过rsync 或其他同步工具,同步数据到网盘服务器根目录;
    2. 网盘管理员在网页登录,从服务器根目录剪切文件到 企业网盘或部门目录。

      finethankyou 从网盘的拷贝的文件,是都会记录到数据库的,不建议通过其他方式操作物理路径的文件。
      清除脏数据的接口如下,可以在网页访问(会清理实际不存在的数据库记录、数据库没记录的物理文件;在F12刷新文档页面可以找到CSRF_TOKEN参数值)
      http://server/?admin/repair/autoReset&done=1&CSRF_TOKEN=xxx

        dragonfly 我是通过网盘内部挂载盘下面复制的(因为源数据和网盘服务端是同一台服务器,但是网盘根目录和源数据不在同一卷)。实测下来数据是过来了,但是数据库确实没记录到。
        我现在试试先拷贝到网盘根目录试试。

        dragonfly 执行done=1参数后再执行done=2,数据库不存在记录的物理文件依然没有被清理掉 :(