ossimport最新版是使用范围比较广泛的数据迁移软件,ossimport最新版可以帮助使用者把本地和云存储的数据迁移到OSS中,支持断点续传、单机模式、指定文件等,用户可以将ossimport部署在本地服务器或云上ECS实例内,轻松将您本地或其它云存储的数据迁移到OSS。ossimport官方版提供单机模式和分布式模式两种部署方式,满足不同用户的配置需求。
软件特色
支持丰富的数据源,包括本地、七牛、百度BOS、AWS S3、Azure Blob、又拍云、腾讯云COS、金山KS3、HTTP、OSS等,并可根据需要扩展。
支持单机模式和分布式模式。单机模式部署简单使用方便,分布式模式适合大规模数据迁移。
支持断点续传。
支持流量控制。
支持迁移指定时间以后的文件、特定前缀的文件。
支持并行数据下载和上传。
运行环境
ossimport最新版可以部署在Linux或Windows系统上,要求如下:
Windows7及以上版本
Linux系统最新版本
Java 1.7及以上版本
注意 分布式部署暂时不支持Windows系统。
注意事项
ossimport有单机模式和分布式模式两种部署方式。
单机模式:当您需要迁移的数据小于30TB时,推荐部署单机模式。您可以将ossimport部署在任意一台可以访问您待迁移数据,且可以访问OSS的机器上。
分布式模式:当您需要迁移的数据大于30TB时,推荐使用分布式模式。您可以将ossimport部署在任意多台可以访问您待迁移数据,且可以访问OSS的机器上。
使用说明
迁移方案
具体步骤如下:
全量迁移T1前的历史数据。
记录迁移开始时间T1(注意为Unix时间戳,即自1970年1月1日UTC零点以来的秒数,通过命令date +%s获取)。
迁移指导说明参考OssImport官网文档,请参考迁移工具-分布式。
打开OSS镜像回源,并将读写切换到OSS,迁移源不再新增数据。
步骤1迁移完成后,在OSS控制台打开OSS镜像回源功能,回源地址为迁移源(第三方存储)。
在业务系统读写切换到OSS,假设业务系统修改好的时间为T2。
此时T1前的数据从OSS读取,T1后的数据,OSS利用镜像回源从第三方服务读取,而新数据完全写入OSS。
快速迁移T1~T2到数据。
在步骤2完成后,第三方存储不会再新增数据,数据读写已切到OSS。
修改配置文件job.cfg的配置项importSince=T1,新发起迁移job,迁移T1~T2数据。
步骤3完成后,即完成迁移全过程。
步骤3完成后,您业务的所有的读写都在OSS上,第三方存储只是一份历史数据,您可以根据需要决定保留或删除。
OssImport负责数据的迁移和校验,不会删除任何数据。