导入导出开发规范

作者:霍钧城 于 2020年06月03日 发布在分类/ 项目规范

导出规范

1、 业务组导出功能,随着数据量增加,导出时可能衍生大量对象集合导致业务服务OOMSTW,针对以上情况提供导出规范:

a)   大数据量导出(>1w):迁移到报表中心,进行SQL分页(1w),SHEET分页(50w)。

b)   导出数据量少,相同用户只允许导出一次,导出完成后,才允许第二次导出(分布式锁)。

c)   未迁移报表中心导出,需要业务组负责人和产品负责人签字。




导入规范

1、 业务组导入功能,随着数据量增加,导入时可能衍生大量对象集合导致业务服务OOMSTW,针对以上情况提供不同开发规范:

a)   大数据导入(大于1000),增加任务中心进行内部控制,相同用户只允许导入一次,导入任务结束后,才允许用户进行下次导入。导入数据进行分片处理,导入任务使用MQ异步处理。

 b)    导入数据量少,相同用户只允许导入一次,导入完成后,才允许第二次导入(分布式锁)。

 c)    未使用任务中心内部控制,需要业务组负责人和产品负责人签字。




备注:

后续导入导出迁移使用任务调度,目前正在研发中



分享到朋友圈 分享到微信
发表评论
验证码