upgrade v1.2210.0 to v2.2211.0

[ColdWaterLW]

升级流程

升级说明

1. 请务必保证所有工单全部结束再执行此脚本, 此脚本会将默认流程模板'default'改名为'default-WorkflowTemplate'并删除其他所有流程模板,如果没有默认流程模板则会创建默认审核模板
2. 脚本会将当前除流程模板外的所有实体(工单, 扫描任务, 实例, 白名单,规则模板等)全部加入到默认项目中, 其中以'default_'开头的规则模板将被当作全局规则模板
3. 新增 dev, dba 两个角色, 角色权限同新装SQLE自带的 dev, dba 两个角色, 如果存在同名角色则不再创建
4. 如果在执行升级流程前已经启动过新版SQLE, 可以不进行修改库表结构这一步, SQLE会自动修改库表结构
5. 升级后需使用新版 scanner 代替旧版 scanner,旧版scanner将无法在工作, 新版scanner会随着升级rpm包一同安装

一. 前置检查

1. 确认所有工单均全部结束

即工单状态全部为 上线成功, 上线失败, 已关闭 三个状态之一

二. 停止旧版SQLE

略

三. 备份数据

1. 在命令行中执行如下命令

此命令会在当前目录下生成sqle-bak.sql文件, 此文件即为备份文件

执行命令

mysqldump -u{MySQL用户名} -p{MySQL密码} {SQLE数据库名} >./sqle-bak.sql

执行效果

四. 元数据升级

1. 准备升级脚本

将下方压缩包拷贝到SQLE数据库所在机器上并解压, 内含三个文件(ddl.sql, dml.sql, clean.sql)

解压命令

tar zxvf upgrade-sqle-2211-sql.tar.gz

压缩包
upgrade-sqle-2211-sql.tar.gz

压缩包MD5
upgrade-sqle-2211-sql.tar.gz.md5.txt

执行效果

2. 执行 ddl.sql

如果在执行升级流程前已经启动过新版SQLE, 需要跳过这一步

执行命令

mysql -u{mysql用户名} -p{mysql用户密码} -D{SQLE数据库名} --default-character-set=utf8mb4 <./upgrade-sqle-2211-sql/ddl.sql

执行效果

3. 执行 dml.sql

执行命令

mysql -u{mysql用户名} -p{mysql用户密码} -D{SQLE数据库名} --default-character-set=utf8mb4 <./upgrade-sqle-2211-sql/dml.sql

执行效果

五. 升级并启动新版SQLE

#433

六. 替换scannerd

• scannerd和之前用法一致, 增加了 -J 参数用于指定项目, 需要将所有正在运行的scannerd 全部替换为新版scannerd, 并在原启动命令基础上增加 -J default 参数, 这个参数表示指定default项目(升级会将旧的扫描任务全部转移到default项目中)

• 新版 scannerd 还支持自定义超时时间, 可按需配置, 详见帮助文档 ./scannerd -h
  

七. 数据检查

社区版可能会少一些界面, 忽略那些检查即可

检查项

1. 项目管理界面有 default 这个项目
   

2. default 项目中工单界面内容和之前一致
   

3. default 项目中智能扫描列表和之前数据一致
   

4. 智能扫描详情和之前一致(SQL池, 审核记录, 审核记录详情)
   
   

5. default 项目中数据源列表和之前一致, 实例详情和之前一致
   
   

6. default 项目中可以看到所有用户和用户组, 且角色绑定关系和之前一致, 如果之前角色没有绑定实例, 则在此处不会显示绑定关系
   

7. default 项目中可以看到所有非 default_ 开头的规则模板, 且数据源绑定关系和之前一致
   

8. default 项目的规则模板改名为 default-WorkflowTemplate, 如果之前默认流程模板(default)没删的话流程应当和之前的默认模板一致
   

9. default 项目的白名单内容应当和之前一致
   

10. 全局用户管理处应当可以看到之前的所有用户, 且用户组绑定关系正确
    

11. 全局用户组管理处应当可以看到之前的所有用户组, 且用户绑定关系正确
    

12. 全局角色页面应当可以看到之前所有的角色, 且多了 dba, dev 两个角色(如果之前不存在这两个角色)
    

13. 全局规则模板处应当可以看到之前所有以 default_ 开头的规则模板, 且内容和绑定的数据源与之前一致
    

14. 规则页面可以看到规则说明(数据库类型MySQL)
    

15. 检查scanner正确升级

• 进入sqle主程序所在目录
  
• 执行 ./scannerd -h, 输出的帮助信息中应当有 -T 参数
  

八. 清理垃圾(可选)

执行命令

mysql -u{mysql用户名} -p{mysql用户密码} -D{SQLE数据库名} --default-character-set=utf8mb4 <./upgrade-sqle-2211-sql/clean.sql

执行效果

升级内容

进入SQLE表

流程模板

1. 如果默认模板已经被删除则创建默认模板
2. 如果默认模板存在则将默认模板名改为新版SQLE的默认模板名
3. 删除默认模板外的所有模板

项目

1. 创建项目表
2. 创建默认项目, 绑定默认流程模板

扫描任务

1. 修改表结构
2. 将所有扫描任务全部绑定到默认项目

SQL工作台

1. 清除所有缓存(使用SQL工作台时会自动重建缓存)

白名单

1. 修改表结构
2. 将所有白名单全部绑定到默认项目

工单

1. 修改表结构
2. 将所有工单全部绑定到默认项目

规则(#1021 和 #1124)

1. 清除规则缓存(规则模板和规则的绑定方式为 模板ID - 规则名, 直接清理所有规则等待SQLE启动时自动创建即可)
2. rule_template_rule表修改 ddl_check_sub_query_depth 为 dml_check_sub_query_depth

成员(不包含角色绑定关系)

1. 创建成员表
2. 将所有用户全部添加到成员表中
3. 创建管理员表
4. 将admin设为管理员

成员组(不包含角色绑定关系)

1. 创建成员组表
2. 将所有成员组添加到成员组表中

实例(不包含角色绑定关系)

1. 修改表结构
2. 将所有实例全部绑定到默认项目

全局权限(如创建项目权限)

1. 创建表

角色及绑定关系

1. 创建成员角色表
2. 根据旧关系填充成员角色绑定数据
3. 创建成员组角色表
4. 根据旧关系填充成员组角色绑定数据
5. 创建 dev 角色和对应权限
6. 创建 dba 角色和对应权限

清理垃圾(默认被注释, 保留旧数据以防万一)

1. 删除 instance_role 表
2. 删除 user_group_role 表
3. 删除 user_role 表