sql自动化检查和分析工具 之soar和soar-web 安装和使用体验

# prepare dir and install
mkdir -p /opt/soft/soar && mkdir -p /opt/install/soar/{log,conf}
wget -o /opt/soft/soar/soar -c https://github.com/xiaomi/soar/releases/download/0.11.0/soar.linux-amd64

# install server
mv /opt/soft/soar/soar /opt/install/soar
 
# 目录介绍：
# 配置文件为yaml格式。一般情况下只需要配置online-dsn, test-dsn, log-output等少数几个参数。即使不创建配置文件soar仍然会给出基本的启发式建议。
# 默认文件会按照/etc/soar.yaml, ./etc/soar.yaml, ./soar.yaml顺序加载，
# 找到第一个后不再继续加载后面的配置文件。如需指定其他配置文件可以通过-config参数指定。
# 关于数据库权限online-dsn需要相应库表的select权限，test-dsn需要root最高权限。
 
# 修改默认配置参数，如下
# 参考
# # 1. 修改soar.conf的基本参数
root >> cat > /opt/install/soar/conf/soar.yaml << eof
# 线上环境配置
online-dsn:
 addr: cnt7xmysqld01:13306
 schema: sakila
 user: root
 password: 1t'sb1g3rt
 disable: false
# 测试环境配置
test-dsn:
 addr: cnt7xmysqld01:13307
 schema: test
 user: root
 password: 1t'sb1g3rt
 disable: false
# 是否允许测试环境与线上环境配置相同
allow-online-as-test: true
# 是否清理测试时产生的临时文件
drop-test-temporary: true
# 语法检查小工具
only-syntax-check: false
sampling-statistic-target: 100
sampling: false
# 日志级别，[0:emergency, 1:alert, 2:critical, 3:error, 4:warning, 5:notice, 6:informational, 7:debug]
log-level: 7
log-output: ${soar_log_dir}/soar.log
# 优化建议输出格式
report-type: markdown
ignore-rules:
- ""
# 黑名单中的 sql 将不会给评审意见。一行一条 sql，可以是正则也可以是指纹，填写指纹时注意问号需要加反斜线转义。
blacklist: ${soar_conf_dir}/soar.blacklist
# 启发式算法相关配置
max-join-table-count: 5
max-group-by-cols-count: 5
max-distinct-count: 5
max-index-cols-count: 5
max-total-rows: 9999999
spaghetti-query-length: 2048
allow-drop-index: false
# explain相关配置
explain-sql-report-type: pretty
explain-type: extended
explain-format: traditional
explain-warn-select-type:
- ""
explain-warn-access-type:
- all
explain-max-keys: 3
explain-min-keys: 0
explain-max-rows: 10000
explain-warn-extra:
- ""
explain-max-filtered: 100
explain-warn-scalability:
- o(n)
query: ""
list-heuristic-rules: false
list-test-sqls: false
verbose: true
root >> eof
 step 3: 准备环境变量

# env parameter and path
echo '' >> /etc/profile && \
echo 'soar_home=/opt/install/soar' >> /etc/profile && \
echo 'soar_conf_dir=$soar_home/conf' >> /etc/profile && \
echo 'soar_log_dir=$soar_home/log' >> /etc/profile && \
echo 'path=$path:$soar_home' >> /etc/profile && \
source /etc/profile
 step 4: 文件赋予权限

chmod -r 777 $soar_home/soar
 step 5: 检查soar全局配置生效

# 查看版本
soar -version
 
# 打印所有的启发式规则
soar -list-heuristic-rules
 
# 打印支持的报告格式
soar -list-report-types

# 1.1 安装python3 和 python3-pip 和 gcc (gcc在源代码安装pycryptodome等python组件时候需要)
yum install -y python36 python36-pip gcc
 
# 检查python3安装结果
python -v
# 检查pip已经安装的python组件
python3 -m pip list
# 卸载pip组件
# python3 -m pip uninstall "packagename"
 
# 1.2 flask (必须先安装python3)
# 安装教程：http://www.51sjk.com/Upload/Articles/1/0/247/247474_20210623000505692.html
# yum install -y flask
python3 -m pip install flask
 
 
# 1.3 安装 pymysql (必须先安装python3)
# 安装教程：http://www.51sjk.com/Upload/Articles/1/0/247/247474_20210623000505786.jpg
# 安装教程：http://www.51sjk.com/Upload/Articles/1/0/247/247474_20210623000505973.jpg
python3 -m pip install pymysql
 
 
# 1.4 安装 pycryptodome (必须先安装python3)
python3 -m pip install pycryptodome
# 如果pip下载速度慢，可以用如下命令
#### 或 安装方式2，如下
python3 -m pip install /opt/soft/soar/pycryptodome-3.9.6.tar.gz
#### 或 安装方式3，如下
# 格式 = python3 -m pip install https://pypi.tuna.tsinghua.edu.cn/simple/simple/{包名}
# 格式 = python3 -m pip install https://pypi.doubanio.com/simple/{包名}
python3 -m pip install https://pypi.tuna.tsinghua.edu.cn/simple/pycryptodome-3.9.6.tar.gz

# 2.1 下载soar-web的源代码
wget -o /opt/soft/soar/soar-web-master.zip -c http://www.51sjk.com/Upload/Articles/1/0/247/247474_20210623000507082.jpg
yum install -y unzip
unzip /opt/soft/soar/soar-web-master.zip -d /opt/soft/soar/
 
# 2.2 安装soar-web
mkdir -p /opt/install/soar-web && \
mv /opt/soft/soar/soar-web-master/* /opt/install/soar-web
# 运行soar-web
chmod -r 777 /opt/install/soar-web/run.sh
bash /opt/install/soar-web/run.sh
 
# 2.3 或者如下方法启动soar-web
cd /opt/install/soar-web/
python3 ./soar-web.py install