企业官网建设流程全解析

1. 日志

1.1 错误日志

• 错误日志是 MySQL 中最重要的日志之一，它记录了当 mysqld 启动和停止时，以及服务器在运行过程中发生任何严重错误时的相关信息。当数据库出现任何故障导致无法正常使用时，建议首先查看此日志。
• 该日志是默认开启的，默认存放目录/var/log/，默认的日志文件名为mysqld.log。查看日志位置：show variables like'%log_error%'

1.2 二进制日志

• 二进制日志（BINLOG）记录了所有的 DDL（数据定义语言）语句和 DML（数据操纵语言）语句，但不包括数据查询（SELECT、SHOW）语句。

• 作用：

  • 灾难时的数据恢复
  • MySQL的主从复制

• 在 MySQL8 版本中，默认二进制日志是开启着的，涉及到的参数如下：
  show variables like '%log_bin%'

• 1. 日志格式：

show variables like '%binlog_format%';

• 2. 日志查看：

由于日志是以二进制方式存储的，不能直接读取，需要通过二进制日志查询工具 mysqlbinlog 来查看，具体语法：

mysqlbinlog [参数选项] logfilename 参数选项： -d 指定数据库名称，只列出指定的数据库相关操作。 -o 忽略掉日志中的前n行命令。 -V 将行事件(数据变更）重构为 SQL 语句。 -W 将行事件（数据变更）重构为 SQL 语句，并输出注释信息。

• 3. 日志删除：

对于比较繁忙的业务系统，每天生成的 binlog 数据巨大，如果长时间不清除，将会占用大量磁盘空间。可以通过以下几种方式清理日志：

也可以在 mysql 的配置文件中配置二进制日志的过期时间，设置了之后，二进制日志过期会自动删除。show variables like '%binlog_expire_logs_seconds%';

1.3 查询日志

• 查询日志中记录了客户端的所有操作语句，而二进制日志不包含查询数据的SQL语句。默认情况下，查询日志是未开启的。如果需要开启查询日志，可以修改MySQL的配置文件/etc/my.cnf文件，添加如下内容：

#该选项用来开启查询日志，可选值：0或者1；0代表关闭，1代表开启 general_log=1 #设置日志的文件名，如果没有指定，默认的文件名为host_name.log general_log_file=mysql_query.log

1.4 慢查询日志

• 慢查询日志记录了所有执行时间超过参数long_query_time设置值并且扫描记录数不小于min_examined_row_limit的所有的 SQL 语句的日志，默认未开启。long_query_time默认为 10 秒，最小为 0 ，精度可以到微秒。

#慢查询日志 slow_query_log=1 #执行时间参数 long_query_time=2

• 默认情况下，不会记录管理语句，也不会记录不使用索引进行查找的查询。可以使用log_slow_admin_statements和更改此行为log_queries_not_using_indexes，如下所述。

#记录执行较慢的管理语句 log_slow_admin_statements=1 #记录执行较慢的未使用索引的语句 log_queries_not_using_indexes=1

2. 主从复制

2.1 概述

• 主从复制是指将主数据库的 DDL 和 DML 操作通过二进制日志传到从库服务器中，然后在从库上对这些日志重新执行（也叫重做），从而使得从库和主库的数据保持同步。
• MySQL 支持一台主库同时向多台从库进行复制，从库同时也可以作为其他从服务器的主库，实现链状复制。
• MySQL 主从复制的优点：
  • 主库（Master）出现问题，可以快速切换到从库（Slave）提供服务。
  • 实现读写分离，降低主库（Master）的访问压力。
  • 可以在从库（Slave）中执行备份，以避免备份期间影响主库（Master）服务。

2.2 原理

从上图来看，复制分成三步：

1. Master 主库在事务提交时，会把数据变更记录在二进制日志文件 Binlog中。
2. 从库中的 IOThread （一个线程）读取主库的二进制日志文件 Binlog，写入到从库的中继日志Relay Log。
3. Slave 重做中继日志中的事件，将改变反映它自己的数据。（通过SQLThread）

3. 分库分表

• 分库分表的中心思想都是将数据分散存储，使得单一的数据库/表的数据量变小来缓解单一数据库的性能问题，从而达到提升数据库性能的目的。

3.1 拆分方式

1. 垂直拆分：

• 垂直分库：以表为依据，根据业务将不同表拆分到不同库中。

  • 1. 每个库的表结构都不一样。
  • 2. 每个库的数据也不一样。
  • 3. 所有库的并集是全量数据。

• 垂直分表：以字段为依据，根据字段属性将不同字段拆分到不同表中。

  • 1. 每个表的结构都不一样。
  • 2. 每个表的数据也不一样，一般通过一列（主键/外键）关联。
  • 3. 所有表的并集是全量数据。

2. 水平拆分：

• 水平分库：以字段为依据，按照一定策略，将一个库的数据拆分到多个库中。

  • 1. 每个库的表结构都一样。
  • 2. 每个库的数据都不一样。
  • 3. 所有库的并集是全量数据。

• 水平分表：以字段为依据，按照一定策略，将一个表的数据拆分到多个表中。

  • 1. 每个表的表结构都一样。
  • 2. 每个表的数据都不一样。
  • 3. 所有表的并集是全量数据。

实现分库分表的技术：
shardingJDBC：基于 AOP 原理，在应用程序中对本地执行的 SQL 进行拦截，解析、改写、路由处理。需要自行编码配置实现，只支持 java 语言，性能较高。
MyCat：数据库分库分表中间件，不用调整代码?即可实现分库分表，支持多种语言，性能不及前者。

3.2 Mycat

• Mycat是开源的、活跃的、基于 Java 语言编写的 MysQL 数据库中间件。可以像使用 mysql 一样来使用 mycat ，对于开发人员来说根本感觉不到 mycat 的存在。
• Mycat 不存数据，只是在逻辑上对数据进行分片处理。

1. Mycat 的分片规则

• 1. 范围分片
• 2. 取模分片（根据指定字段值求模）
• 3. 一致性 hash 分片（计算字段 hash 值进行分片）
• 4. 枚举分片（根据字段枚举值分片）
• 5. 应用指定分片（由应用自主决定路由到哪个分片，先求取指定字段的子字符串（必须为数字）计算分片号）
• 6. 固定分片 hash 算法（取 id 的二进制低10位与1111111111进行位&运算（分片字段必须为数字类型））

固定分片 hash 算法与取模分片的区别：
取模：连续的值分别分配到各个不同分片
固定分片 hash 算法：会将连续的值分配到相同的分片，降低事务处理难度，可以均匀分配，也可以非均匀分配

• 7. 字符串 hash 解析分片（截取字符串中指定位置的子字符串，计算子字符串的 hash 值再进行位与运算（&(1024-1)）
• 8. 按（天）日期分片
• 9. 按自然月分片（一个月存在一个分片节点中）

2. Mycat 原理

3. Mycat 的管理及监控

• Mycat默认开通2个端口，可以在 server.xml 中进行修改。

  • 8066数据访问端口，即进行DML和DDL操作。
  • 9066数据库管理端口，即 mycat 服务管理控制功能，用于管理 mycat 的整个集群状态

• 通过 Mycat-eye(Mycat-web) 对 mycat-server 提供监控服务，功能不局限于 mycat-server 使用。需要安装 zookeeper （ Mycat-eye 的运行过程中需要依赖 zookeeper）和 Mycat-web ,安装并关联后可通过访问地址进入可视化网页来监控。

3.3 总结

1. 分库分表介绍
   核心：将单台数据库服务器的数据分散（垂直拆分、水平拆分）存储在多台数据库中。
2. Mycat 概述
   Mycat 是一个开源的分库分表的中间件
3. Mycat 入门
   入门程序
4. Mycat 配置
   Schema.xml、rule.xml、server.xml
5. Mycat 分片
   分片规则：范围、取模、枚举、一致性 hash 、固定分片 hash 算法、字符串 hash 解析算法、按天分片、按自然月分片。
6. Mycat 管理及监控
   原理、管理、监控工具

4. 读写分离

• 读写分离，简单地说是把对数据库的读和写操作分开，以对应不同的数据库服务器。主数据库（Master）提供写操作，从数据库（Slave）提供读操作，这样能有效地减轻单台数据库的压力。
• 通过 Mycat 即可轻易实现上述功能，不仅可以支持 MySQL ，也可以支持 Oracle 和 SQLServer。
• 主从库复制是基于二进制日志 binlog 实现的。

4.1 一主一从

• 主库写，从库读
• 主库数据能同步到从库，从库数据不能同步到主库

4.2 双主双从

• 能解决主节点 Master 宕机之后，业务只能读不能写的问题。
• 一个主机 M1 用于处理所有写请求，它的从机 S1 和另一台主机 M2 以及 S2 负责所有读请求，当 M1 宕机之后， M2 负责写请求，M1 与 M2 互为备机。