MySQL数据库的性能优化及自动化运维实践与Mysql高并发优化经验_程序源日志的博客-CSDN博客_数据库 自动化运维
MySQL数据库的性能优化及自动化运维实践与Mysql高并发优化经验
程序源日志
于 2023-01-18 16:12:40 发布
35
收藏
分类专栏：
Java进阶
文章标签：
数据库
mysql
运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2201_75529678/article/details/128727593
版权
Java进阶
专栏收录该内容
121 篇文章
0 订阅
订阅专栏
首先，我们来看看DBA的具体工作，我觉得 DBA 真的很忙：备份和恢复、监控状态、集群搭建与扩容、数据迁移和高可用，这是我们 DBA 的功能。
了解这些功能以后要对体系结构有更加深入的了解，你不知道怎么处理这些故障和投诉的事情。
所以我们要去了解缓存/线程、SQL优化、存储引擎以及SQL审计以及锁与实务、体系结构更深一点，就去研究内核原理和源码定制，DBA有这么多工作，他们就像一个小怪兽一样等着我们去解决。
今天我站在更加全面的角度跟大家分享一下我觉得我在这一年多DBA工作当中的经验，希望可以给大家带来启发和帮助。
1. MySQL的性能优化
性能优化就是我想让我的MySQL跑的更快、更顺畅。在我们开始MySQL性能优化之前，我想提出MySQL性能优化的三个关键点。Why？What？How？为什么我们要做性能优化？
我们的运维来反映我们的数据库，正常情况下是1秒，后来变成10秒，我们就要启动优化的动作。原本他的访问时间是1秒，我们想优化成0.01秒就要开启优化。
第二就是What？哪里是导致我们数据库性能变差的原因一。需要找到这个关键点。当我们找到这个问题以后，我们就需要有的放矢地进行优化。MySQL优化之前我们要明确的3W关键点。
1.1 MySQL优化基本流程
其实对于开展MySQL的优化有这样的一个基本流程。
第一步我们首先要登陆到操作系统，通过操作系统的命令，比如说操作系统的基本命令，去看我们操作系统有什么资源的占用率比较高，就是出现了资源短板，短板的意思就是这个资源的占用率或者是使用率特别高，我们要密切关注。
比如说像CPU的负载特别高，已经超过了我们的核数，或者是使用率特别高，已经达到了80%以上，这就引起我们的关注了。
确定这个短板之后，我们就要确认哪个进程使用我们这个资源，使得它的使用率或者是占用率特别高。
一般情况下跟我们相关就是MySQL这一层，比方说使用CPU的70%以上，我们就要去检查一下这个 MySQL 出现什么问题。
再进一步往里推进，如果我们发现MySQL里面是执行某一条大MySQL的时候，发现整个服务器或者是整个数据库就在那里，可能就是语句问题。
我们就要进一步通过 MySQL 的监控或者是日志信息去排查MySQL的问题。这个是很重要的发现哪个资源出现问题然后进行排查。
我们登陆系统就不会发现有CPU、IO、网络等等都很正常。在这种情况下怎么办？在这种情况下可以分三种判断。
可能我们登陆MySQL的时候整个系统就在那里了，这个情况还是操作系统的问题，我们需要通过操作系统去查是哪个资源的问题。
第二就是数据库实例问题，数据库实例问题跟数据库配置参数相关，也就是说我们配置参数可能存在一些不合理的设置需要我们去优化。
第三就是会话，我们登陆MySQL里面，一开始很正常，后来我们发现这个实例慢下来了，可能就是MySQL语句有问题，我们需要看MySQL的执行计划到具体哪一步比较慢，拖慢了整个流程。
我们发现数据库性能出现问题，都可以沿着这个流程走下去，从而定位出问题。
1.2 优化的几个关键点
我们通过刚才的基本流程，可以确定出 MySQL 需要优化的几个关键点。
第一是应用访问的优化，因为有应用需要访问我们的数据库，有请求的发送、数据的存储和网络的交互等等，会导致数据库性能会发生比较慢的地方。
二是服务器硬件选型，不知道大家DBA对服务器有没有自主权，如果有自主权的情况下，我是觉得我们应该按照 MySQL 的特性来选择服务器的硬件。
比方说我们可能要考虑到数据和日志的存储机理不同，要选择不同的类型去优化它。
第三个就是操作系统的优化。就是我们部署配置数据库之前，要对操作系统有什么优化？能够让我们的数据库有优化。
最后一个是数据库优化。数据库优化过程其实是一个全局角度优化的过程，不仅仅是是针对数据库本身优化的流程。
1.2.1 应用访问优化
我们根据每个关键点稍微开展一下。比方说应用访问的优化：
首先第一步就是减少数据的访问。因为减少数据的访问其实就是减少磁盘的访问。我们知道数据访问磁盘获得数据的速度很慢，如果我们是器械磁盘，因为器械磁盘是通过器械旋转来获得数据。
我们应该把活跃数据和内存数据放在内存里面，这样可以使我们的数据库性能提升1-1000倍。它的优化成本很低。
第二步是减少返回更多的数据，其实减少返回更多的数据终结就是减少了网络的传输，有很多大的系统，网络传输是一个很重要的瓶颈。
假设我们的数据库服务器跟我们应用服务器的距离是20公里的话，因为光线数据库是20公里，一个光的请求是0.2毫秒。如果我们减少更少的数据请求的话，那这个时间就会变短很多。所以说如果我们发现数据库的性能有问题，我们可以去看是否网络上存在问题或者是通过P命令看时间是否会变得长。
第三是减少交互次数，每个交互假设还是按照20公里来说，一个交互的时间就是0.2毫秒，2个交互就是0.4毫秒。如果有1万个操作的话，就是1万乘0.4毫秒，那就变得整个交互时间变短了很多。
但是也有它的复杂性或者是不宜扩展的局面。从应用层就降低了优化。这个成本也是很低的。
服务器硬件选型。我们公司的DBA对于服务器的应用选型没有太多的话语权，移动公司都是集团公司通过集采来选择的。在采集的时候我们不可能规定这几台服务器是用在数据库，这几个数据库用在服务系统。
所以我们在选择服务器选型时候DBA是没有办法参与进去的。这个大家可以看一下，我们采用的服务器是惠普的DL360G9，CPU：是2核×e5-2650V4，内存是8×32G，硬盘是6×1.2TSAS，网卡是4×10GE+4×1GE+1IPMI。这是我们移动云的一些服务器的选型。
这里特别说一下，如果我们DBA对于服务器有自主权的话，我们可以把数据放到SSD盘，把日志放到SAS上，这就是服务器硬件选型需要主要的地方。
1.2.2 操作系统层面的优化
第一就是毋庸置疑，我们推荐使用Linux操作系统，一些开源主流的是我们做的。像一些商业版Linux这些就是我们在用的。
要使用这个SWAP值，如果要去做的话，我们应该最大程度去使用物理，我们尽量不去使用虚拟内存，而使用物理内存。
因为物理内存的访问速度肯定比去访问磁盘要快得多。所以我们就把这个值设成了10。有的同学可能就会说为什么不把这个值设成0，就直接全部访问物理内存就好了。
如果把它设为0的话，可能就会出现内存溢出的现象，就是OOM。这不是我们DBA想看到的情况。所以我们一般把这个值设成10。
第三就是关闭NUMA特性，我们公司一般是单实例的情况，所以这个时候NUMA的特性要关注，NUMA特性就是假设我们一个服务器上有两个CPU，分布在服务器左右两边，同时有四块内存，把同一侧CPU作为一个NUMA节点，就是在物理位置分布同一侧CPU访问同一侧内存，距离比较近，速度更快。
我们尽量同一侧CPU访问同一侧内存。这跟我们数据库的特性是相违背的。因为我们数据库希望它一般部署了数据库的服务器就不会布其他的应用系统资源了。
所以我们希望数据库是独占数据库资源。所以在这种情况下我们要尽量关闭这个NUMA特性。
第四就是网卡优化。我们采用多个物理网卡通过做bond绑定成虚拟网卡，就是一些双网卡做成Bond或者调整网络参数。
第五就是磁盘调度设置，一般会有几个算法，比如说NOOP算法、CFQ或者是Deadline算法，比如说这NOOP算法用在我们数据库上有什么问题？就会有饿死读操作的方式存在，如果两个写操作，第一个写操作进来不需要等这个结束以后第二个写操作就可以开展了。
如果是读操作的话，第二个读操作就一定要在在前一个完成。如果有几毫秒的时间里面，进来一堆写操作，后面的独操作就会饿死的，这个不符合我们数据库算法调动的方式。
另外就是CFQ算法，CFQ算法不适合我们的数据库服务器，MySQL是单操作服务器。所以我们这个算法也不适合我们使用。一般情况下数据服务器会使用Deadline的算法，程序会调用这个时候的IO请求去解决这个请求。这种Deadline算法更加适合数据库，因为这个Deadline的算法更加适合。
最后一个是文件系统的推荐，我们移动云的数据库系统就是Xfs或者是Ext4或者是Noatime或者是nobarrier，这些都会有影响。这是数据库系统的优化。
1.2.3 数据库实例的优化
我列了几个参数我们在标准化的时候需要规范和配置的。这里不一一揭示了。这些参数大家都可以找到，重点看一下。其实这些参数很重要。因为它决定了我们实例的性能。某一些参数配置不合理，我们实例的性能就会受到很大的影响。
1.2.4 SQL语句的优化
这里有编写高效SQL语句的原则，这个原则我们DBA要知道，DBA要通知业务方的研发，让他们也知道。有很多业务侧进来都是业务写的，他没有经验的话，就会写出一些有问题的语句，所以最后就变成我们DBA要去严查。所以最开始要把这些思想贯彻给业务研发，让他们按照这个流程去编写SQL的设计。
1.3 索引的设计
这里说的是覆盖索引，比如说有了这个覆盖索引我们的查询，查询的字段都是在这个索引内，还有我们查询的后面的字段也是索引，还有我们一些排序位置也是覆盖索引，就是这一系列全部都是中了索引的情况所以就叫覆盖索引。也列举了一些不能使用索引的情况。比如说不要给选择率低的字段选择索引，如果通过索引扫描记录数超过30%就变成全表扫描了。还有Like额查询条件列最左以通配符%开始，两个独立索引，其中一个用于索引一个用于排序。以上就是对于MySQL性能优化的步骤。
2. 自动化运维实践
所谓自动化运维实践就是相当于给我们DBA提供小工具或者是小帮手，帮助我们打开，而不是他们纠缠着我们。我们移动云自动化运维实践。我们移动云的体量就是几百上千台数据库的体量，如果我们面对几台或者是十几台的数据库的时候，有没有这个自动化其实无所谓，因为你做自动化反而更加麻烦。如果你已经有大的量的时候就是平台化就是在自动化的数据库上进行拓展。
就是我们在部署安装的时候要定一些标准化安装部署。我们的目录方案，版本以及部署流程有标准文档去遵循。比如说一次部署打包多次应用，我们需要再一个节点上打包标准包打包起来就一步完成了，那这个标准化的安装部署就给后面自动化的安装部署打了一定的基础。
自动化的数据备份，数据备份是我们DBA非常重要的一个工作。所以我们公司也是建立合理有效以及规范的自动化备份的规范。比方说我们的常规备份，我们是每周一次全备，变更前后，有一个业务变更了，在这之前要做一个全备，万一业务变更哪里出现问题我就可以及时回退。这个是自动化使用的场景。我们使用的是innobackup工具+自动化备份脚本调用+Cronntab定时来做。
第三点就是自动化日常监控，监控是DBA的第三只眼睛，如果建立实时有效的监控非常有效。我们公司是采用监控是采用Zabbix监控工具，像确定一些告警阈值这种，一旦超过了这个阈值就可以给我们DBA发送短信和邮件，这就是自动化的日常监控。
第四个就是自动化深度巡检，这个就是补充了监控所不能达到的地方。比方说如果我们需要扫描或者是看一些大表的情况或者是看一些没有建索引表的情况，它的输出很复杂，是一张表或者是几张表，所以我们就需要深度的巡检来完成。深度的巡检我们公司也是采用开发巡检脚本，通过Ansible统一推送，巡检报告自动生成。也就是说可以很明确的呈现出这个巡检的结果供DBA去看和去检查。
第五点就是自动化的故障切换。自动化故障切换是发生在单节点发生故障。比如说变更操作，一些Keepalive部署配置，切换脚本，VRRP协议来实现的。也是通过编写一些脚本，那这个脚本可能会定期去检查我们的数据库节点的运行状况。比如说这个VIP有没有在这个节点或者是进程在不在？一旦发生异常就会自动切换这个节点。
当第六点就是自动化节点扩容。当发生单节点故障的时候我们需要部署一个新的节点的时候就需要启动自动化的节点扩容，编写脚本来做。
第七点是自动化安全审计，就是异常访问，异常操作可审计追溯。部署安全审计插件，这个安全审计的插件+启用安全审计日志，+日志自动化或者是分析提炼。所以要不要开启这个插件根据各位公司对于安全审计方面的要求以及对于性能的要求从两者取一个平衡。因为我们还是很看中这个安全事件，所以我们开启了这个安全审计插件，开启这个插件以后还需要配置文件做一个配置。以什么样的方式存或者是多大？这些参数都可以在配置文件里面进行配置。
第八点是自动化密码审计。这个自动化密码审计也是一个插件就是我们安装了强密码审查的日志，这个插件的工作原理就是设置了规则，我们需要日志要多少位或者是多少位的大小写或者是特殊字符的要求。我们设置密码的时候必须符合这个强密码验证的要求。这个也是进行实时校验的。也就是说我们当设一个数据库用户的密码如果不符合这个强密码的需求就不会给他通过，防止一些比较容易破解的弱密码。
第九点就是自动化日志分析工具。我们的日志分析其实挺重要的，如果出现问题就需要这个日志分析，没有问题正常的时候也需要日志分析工具的，因为它能够发生潜在的优化建议，我们采用一个Percona为工具Pt-query-digest，我们只需要看DBA的慢日志又可以发现哪些内容存在问题。
第十点是自动化数据校验。通过我们自动化验校修复工具来做，也是设了Crontab的任务让它定期执行。
第十一点是自动化数据清理，因为数据库每天每周都在备份，我们就需要机制定期清理备份文件。我们也是采用脚本去开发和定时看，如果超过两个月的备份文件我们就把它删掉。如果文件都在两个月就不用管他。超过两个月就清除它。
第十二点是自动化日志切分。如果数据库跑的时间比较长，慢日志或者是错误日志比较大，就需要定时检测日志文件，大于某值则自动切分，否则不处理。
以上就是我们移动云在数据库运维的沉淀和积累。不像腾讯或者是阿里那么大的体量和经验。但是以上是我们探索出来的一些经验，希望可以给各位带来启发或者是帮助。
Mysql高并发优化
一、数据库结构的设计
1、数据行的长度不要超过8020字节，如果超过这个长度的话在物理页中这条数据会占用两行从而造成存储碎片，降低查询效率。
2、能够用数字类型的字段尽量选择数字类型而不用字符串类型的（电话号码），这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接会逐个比较字符串中每一个字符，而对于数字型而言只需要比较一次就够了。
3、对于不可变字符类型char和可变字符类型varchar 都是8000字节,char查询快，但是耗存储空间，varchar查询相对慢一些但是节省存储空间。在设计字段的时候可以灵活选择，例如用户名、密码等长度变化不大的字段可以选择CHAR，对于评论等长度变化大的字段可以选择VARCHAR。
4、字段的长度在最大限度的满足可能的需要的前提下，应该尽可能的设得短一些，这样可以提高查询的效率，而且在建立索引的时候也可以减少资源的消耗。
二、查询的优化
保证在实现功能的基础上，尽量减少对数据库的访问次数(可以用缓存保存查询结果，减少查询次数)；通过搜索参数，尽量减少对表的访问行数,最小化结果集，从而减轻网络负担；能够分开的操作尽量分开处理，提高每次的响应速度；在数据窗口使用SQL时，尽量把使用的索引放在选择的首列；算法的结构尽量简单；在查询时，不要过多地使用通配符如SELECT * FROM T1语句，要用到几列就选择几列如：SELECTCOL1,COL2 FROM T1；在可能的情况下尽量限制尽量结果集行数如：SELECT TOP 300 COL1,COL2,COL3 FROM T1,因为某些情况下用户是不需要那么多的数据的。
在没有建索引的情况下，数据库查找某一条数据，就必须进行全表扫描了，对所有数据进行一次遍历，查找出符合条件的记录。在数据量比较小的情况下，也许看不出明显的差别，但是当数据量大的情况下，这种情况就是极为糟糕的了。
1.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：
select id from t where num is null
可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：
select id from t where num=0
2.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。优化器将无法通过索引来确定将要命中的行数,因此需要搜索该表的所有行。
3.应尽量避免在 where 子句中使用 or 来连接条件，否则将导致引擎放弃使用索引而进行全表扫描，如：
select id from t where num=10 or num=20
可以这样查询：
select id from t where num=10
union all
select id from t where num=20
4.in 和 not in 也要慎用，因为IN会使系统无法使用索引,而只能直接搜索表中的数据。如：
select id from t where num in(1,2,3)
对于连续的数值，能用 between 就不要用 in 了：
select id from t where num between 1 and 3
5.尽量避免在索引过的字符数据中，使用非打头字母搜索。这也使得引擎无法利用索引。
见如下例子：
SELECT * FROM T1 WHERE NAME LIKE ‘%L%’
SELECT * FROM T1 WHERE SUBSTING(NAME,2,1)=’L’
SELECT * FROM T1 WHERE NAME LIKE ‘L%’
即使NAME字段建有索引，前两个查询依然无法利用索引完成加快操作，引擎不得不对全表所有数据逐条操作来完成任务。而第三个查询能够使用索引来加快操作。
6.必要时强制查询优化器使用某个索引，如在 where 子句中使用参数，也会导致全表扫描。因为SQL只有在运行时才会解析局部变量，但优化程序不能将访问计划的选择推迟到运行时；它必须在编译时进行选择。然而，如果在编译时建立访问计划，变量的值还是未知的，因而无法作为索引选择的输入项。如下面语句将进行全表扫描：
select id from t where num=@num
可以改为强制查询使用索引：
select id from t with(index(索引名)) where num=@num
7.应尽量避免在 where 子句中对字段进行表达式操作，这将导致引擎放弃使用索引而进行全表扫描。如：
SELECT * FROM T1 WHERE F1/2=100
应改为:
SELECT * FROM T1 WHERE F1=100*2
SELECT * FROM RECORD WHERE SUBSTRING(CARD_NO,1,4)=’5378’
应改为:
SELECT * FROM RECORD WHERE CARD_NO LIKE ‘5378%’
SELECT member_number, first_name, last_name FROM members
WHERE DATEDIFF(yy,datofbirth,GETDATE()) > 21
应改为:
SELECT member_number, first_name, last_name FROM members
WHERE dateofbirth < DATEADD(yy,-21,GETDATE())
即：任何对列的操作都将导致表扫描，它包括数据库函数、计算表达式等等，查询时要尽可能将操作移至等号右边。
8.应尽量避免在where子句中对字段进行函数操作，这将导致引擎放弃使用索引而进行全表扫描。如：
select id from t where substring(name,1,3)='abc'--name以abc开头的id
select id from t where datediff(day,createdate,'2005-11-30')=0--‘2005-11-30’生成的id
应改为:
select id from t where name like 'abc%'
select id from t where createdate>='2005-11-30' and createdate<'2005-12-1'
9.不要在 where 子句中的“=”左边进行函数、算术运算或其他表达式运算，否则系统将可能无法正确使用索引。
10.在使用索引字段作为条件时，如果该索引是复合索引，那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引，否则该索引将不会被使用，并且应尽可能的让字段顺序与索引顺序相一致。
11.很多时候用 exists是一个好的选择：
elect num from a where num in(select num from b)
用下面的语句替换：
select num from a where exists(select 1 from b where num=a.num)
SELECT SUM(T1.C1)FROM T1 WHERE(
(SELECT COUNT(*)FROM T2 WHERE T2.C2=T1.C2>0)
SELECT SUM(T1.C1) FROM T1WHERE EXISTS(
SELECT * FROM T2 WHERE T2.C2=T1.C2)
两者产生相同的结果，但是后者的效率显然要高于前者。因为后者不会产生大量锁定的表扫描或是索引扫描。
如果你想校验表里是否存在某条纪录，不要用count(*)那样效率很低，而且浪费服务器资源。可以用EXISTS代替。如：
IF (SELECT COUNT(*) FROM table_name WHERE column_name = 'xxx')
可以写成：
IF EXISTS (SELECT * FROM table_name WHERE column_name = 'xxx')
经常需要写一个T_SQL语句比较一个父结果集和子结果集，从而找到是否存在在父结果集中有而在子结果集中没有的记录，如：
SELECT a.hdr_key FROM hdr_tbl a---- tbl a 表示tbl用别名a代替
WHERE NOT EXISTS (SELECT * FROM dtl_tbl b WHERE a.hdr_key = b.hdr_key)
SELECT a.hdr_key FROM hdr_tbl a
LEFT JOIN dtl_tbl b ON a.hdr_key = b.hdr_key WHERE b.hdr_key IS NULL
SELECT hdr_key FROM hdr_tbl
WHERE hdr_key NOT IN (SELECT hdr_key FROM dtl_tbl)
三种写法都可以得到同样正确的结果，但是效率依次降低。
12.尽量使用表变量来代替临时表。如果表变量包含大量数据，请注意索引非常有限（只有主键索引）。
13.避免频繁创建和删除临时表，以减少系统表资源的消耗。
14.临时表并不是不可使用，适当地使用它们可以使某些例程更有效，例如，当需要重复引用大型表或常用表中的某个数据集时。但是，对于一次性事件，最好使用导出表。
15.在新建临时表时，如果一次性插入数据量很大，那么可以使用 select into 代替 create table，避免造成大量 log ，以提高速度；如果数据量不大，为了缓和系统表的资源，应先create table，然后insert。
16.如果使用到了临时表，在存储过程的最后务必将所有的临时表显式删除，先 truncate table ，然后 drop table ，这样可以避免系统表的较长时间锁定。
17.在所有的存储过程和触发器的开始处设置 SET NOCOUNT ON ，在结束时设置 SET NOCOUNT OFF 。无需在执行存储过程和触发器的每个语句后向客户端发送 DONE_IN_PROC 消息。
18.尽量避免大事务操作，提高系统并发能力。
19.尽量避免向客户端返回大数据量，若数据量过大，应该考虑相应需求是否合理。
\20. 避免使用不兼容的数据类型。例如float和int、char和varchar、binary和varbinary是不兼容的（条件判断时）。数据类型的不兼容可能使优化器无法执行一些本来可以进行的优化操作。例如:
SELECT name FROM employee WHERE salary > 60000
在这条语句中,如salary字段是money型的,则优化器很难对其进行优化,因为60000是个整型数。我们应当在编程时将整型转化成为钱币型,而不要等到运行时转化。
21.充分利用连接条件（条件越多越快），在某种情况下，两个表之间可能不只一个的连接条件，这时在 WHERE 子句中将连接条件完整的写上，有可能大大提高查询速度。
例：
SELECT SUM(A.AMOUNT) FROM ACCOUNT A,CARD B WHERE A.CARD_NO = B.CARD_NO
SELECT SUM(A.AMOUNT) FROM ACCOUNT A,CARD B WHERE A.CARD_NO = B.CARD_NO AND A.ACCOUNT_NO=B.ACCOUNT_NO
第二句将比第一句执行快得多。
22、使用视图加速查询
把表的一个子集进行排序并创建视图，有时能加速查询。它有助于避免多重排序 操作，而且在其他方面还能简化优化器的工作。例如：
SELECT cust.name，rcvbles.balance，……other columns
FROM cust，rcvbles
WHERE cust.customer_id = rcvlbes.customer_id
AND rcvblls.balance>0
AND cust.postcode>“98000”
ORDER BY cust.name
如果这个查询要被执行多次而不止一次，可以把所有未付款的客户找出来放在一个视图中，并按客户的名字进行排序：
CREATE VIEW DBO.V_CUST_RCVLBES
AS
SELECT cust.name，rcvbles.balance，……other columns
FROM cust，rcvbles
WHERE cust.customer_id = rcvlbes.customer_id
AND rcvblls.balance>0
ORDER BY cust.name
然后以下面的方式在视图中查询：
SELECT ＊ FROM V_CUST_RCVLBES
WHERE postcode>“98000”
视图中的行要比主表中的行少，而且物理顺序就是所要求的顺序，减少了磁盘I/O，所以查询工作量可以得到大幅减少。
23、能用DISTINCT的就不用GROUP BY （group by 操作特别慢）
SELECT OrderID FROM Details WHERE UnitPrice > 10 GROUP BY OrderID
可改为：
SELECT DISTINCT OrderID FROM Details WHERE UnitPrice > 10
24.能用UNION ALL就不要用UNION
UNION ALL不执行SELECT DISTINCT函数，这样就会减少很多不必要的资源
35.尽量不要用SELECT INTO语句。
SELECT INOT 语句会导致表锁定，阻止其他用户访问该表。
上面我们提到的是一些基本的提高查询速度的注意事项,但是在更多的情况下,往往需要反复试验比较不同的语句以得到最佳方案。最好的方法当然是测试，看实现相同功能的SQL语句哪个执行时间最少，但是数据库中如果数据量很少，是比较不出来的，这时可以用查看执行计划，即：把实现相同功能的多条SQL语句考到查询分析器，按CTRL+L看查所利用的索引，表扫描次数（这两个对性能影响最大），总体上看询成本百分比即可。
三、算法的优化
尽量避免使用游标，因为游标的效率较差，如果游标操作的数据超过1万行，那么就应该考虑改写。.使用基于游标的方法或临时表方法之前，应先寻找基于集的解决方案来解决问题，基于集的方法通常更有效。与临时表一样，游标并不是不可使用。对小型数据集使用 FAST_FORWARD 游标通常要优于其他逐行处理方法，尤其是在必须引用几个表才能获得所需的数据时。在结果集中包括“合计”的例程通常要比使用游标执行的速度快。如果开发时间允许，基于游标的方法和基于集的方法都可以尝试一下，看哪一种方法的效果更好。
游标提供了对特定集合中逐行扫描的手段，一般使用游标逐行遍历数据，根据取出的数据不同条件进行不同的操作。尤其对多表和大表定义的游标（大的数据集合）循环很容易使程序进入一个漫长的等特甚至死机。
在有些场合，有时也非得使用游标，此时也可考虑将符合条件的数据行转入临时表中，再对临时表定义游标进行操作，可时性能得到明显提高。
（例如：对内统计第一版）
封装存储过程
四、建立高效的索引
创建索引一般有以下两个目的：维护被索引列的唯一性和提供快速访问表中数据的策略。大型数据库有两种索引即簇索引和非簇索引，一个没有簇索引的表是按堆结构存储数据，所有的数据均添加在表的尾部，而建立了簇索引的表，其数据在物理上会按照簇索引键的顺序存储，一个表只允许有一个簇索引，因此，根据B树结构，可以理解添加任何一种索引均能提高按索引列查询的速度，但会降低插入、更新、删除操作的性能，尤其是当填充因子（Fill Factor）较大时。所以对索引较多的表进行频繁的插入、更新、删除操作，建表和索引时因设置较小的填充因子，以便在各数据页中留下较多的自由空间，减少页分割及重新组织的工作。
索引是从数据库中获取数据的最高效方式之一。95% 的数据库性能问题都可以采用索引技术得到解决。作为一条规则，我通常对逻辑主键使用唯一的成组索引，对系统键（作为存储过程）采用唯一的非成组索引，对任何外键列[字段]采用非成组索引。不过，索引就象是盐，太多了菜就咸了。你得考虑数据库的空间有多大，表如何进行访问，还有这些访问是否主要用作读写。
实际上，您可以把索引理解为一种特殊的目录。微软的SQL SERVER提供了两种索引：聚集索引（clustered index，也称聚类索引、簇集索引）和非聚集索引（nonclustered index，也称非聚类索引、非簇集索引）。下面，我们举例来说明一下聚集索引和非聚集索引的区别：
其实，我们的汉语字典的正文本身就是一个聚集索引。比如，我们要查“安”字，就会很自然地翻开字典的前几页，因为“安”的拼音是“an”，而按照拼音排序汉字的字典是以英文字母“a”开头并以“z”结尾的，那么“安”字就自然地排在字典的前部。如果您翻完了所有以“a”开头的部分仍然找不到这个字，那么就说明您的字典中没有这个字；同样的，如果查“张”字，那您也会将您的字典翻到最后部分，因为“张”的拼音是“zhang”。也就是说，字典的正文部分本身就是一个目录，您不需要再去查其他目录来找到您需要找的内容。
我们把这种正文内容本身就是一种按照一定规则排列的目录称为“聚集索引”。
如果您认识某个字，您可以快速地从自动中查到这个字。但您也可能会遇到您不认识的字，不知道它的发音，这时候，您就不能按照刚才的方法找到您要查的字，而需要去根据“偏旁部首”查到您要找的字，然后根据这个字后的页码直接翻到某页来找到您要找的字。
但您结合“部首目录”和“检字表”而查到的字的排序并不是真正的正文的排序方法，比如您查“张”字，我们可以看到在查部首之后的检字表中“张”的页码是672页，检字表中“张”的上面是“驰”字，但页码却是63页，“张”的下面是“弩”字，页面是390页。很显然，这些字并不是真正的分别位于“张”字的上下方，现在您看到的连续的“驰、张、弩”三字实际上就是他们在非聚集索引中的排序，是字典正文中的字在非聚集索引中的映射。我们可以通过这种方式来找到您所需要的字，但它需要两个过程，先找到目录中的结果，然后再翻到您所需要的页码。
我们把这种目录纯粹是目录，正文纯粹是正文的排序方式称为“非聚集索引”。
进一步引申一下，我们可以很容易的理解：每个表只能有一个聚集索引，因为目录只能按照一种方法进行排序。
（一）何时使用聚集索引或非聚集索引
下面的表总结了何时使用聚集索引或非聚集索引（很重要）。
事实上，我们可以通过前面聚集索引和非聚集索引的定义的例子来理解上表。如：返回某范围内的数据一项。比如您的某个表有一个时间列，恰好您把聚合索引建立在了该列，这时您查询2004年1月1日至2004年10月1日之间的全部数据时，这个速度就将是很快的，因为您的这本字典正文是按日期进行排序的，聚类索引只需要找到要检索的所有数据中的开头和结尾数据即可；而不像非聚集索引，必须先查到目录中查到每一项数据对应的页码，然后再根据页码查到具体内容。
（二）结合实际，谈索引使用的误区
理论的目的是应用。虽然我们刚才列出了何时应使用聚集索引或非聚集索引，但在实践中以上规则却很容易被忽视或不能根据实际情况进行综合分析。下面我们将根据在实践中遇到的实际问题来谈一下索引使用的误区，以便于大家掌握索引建立的方法。
1、主键就是聚集索引
这种想法笔者认为是极端错误的，是对聚集索引的一种浪费。虽然SQL SERVER默认是在主键上建立聚集索引的。
通常，我们会在每个表中都建立一个ID列，以区分每条数据，并且这个ID列是自动增大的，步长一般为1。我们的这个办公自动化的实例中的列Gid就是如此。此时，如果我们将这个列设为主键，SQL SERVER会将此列默认为聚集索引。这样做有好处，就是可以让您的数据在数据库中按照ID进行物理排序，但笔者认为这样做意义不大。
显而易见，聚集索引的优势是很明显的，而每个表中只能有一个聚集索引的规则，这使得聚集索引变得更加珍贵。
从我们前面谈到的聚集索引的定义我们可以看出，使用聚集索引的最大好处就是能够根据查询要求，迅速缩小查询范围，避免全表扫描。在实际应用中，因为ID号是自动生成的，我们并不知道每条记录的ID号，所以我们很难在实践中用ID号来进行查询。这就使让ID号这个主键作为聚集索引成为一种资源浪费。其次，让每个ID号都不同的字段作为聚集索引也不符合“大数目的不同值情况下不应建立聚合索引”规则；当然，这种情况只是针对用户经常修改记录内容，特别是索引项的时候会负作用，但对于查询速度并没有影响。
在办公自动化系统中，无论是系统首页显示的需要用户签收的文件、会议还是用户进行文件查询等任何情况下进行数据查询都离不开字段的是“日期”还有用户本身的“用户名”。
通常，办公自动化的首页会显示每个用户尚未签收的文件或会议。虽然我们的where语句可以仅仅限制当前用户尚未签收的情况，但如果您的系统已建立了很长时间，并且数据量很大，那么，每次每个用户打开首页的时候都进行一次全表扫描，这样做意义是不大的，绝大多数的用户1个月前的文件都已经浏览过了，这样做只能徒增数据库的开销而已。事实上，我们完全可以让用户打开系统首页时，数据库仅仅查询这个用户近3个月来未阅览的文件，通过“日期”这个字段来限制表扫描，提高查询速度。如果您的办公自动化系统已经建立的2年，那么您的首页显示速度理论上将是原来速度8倍，甚至更快。
2、只要建立索引就能显著提高查询速度
事实上，我们可以发现上面的例子中，第2、3条语句完全相同，且建立索引的字段也相同；不同的仅是前者在fariqi字段上建立的是非聚合索引，后者在此字段上建立的是聚合索引，但查询速度却有着天壤之别。所以，并非是在任何字段上简单地建立索引就能提高查询速度。
从建表的语句中，我们可以看到这个有着1000万数据的表中fariqi字段有5003个不同记录。在此字段上建立聚合索引是再合适不过了。在现实中，我们每天都会发几个文件，这几个文件的发文日期就相同，这完全符合建立聚集索引要求的：“既不能绝大多数都相同，又不能只有极少数相同”的规则。由此看来，我们建立“适当”的聚合索引对于我们提高查询速度是非常重要的。
3、把所有需要提高查询速度的字段都加进聚集索引，以提高查询速度
上面已经谈到：在进行数据查询时都离不开字段的是“日期”还有用户本身的“用户名”。既然这两个字段都是如此的重要，我们可以把他们合并起来，建立一个复合索引（compound index）。
很多人认为只要把任何字段加进聚集索引，就能提高查询速度，也有人感到迷惑：如果把复合的聚集索引字段分开查询，那么查询速度会减慢吗？带着这个问题，我们来看一下以下的查询速度（结果集都是25万条数据）：（日期列fariqi首先排在复合聚集索引的起始列，用户名neibuyonghu排在后列）
我们可以看到如果仅用聚集索引的起始列作为查询条件和同时用到复合聚集索引的全部列的查询速度是几乎一样的，甚至比用上全部的复合索引列还要略快（在查询结果集数目一样的情况下）；而如果仅用复合聚集索引的非起始列作为查询条件的话，这个索引是不起任何作用的。当然，语句1、2的查询速度一样是因为查询的条目数一样，如果复合索引的所有列都用上，而且查询结果少的话，这样就会形成“索引覆盖”，因而性能可以达到最优。同时，请记住：无论您是否经常使用聚合索引的其他列，但其前导列一定要是使用最频繁的列。
（三）其他注意事项
“水可载舟，亦可覆舟”，索引也一样。索引有助于提高检索性能，但过多或不当的索引也会导致系统低效。因为用户在表中每加进一个索引，数据库就要做更多的工作。过多的索引甚至会导致索引碎片。
所以说，我们要建立一个“适当”的索引体系，特别是对聚合索引的创建，更应精益求精，以使您的数据库能得到高性能的发挥
关注博主即可阅读全文
程序源日志
关注
关注
点赞
收藏
打赏
评论
MySQL数据库的性能优化及自动化运维实践与Mysql高并发优化经验
首先，我们来看看的具体工作，我觉得 DBA 真的很忙：备份和恢复、监控状态、集群搭建与扩容、数据迁移和高可用，这是我们 DBA 的功能。了解这些功能以后要对体系结构有更加深入的了解，你不知道怎么处理这些故障和投诉的事情。所以我们要去了解缓存/线程、、存储引擎以及SQL审计以及锁与实务、体系结构更深一点，就去研究内核原理和源码定制，DBA有这么多工作，他们就像一个小怪兽一样等着我们去解决。今天我站在更加全面的角度跟大家分享一下我觉得我在这一年多DBA工作当中的经验，希望可以给大家带来启发和帮助。
复制链接
扫一扫
专栏目录
高并发 MySQL 性能优化指南，自取
YYniannian的博客
08-02
251
前几年我待过一家创业公司，做的是商城业务。那两年公司业务迅速增长，用户从零积累到千万级别，每天访问量几亿次，高峰QPS高达上万次每秒。
MySQL数据库性能调优全攻略
lijuncheng963375877的博客
09-01
667
数据库调优从以下几个方面进行调优
数据库配置
SQL优化
硬件设置
文件系统
操作系统
1. 数据库配置
InnoDB存储引擎与PostgreSQL非常不同
InnoDB的缓冲池用来管理所有数据库对象
写文件操作通过O_DIRECT选项来避免两次缓存
InnoDB缓冲池越大性能越好
通常是系统内存60%~80%
PostgreSQL缓冲池仅用来管理最热的数据
强烈的依赖操作系统的缓存来处理数据
PostgreSQL缓存越大性能越差
通常是系统内存通常25%~30%
#配置文件
inno
参与评论
您还未登录，请先
登录
后发表或查看评论
MySQL数据库高并发优化配置
Terry - 专注外贸B2C
06-01
992
转载地址：http://www.111cn.net/database/mysql/59776.htm
在Apache, PHP, mysql的体系架构中，MySQL对于性能的影响最大，也是关键的核心部分。对于Discuz!论坛程序也是如此，MySQL的设置是否合理优化，直接 影响到论坛的速度和承载量！同时，MySQL也是优化难度最大的一个部分，不但需要理解一些MySQL专业知识，同时还需要长时间
浅谈MySQL 数据库性能优化
白雾霾
12-10
153
MySQL数据库是 IO 密集型的程序，和其他数据库一样，主要功能就是数据的持久化以及数据的管理工作。本文侧重通过优化MySQL 数据库缓存参数如查询缓存，表缓存，日志缓存，索引缓存，innodb缓存，插入缓存，以及连接参数等方式来对MySQL数据库进行优化。
缓存参数
这里先引用一句话，从内存中读取一个数据的时间消耗是微秒级别，而从普通硬盘上读取是毫秒级别，二者相差3个数量级。可见，想对My...
MySQL常用优化方法+优化Mysql数据库的8个方法+百万级数据库优化方案+运维角度浅谈MySQL数据库优化
最新发布
BaiHang111的博客
02-06
476
MySQL
有赞数据库自动化运维实践之路
高效运维
12-20
1962
「运维内推」有赞诚聘：应用运维工程师、系统运维工程师、运维开发工程师、DBA。请关注文末链接一、前言有赞作为”新零售”的软件服务供应商，随着业务的不断发展，从第一批几十家商户到现在300万商家，涉及零售，美业，餐饮，自媒体等众多商家，业务规模以及访问量爆发式增长。一方面给后端数据库带来的影响是服务器数量和 DB 实例的数据量出现成倍增加。各种业务需求:快速交付实例，慢查询优化以及备份恢复管理等都给
有赞MySQL自动化运维之路—ZanDB
cojm55771的博客
09-29
160
一、前言
在互联网时代，业务规模常常出现爆发式的增长。快速的实例交付，数据库优化以及备份管理等任务都对DBA产生了更高的要求，单纯的凭借记忆力去管理那几十套DB已经不再适用。那么如何去批量管理这些实例的备...
数据库自动化运维1-Restful API一个小DEMO
renfengjun
06-19
822
很久没有更新博客了，今天和大家分享一下最近学到的一些关于API方面的东西。
数据库自动化运维平台--自助DML
热门推荐
晨夕的博客
04-19
1万+
今天介绍下最近开发的一个平台，自助DML。什么是DML，就是平常执行的增删改查数据库操作。有人有疑问这不是程序访问的操作，为什么还要做一个平台操作这些呢，其实这种操作主要是开发需要线下修复数据的一种操作，不只是增删改，还有建表，建索引，添加字段等，这些操作开发一般会提给DBA协助操作数据库。可能你会觉得这些活能有多少，其实这种活真不少，我上家公司是电商互联网公司，大概有七八百个实例，每天的这种操作有近百个。处理近百个这种需求，基本上一个人一天就不用干别的了。虽说现在的公司实例少点，但每天的工作量还是很大，关
数据库自动化运维平台--自助权限申请
晨夕的博客
06-15
3914
客户端程序访问数据库都需要一个连接数据库的用户名和密码，这个用户一般是DBA帮RD创建。根据安全级别的不同，每个团队都会有不同的授权方式。我们在用户访问数据库安全方面也制定了一套规则：1）读写账号只能有SELECT，DELETE，UPDATE，INSERT权限。 2）用户的白名单IP不能是一个网络，必须是一个IP。3）白名单IP必须是线上的服务器IP，不能是个人测试机IP。
对于白名单IP不能是
mysql 自动化运维工具_MySQL使用工具Inception实现自动化运维
weixin_39917046的博客
02-02
200
MySQL使用工具Inception实现自动化运维发布时间：2020-05-27 17:11:14来源：51CTO阅读：180作者：三月下面一起来了解下MySQL使用工具Inception实现自动化运维，相信大家看完肯定会受益匪浅，文字在精不在多，希望MySQL使用工具Inception实现自动化运维这篇短内容是你想要的。一、Inception 简介Inception 是集审核、执行、回滚于一体的...
Tomcat + Mysql高并发配置优化
qq_33730348的博客
02-01
4939
1.Tomcat优化配置
（1）更改Tomcat的catalina.bat
将java变成server模式，增大jvm的内存，在文件开始位置增加
setJAVA_OPTS=-server -Xms1024m -Xmx2048m -Xss512K -XX:PermSize=128m-XX:MaxPermSize=256m
setCATALINA_OPTS=-server -Xms512m -
性能调优之MYSQL高并发优化
heguixian的博客
07-02
759
一、数据库结构的设计
表的设计具体注意的问题：
1、数据行的长度不要超过8020字节，如果超过这个长度的话在物理页中这条数据会占用两行从而造成存储碎片，降低查询效率。
2、能够用数字类型的字段尽量选择数字类型而不用字符串类型的（电话号码），这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接回逐个比较字符串中每一个字符，而对于数字型而言只需要比较一次就够了。
3、对于不可变字符类型char和可变字符类型varchar 都是8000字节,char查询快，但是耗存储空间，varcha
数据库自动化运维平台--元数据平台
晨夕的博客
04-12
6869
数据库元数据平台
很多DBA可能都用过Excel来维护数据库集群列表，在公司数据库集群规模比较小，用这种方式维护也是很简单方便的。但随着数据实例越来越多达到了上百上千的时候，再用这种方式维护就要崩溃了。所以一旦集群上了规模，每个公司都要开发类似CMDB的平台来维护集群信息 。由于本人所在的DBA部门开发资源有限，所以自个也花一个月的时间学习的相关知识，开发了一款MySQL元数据平台，希望能给做平
Mysql主从配置，实现读写分离
weixin_30608503的博客
12-14
249
大型网站为了软解大量的并发访问，除了在网站实现分布式负载均衡，远远不够。到了数据业务层、数据访问层，如果还是传统的数据结构，或者只是单单靠一台服务器扛，如此多的数据库连接操作，数据库必然会崩溃，数据丢失的话，后果更是 不堪设想。这时候，我们会考虑如何减少数据库的联接，一方面采用优秀的代码框架，进行代码的优化，采用优秀的数据缓存技术如：memcached,如果资金丰厚的话，必然会想到假设服务器群，来...
Mysql 大数据量高并发的数据库优化
moonshine
09-27
5623
Mysql 大数据量高并发的数据库优化
一、数据库结构的设计 如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数据库模型的设计是必须的。 在一个系统分析、设计阶段，因为数据量较
一、数据库结构的设计
如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程
MySQL 高并发配置优化
cuker919的专栏
06-07
8711
最近在搞一个报表系统，不是很负责，但是就是数据量比较大，单次写入上万条数据，加上在同一个事务里面，部署到linux服务器后，发现特别慢，后面发现mysql安装后没有优化配置文件，导致写入特别慢。服务器mysql版本：[root@localhost ~]# mysql -Vmysql Ver 14.14 Distrib 5.6.25, for linux-glibc2.5 (x8...
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：1024
设计师：我叫白小胖
返回首页
程序源日志
CSDN认证博客专家
CSDN认证企业博客
码龄79天
企业员工
190
原创
1435
周排名
9895
总排名
2万+
访问
等级
1917
积分
1920
粉丝
获赞
评论
45
收藏
私信
关注
热门文章
2023年Java面试题大全（最新版版）面试题附答案详解，看完BTA可进
1067
MySQL数据库死锁了，该怎么办？一文全解最新教程
749
MySQL5.7版本安装配置教程（超级详细）
728
全新java架构技术框架Quarkus实战最详细文档(2023年最新)
567
后端程序员必备的Linux基础知识+常见命令（2023年最新版教程）
449
分类专栏
组件学习
22篇
Java进阶
121篇
数据库
21篇
Java
44篇
项目
3篇
大数据
1篇
框架
5篇
面试题
2篇
算法
1篇
最新评论
【MySQL数据库】表数据多久刷一次盘？一文带你搞懂，附有图片
33A11:
还有个问题：就是当lru链表触发淘汰策略了，那些需要淘汰的页就需要被刷到磁盘，但是有可能这些页只是用来查询了，并不是脏页，这个时候mysql是如何判断需要淘汰的页是不是脏页？难道是去flush链表遍历查找的？
【MySQL数据库】表数据多久刷一次盘？一文带你搞懂，附有图片
33A11:
博主，想问两个问题：
1、脏页存放到flush链表的前提是不是需要读取这个页的事务先提交才行？
2、mysql如何处理并发情况的下多个程序读取同一个页的问题，是加锁？怎么加的？
2023年Java面试题大全（最新版版）面试题附答案详解，看完BTA可进
Daniel__Wu:
你有毛病吧？给题目不给答案。
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
明明加了唯一索引，为什么还是产生重复数据？一文带你了解
4种 Redis 集群方案介绍+优缺点对比，一文带你了解
Redis主从、哨兵、 Cluster集群一锅端，一篇文字搞懂
2023
02月
51篇
01月
35篇
2022年104篇
目录
目录
分类专栏
组件学习
22篇
Java进阶
121篇
数据库
21篇
Java
44篇
项目
3篇
大数据
1篇
框架
5篇
面试题
2篇
算法
1篇
目录
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
程序源日志
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值