如何提高上百万级记录MySQL数据库查询速度
关于mysql处理百万级以上的数据时如何提高其查询速度的方法
最近一段时间由于工作需要，开始关注针对Mysql数据库的select查询语句的相关优化方法。
由于在参与的实际项目中发现当mysql表的数据量达到百万级时，普通SQL查询效率呈直线下降，而且如果where中的查询条件较多时，其查询速度简直无法容忍。曾经测试对一个包含400多万条记录（有索引）的表执行一条条件查询，其查询时间竟然高达40几秒，相信这么高的查询延时，任何用户都会抓狂。因此如何提高sql语句查询效率，显得十分重要。以下是网上流传比较广泛的30种SQL查询语句优化方法：
1、应尽量避免在 where 子句中使用!=或操作符，否则将引擎放弃使用索引而进行全表扫描。
2、对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。
3、应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：
select id from t where num is null
可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：
select id from t where num=0
4、尽量避免在 where 子句中使用 or 来连接条件，否则将导致引擎放弃使用索引而进行全表扫描，如：
select id from t where num=10 or num=20
可以这样查询：
select id from t where num=10
union all
select id from t where num=20
5、下面的查询也将导致全表扫描：(不能前置百分号)
select id from t where name like ‘%c%’
若要提高效率，可以考虑全文检索。
6、in 和 not in 也要慎用，否则会导致全表扫描，如：
select id from t where num in(1,2,3)
对于连续的数值，能用 between 就不要用 in 了：
select id from t where num between 1 and 3
7、如果在 where 子句中使用参数，也会导致全表扫描。因为SQL只有在运行时才会解析局部变量，但优化程序不能将访问计划的选择推迟到运行时；它必须在编译时进行选择。然 而，如果在编译时建立访问计划，变量的值还是未知的，因而无法作为索引选择的输入项。如下面语句将进行全表扫描：
select id from t where num=@num
可以改为强制查询使用索引：
select id from t with(index(索引名)) where num=@num
8、应尽量避免在 where 子句中对字段进行表达式操作，这将导致引擎放弃使用索引而进行全表扫描。如：
select id from t where num/2=100
应改为:
select id from t where num=100*2
9、应尽量避免在where子句中对字段进行函数操作，这将导致引擎放弃使用索引而进行全表扫描。如：
select id from t where substring(name,1,3)=’abc’–name以abc开头的id
select id from t where datediff(day,createdate,’2005-11-30′)=0–’2005-11-30′生成的id
应改为:
select id from t where name like ‘abc%’
select id from t where createdate>=’2005-11-30′ and createdate<’2005-12-1′
10、不要在 where 子句中的“=”左边进行函数、算术运算或其他表达式运算，否则系统将可能无法正确使用索引。
11、在使用索引字段作为条件时，如果该索引是复合索引，那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引，否则该索引将不会被使 用，并且应尽可能的让字段顺序与索引顺序相一致。
12、不要写一些没有意义的查询，如需要生成一个空表结构：
select col1,col2 into #t from t where 1=0
这类代码不会返回任何结果集，但是会消耗系统资源的，应改成这样：
create table #t(…)
13、很多时候用 exists 代替 in 是一个好的选择：
select num from a where num in(select num from b)
用下面的语句替换：
select num from a where exists(select 1 from b where num=a.num)
14、并不是所有索引对查询都有效，SQL是根据表中数据来进行查询优化的，当索引列有大量数据重复时，SQL查询可能不会去利用索引，如一表中有字段 sex，male、female几乎各一半，那么即使在sex上建了索引也对查询效率起不了作用。
15、索引并不是越多越好，索引固然可以提高相应的 select 的效率，但同时也降低了 insert 及 update 的效率，因为 insert 或 update 时有可能会重建索引，所以怎样建索引需要慎重考虑，视具体情况而定。一个表的索引数最好不要超过6个，若太多则应考虑一些不常使用到的列上建的索引是否有 必要。
16.应尽可能的避免更新 clustered 索引数据列，因为 clustered 索引数据列的顺序就是表记录的物理存储顺序，一旦该列值改变将导致整个表记录的顺序的调整，会耗费相当大的资源。若应用系统需要频繁更新 clustered 索引数据列，那么需要考虑是否应将该索引建为 clustered 索引。
17、尽量使用数字型字段，若只含数值信息的字段尽量不要设计为字符型，这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接时会 逐个比较字符串中每一个字符，而对于数字型而言只需要比较一次就够了。
18、尽可能的使用 varchar/nvarchar 代替 char/nchar ，因为首先变长字段存储空间小，可以节省存储空间，其次对于查询来说，在一个相对较小的字段内搜索效率显然要高些。
19、任何地方都不要使用 select * from t ，用具体的字段列表代替“*”，不要返回用不到的任何字段。
20、尽量使用表变量来代替临时表。如果表变量包含大量数据，请注意索引非常有限（只有主键索引）。
21、避免频繁创建和删除临时表，以减少系统表资源的消耗。
22、临时表并不是不可使用，适当地使用它们可以使某些例程更有效，例如，当需要重复引用大型表或常用表中的某个数据集时。但是，对于一次性事件，最好使 用导出表。
23、在新建临时表时，如果一次性插入数据量很大，那么可以使用 select into 代替 create table，避免造成大量 log ，以提高速度；如果数据量不大，为了缓和系统表的资源，应先create table，然后insert。
24、如果使用到了临时表，在存储过程的最后务必将所有的临时表显式删除，先 truncate table ，然后 drop table ，这样可以避免系统表的较长时间锁定。
25、尽量避免使用游标，因为游标的效率较差，如果游标操作的数据超过1万行，那么就应该考虑改写。
26、使用基于游标的方法或临时表方法之前，应先寻找基于集的解决方案来解决问题，基于集的方法通常更有效。
27、与临时表一样，游标并不是不可使用。对小型数据集使用 FAST_FORWARD 游标通常要优于其他逐行处理方法，尤其是在必须引用几个表才能获得所需的数据时。在结果集中包括“合计”的例程通常要比使用游标执行的速度快。如果开发时 间允许，基于游标的方法和基于集的方法都可以尝试一下，看哪一种方法的效果更好。
28、在所有的存储过程和触发器的开始处设置 SET NOCOUNT ON ，在结束时设置 SET NOCOUNT OFF 。无需在执行存储过程和触发器的每个语句后向客户端发送 DONE_IN_PROC 消息。
29、尽量避免向客户端返回大数据量，若数据量过大，应该考虑相应需求是否合理。
30、尽量避免大事务操作，提高系统并发能力。
有时候我们会不小心对一个大表进行了 update，比如说写错了 where 条件......
此时，如果 kill 掉 update 线程，那回滚 undo log 需要不少时间。如果放置不管，也不知道 update 会持续多久。
那我们能知道 update 的进度么？
实验
我们先创建一个测试数据库：
快速创建一些数据：
连续执行同样的 SQL 数次，就可以快速构造千万级别的数据：
查看一下总的行数：
我们来释放一个大的 update：
然后另起一个 session，观察 performance_schema 中的信息：
可以看到，performance_schema 会列出当前 SQL 从引擎获取的行数。
等 SQL 结束后，我们看一下 update 从引擎总共获取了多少行：
可以看到该 update 从引擎总共获取的行数是表大小的两倍，那我们可以估算：update 的进度 = (rows_examined) / (2 * 表行数)
💡小贴士
information_schema.tables 中，提供了对表行数的估算，比起使用 select count(1) 的成本低很多，几乎可以忽略不计。
那么是不是所有的 update，从引擎中获取的行数都会是表大小的两倍呢？这个还是要分情况讨论的，上面的 SQL 更新了主键，如果只更新内容而不更新主键呢？我们来试验一下：
等待 update 结束，查看 row_examined，发现其刚好是表大小：
那我们怎么准确的这个倍数呢？
一种方法是靠经验：update 语句的 where 中会扫描多少行，是否修改主键，是否修改唯一键，以这些条件来估算系数。
另一种方法就是在同样结构的较小的表上试验一下，获取倍数。
这样，我们就能准确估算一个“不小心”执行的大型 update 的进度了。
最近一段时间由于工作需要，开始关注针对Mysql数据库的select查询语句的相关优化方法。
由于在参与的实际项目中发现当mysql表的数据量达到百万级时，普通SQL查询效率呈直线下降，而且如果where中的查询条件较多时，其查询速度简直无法容忍。曾经测试对一个包含400多万条记录（有索引）的表执行一条条件查询，其查询时间竟然高达40几秒，相信这么高的查询延时，任何用户都会抓狂。因此如何提高sql语句查询效率，显得十分重要。以下是网上流传比较广泛的30种SQL查询语句优化方法：
1、应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。
2、对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。
3、应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：
select id from t where num is null
可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：
select id from t where num=0
4、尽量避免在 where 子句中使用 or 来连接条件，否则将导致引擎放弃使用索引而进行全表扫描，如：
select id from t where num=10 or num=20
可以这样查询：
select id from t where num=10
union all
select id from t where num=20
5、下面的查询也将导致全表扫描：(不能前置百分号)
select id from t where name like ‘%c%’
若要提高效率，可以考虑全文检索。
6、in 和 not in 也要慎用，否则会导致全表扫描，如：
select id from t where num in(1,2,3)
对于连续的数值，能用 between 就不要用 in 了：
select id from t where num between 1 and 3
7、如果在 where 子句中使用参数，也会导致全表扫描。因为SQL只有在运行时才会解析局部变量，但优化程序不能将访问计划的选择推迟到运行时；它必须在编译时进行选择。然 而，如果在编译时建立访问计划，变量的值还是未知的，因而无法作为索引选择的输入项。如下面语句将进行全表扫描：
select id from t where num=@num
可以改为强制查询使用索引：
select id from t with(index(索引名)) where num=@num
8、应尽量避免在 where 子句中对字段进行表达式操作，这将导致引擎放弃使用索引而进行全表扫描。如：
select id from t where num/2=100
应改为:
select id from t where num=100*2
9、应尽量避免在where子句中对字段进行函数操作，这将导致引擎放弃使用索引而进行全表扫描。如：
select id from t where substring(name,1,3)=’abc’–name以abc开头的id
select id from t where datediff(day,createdate,’2005-11-30′)=0–’2005-11-30′生成的id
应改为:
select id from t where name like ‘abc%’
select id from t where createdate>=’2005-11-30′ and createdate<’2005-12-1′
10、不要在 where 子句中的“=”左边进行函数、算术运算或其他表达式运算，否则系统将可能无法正确使用索引。
11、在使用索引字段作为条件时，如果该索引是复合索引，那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引，否则该索引将不会被使 用，并且应尽可能的让字段顺序与索引顺序相一致。
12、不要写一些没有意义的查询，如需要生成一个空表结构：
select col1,col2 into #t from t where 1=0
这类代码不会返回任何结果集，但是会消耗系统资源的，应改成这样：
create table #t(…)
13、很多时候用 exists 代替 in 是一个好的选择：
select num from a where num in(select num from b)
用下面的语句替换：
select num from a where exists(select 1 from b where num=a.num)
14、并不是所有索引对查询都有效，SQL是根据表中数据来进行查询优化的，当索引列有大量数据重复时，SQL查询可能不会去利用索引，如一表中有字段 sex，male、female几乎各一半，那么即使在sex上建了索引也对查询效率起不了作用。
15、索引并不是越多越好，索引固然可以提高相应的 select 的效率，但同时也降低了 insert 及 update 的效率，因为 insert 或 update 时有可能会重建索引，所以怎样建索引需要慎重考虑，视具体情况而定。一个表的索引数最好不要超过6个，若太多则应考虑一些不常使用到的列上建的索引是否有 必要。
16.应尽可能的避免更新 clustered 索引数据列，因为 clustered 索引数据列的顺序就是表记录的物理存储顺序，一旦该列值改变将导致整个表记录的顺序的调整，会耗费相当大的资源。若应用系统需要频繁更新 clustered 索引数据列，那么需要考虑是否应将该索引建为 clustered 索引。
17、尽量使用数字型字段，若只含数值信息的字段尽量不要设计为字符型，这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接时会 逐个比较字符串中每一个字符，而对于数字型而言只需要比较一次就够了。
18、尽可能的使用 varchar/nvarchar 代替 char/nchar ，因为首先变长字段存储空间小，可以节省存储空间，其次对于查询来说，在一个相对较小的字段内搜索效率显然要高些。
19、任何地方都不要使用 select * from t ，用具体的字段列表代替“*”，不要返回用不到的任何字段。
20、尽量使用表变量来代替临时表。如果表变量包含大量数据，请注意索引非常有限（只有主键索引）。
21、避免频繁创建和删除临时表，以减少系统表资源的消耗。
22、临时表并不是不可使用，适当地使用它们可以使某些例程更有效，例如，当需要重复引用大型表或常用表中的某个数据集时。但是，对于一次性事件，最好使 用导出表。
23、在新建临时表时，如果一次性插入数据量很大，那么可以使用 select into 代替 create table，避免造成大量 log ，以提高速度；如果数据量不大，为了缓和系统表的资源，应先create table，然后insert。
24、如果使用到了临时表，在存储过程的最后务必将所有的临时表显式删除，先 truncate table ，然后 drop table ，这样可以避免系统表的较长时间锁定。
25、尽量避免使用游标，因为游标的效率较差，如果游标操作的数据超过1万行，那么就应该考虑改写。
26、使用基于游标的方法或临时表方法之前，应先寻找基于集的解决方案来解决问题，基于集的方法通常更有效。
27、与临时表一样，游标并不是不可使用。对小型数据集使用 FAST_FORWARD 游标通常要优于其他逐行处理方法，尤其是在必须引用几个表才能获得所需的数据时。在结果集中包括“合计”的例程通常要比使用游标执行的速度快。如果开发时 间允许，基于游标的方法和基于集的方法都可以尝试一下，看哪一种方法的效果更好。
28、在所有的存储过程和触发器的开始处设置 SET NOCOUNT ON ，在结束时设置 SET NOCOUNT OFF 。无需在执行存储过程和触发器的每个语句后向客户端发送 DONE_IN_PROC 消息。
29、尽量避免向客户端返回大数据量，若数据量过大，应该考虑相应需求是否合理。
30、尽量避免大事务操作，提高系统并发能力。
先安装 Apache Spark，查询数据库的速度可以提升10倍。
在已有的 MySQL 服务器之上使用 Apache Spark （无需将数据导出到 Spark 或者 Hadoop 平台上），这样至少可以提升 10 倍的查询性能。使用多个 MySQL 服务器（复制或者 Percona XtraDB Cluster）可以让我们在某些查询上得到额外的性能提升。你也可以使用 Spark 的缓存功能来缓存整个 MySQL 查询结果表。
思路很简单：Spark 可以通过 JDBC 读取 MySQL 上的数据，也可以执行 SQL 查询，因此我们可以直接连接到 MySQL 并执行查询。那么为什么速度会快呢？对一些需要运行很长时间的查询（如报表或者BI），由于 Spark 是一个大规模并行系统，因此查询会非常的快。MySQL 只能为每一个查询分配一个 CPU 核来处理，而 Spark 可以使用所有集群节点的所有核。在下面的例子中，我们会在 Spark 中执行 MySQL 查询，这个查询速度比直接在 MySQL 上执行速度要快 5 到 10 倍。
另外，Spark 可以增加“集群”级别的并行机制，在使用 MySQL 复制或者 Percona XtraDB Cluster 的情况下，Spark 可以把查询变成一组更小的查询（有点像使用了分区表时可以在每个分区都执行一个查询），然后在多个 Percona XtraDB Cluster 节点的多个从服务器上并行的执行这些小查询。最后它会使用map/reduce 方式将每个节点返回的结果聚合在一起形成完整的结果。
地震的震级每升高一级所释放的能量要增加对少?
◢一般将小于1级的地震称为超微震 ◢大于、等于1级,小于3级的称为弱震或微震 ◢大于、等于3级,小于4.5级的称为有感地震 ◢大于、等于4.5级,小于6级的称为中强震 ◢大于、等于6级,小于7级的称为强震 ◢大于、等于7级的称为大地震 ◢8级以及8级以上的称为巨大地震。 迄今为止,世界上记录到最大的地震为...
中国人体器官捐献十年累计量上百万,这对医学有何帮助呢?
人体器官捐献对医学是非常重要的的一项贡献。能够为医学治疗和医学研究作出更大的帮助。现在由于人们对于人体器官贡献的了解日益加深，不再像以前那样对人体器官的捐献感到十分抵触，所以十年来，人体器官捐献的数量不断上升，甚至达到了百万级别的数量。一、为医学治疗提供了重要保障首先，人们不断累积的器官...
如何做精神上的百万富翁?
或者表明他的品味被培养起来,一切美丽的事物都能给他带来心灵上的愉悦呢?这时他的道德已被提升了,变得敏锐起来,使他可以和天堂直接通话呢?不、不、一切都...2019-02-16 如何成为百万富翁? 2019-02-16 为什么创造性能让你成为一个百万富翁? 更多类似问题 > 为你推荐: 特别推荐 国家会在什么情况下撤侨? 大S...
百万豪华怎么选?揽胜运动版和卡宴,换代vs改款谁更值得选
百万级审美，新风格与老设计谁更讨喜？揽胜运动版和卡宴最新款都是2024款，2024款揽胜运动是这一代的设计，而2024款保时捷卡宴属于中期改款，设计风格仍然是上一代的审美。2024款揽胜运动版车头配备了全新智能数字LED大灯，格栅采用熏黑化设计，视觉冲击感十足，辨识度高，车侧和车尾都没有特别复杂的肌肉...
经常的摘抄记录会有何影响
以手边十余本读书笔记算，每本两三百页，每页两三百字，鄙人摘抄字数有望百万，此间蛋疼溢于言表。堪称是个胡乱摘抄界的头牌psycho，好读书不求甚解的典范idiot，焉有不答之理。摘抄的习惯是从大学毕业两年后开始的，之前也算小有所读，无奈都是囫囵吞枣，一本书读完了，就明白个大致情节或者说...
江苏高考状元被清北拒收后,获百万奖学金进入港大,其现状如何?
毕竟对于这样的学生来说，国家也是非常重视他们的成长的，即便有一点点偏科，但是也可以证明她在学习这条路上是坚定不移，是非常努力的，值得一提的是香港大学还授予了她百万级别的奖学金，也算是对她的肯定了。现在的白湘菱在香港大学学业有成，成绩也取得优秀，对得起她江苏状元的头衔。高考虽然不能...
经常的摘抄记录会有何影响?
我做事总是有一搭无一搭，这样才比较容易长久。随身带着笔和小本子。有喜欢的东西就记下来，诗句、台词、对白都有，搞笑的文艺的都有，中文英文也都有。看书的时候方便记就记，不方便记就简单写个页号。反正我从不借书看，也从不卖书，想起来了就拿出书来翻就是。有时会用手机文档来记录。有时...
开百万级的丰田车和百万级的“BBA”有何区别?
在探讨百万级汽车领域，丰田与BBA（奔驰、宝马、奥迪）之间的对比无疑成为焦点。在这一价位段，丰田的陆巡和埃尔法作为代表性车型，它们与BBA的竞品有何异同呢？首先，让我们聚焦丰田陆巡，这款中大型SUV以其卓越的越野能力闻名。相较于同级别的奔驰GLE、宝马X5和奥迪Q7，陆巡的内饰设计可能显得朴实无...
中超再闹笑话:国脚13场0进球3助攻,奖金上百万,国足谈何进步?
最近几个赛季，武汉足球俱乐部都在降级的边缘徘徊，为了改变球队不堪的现状，也是作出了赢球承诺。据悉，在武汉足球俱乐部所作的承诺中，包括5000万的保级奖金，豪横程度可见一般，而根据相关媒体披露的消息，俱乐部所拖欠的蒿俊闵的奖金，在百万以上。如今根据媒体披露的消息，武汉足球俱乐部的意思是，希望球员...
何超莲晒的护肤品,是定制款,需上百万,网友:明星的真实消费
何超莲颜值高就算了，关键是"豪"啊，赌王的千金，过上的生活是可想而知的奢华。最近就翻了何超莲的社交软件看了一下，然后就被惊呆了。为什么呢？是因为赌王千金何超莲何超莲晒的护肤品，是定制款，需上百万，网友：明星的真实消费！何超莲在用的这个牌子，是 全球最贵定制级 的护肤...
桓亚敬柱： 对大数据的数据库管理优化的总结:常用的优化sql----突出快字,使完成操作的时间最短1、用索引提高效率:2、选择有效率的表名顺序,及数据结构及字段; 3、使用DECODE函数可以避免重复扫描相同记录或重复连接相同的表...
滑县18429753882： mysql快速插入百万级测试数据,最好的方式是什么? - ？
桓亚敬柱： 快速插入: insert into test select * from test; 多次执行,瞬间能达到百万级的插入量
滑县18429753882： mysql数据库有100万+数据,查询起来很慢了,如何优化 - ？
桓亚敬柱： 你好,你可以根据条件去添加索引,例如:<br> <br>一、<br>所有mysql索引列类型都可以被索引,对来相关类使用索引可以提高select查询性能,根据mysql索引数,可以是最大索引与最小索引,每种存储引擎对每个表的至少支持16的索引.总...
滑县18429753882： mysql 如何更好的给一个千万级数据量的表增 - ？
桓亚敬柱： 例子:数据表 collect ( id, title ,info ,vtype) 就这4个字段,其中 title 用定长,info 用text, id 是逐渐,vtype是tinyint,vtype是索引.这是一个基本的新闻系统的简单模型.现在往里面填充数据,填充10万篇新闻.最后collect 为 10万条记录,数据库表...
滑县18429753882： mysql千万级数据update怎么优化 - ？
桓亚敬柱： 第一优化你的sql和索引;第二加缓存,memcached,redis;第三以上都做了后,还是慢,就做主从复制或主主复制,读写分离,可以在应用层做,效率高,也可以用三方工具,第三方工具推荐360的atlas,其它的要么效率不高,要么没人维护;...
滑县18429753882： 如何优化一个有100万条记录的数据库表 - ？
桓亚敬柱： 一:如果有唯一字段的,创建主键和索引,提高查询主键字段效率;二:如果这些数据是变更的,可以通过时间来创建分区;三:如果部分老数据都是不需要的数据(不常用),可以定期将老数据备份到其他位置;四:如果是查询的话,可以通过分页查询的形式进行,不要一次性读取过多数据.
滑县18429753882： Mysql百万数据 如何快速 【返回总记录条数】!!!？
桓亚敬柱： select count(*) as total from 表名
滑县18429753882： 如何提高SQL Server大数据条件下的查询速度? - ？
桓亚敬柱： 1.关于索引优化建索引的选择必须结合SQL查询、修改、删除语句的需要,一般的说法是在WHERE里经常出现的字段建索引.如果在WHERE经常是几个字段一起出现而且是用AND连接的,那就应该建这几个字段一起的联合索引,而且次序也...
滑县18429753882： sql server百万级的数据,如何提高查询效率?？
桓亚敬柱： 楼上说的是对的,还可以用过程,视图可以大大提高查询速度,在做分页或都某段程序查询数据库次数很多的话可以用!
滑县18429753882： mysql数据库百万级以上数据,如何对其进行边查询变更新? - ？
桓亚敬柱： 如果查询简单的话,就一条一条操作,慢慢跑去吧 看你这个没什么条件的话,怎么都得每条数据都操作一遍的 分段操作或者别的办法,也是相当于最后每条数据都操作了一遍 所以就没什么必要了
