mysql数据库大量查询次数如何优化

mysql中怎样对大批量级的数据查询进行优化~

在我们使用MySQL数据库时，比较常用也是查询，包括基本查询，关联查询，条件查询等等，对于同一个操作，SQL语句的实现有很多种写法，但是不同的写法查询的性能可能会有很大的差异。这里主要介绍下select查询优化的要点。

1. 使用慢查询日志去发现慢查询。
2. 使用执行计划去判断查询是否正常运行。
3. 总是去测试你的查询看看是否他们运行在最佳状态下 –久而久之性能总会变化。
4. 避免在整个表上使用count(*),它可能锁住整张表。
5. 使查询保持一致以便后续相似的查询可以使用查询缓存。
6. 在适当的情形下使用GROUP BY而不是DISTINCT。
7. 在WHERE, GROUP BY和ORDER BY子句中使用有索引的列。
8. 保持索引简单,不在多个索引中包含同一个列。
9. 有时候MySQL会使用错误的索引,对于这种情况使用USE INDEX。
10. 检查使用SQL_MODE=STRICT的问题。
11.对于记录数小于5的索引字段，在UNION的时候使用LIMIT不是是用OR.
12. 为了 避免在更新前SELECT，使用INSERT ON DUPLICATE KEY或者INSERT IGNORE ,不要用UPDATE去实现。
3. 不要使用 MAX,使用索引字段和ORDER BY子句。
14. 避免使用ORDER BY RAND().
15. LIMIT M，N实际上可以减缓查询在某些情况下，有节制地使用。
16. 在WHERE子句中使用UNION代替子查询。
17. 对于UPDATES（更新），使用 SHARE MODE（共享模式），以防止独占锁。
18. 在重新启动的MySQL，记得来温暖你的数据库，以确保您的数据在内存和查询速度快。
19. 使用DROP TABLE，CREATE TABLE DELETE FROM从表中删除所有数据。
20. 最小化的数据在查询你需要的数据，使用*消耗大量的时间。
21. 考虑持久连接，而不是多个连接，以减少开销。
22. 基准查询，包括使用服务器上的负载，有时一个简单的查询可以影响其他查询。
23. 当负载增加您的服务器上，使用SHOW PROCESSLIST查看慢的和有问题的查询。
24. 在开发环境中产生的镜像数据中 测试的所有可疑的查询。
来源：PHP程序员雷雪松的博客

其实你这个需要程序和数据库有一致的设计。可考虑分区。
通过电话前缀来分区，以下只是一个形式，不推荐用中文命名，
这样，只要用户不填写电话，那么前三字符就是xxx，自动会放入 ZFU区。

CREATE TABLE Customer
(
ID INT NOT NULL,
Mobile_PerNO CHAR(3) DEFAULT 'xxx',
Mobile VARCHAR(30)
)
PARTITION BY LIST(Mobile_PerNO)
PARTITION 联通186 VALUES IN (133),
PARTITION 移动139 VALUES IN (139),
PARTITION 电信133 VALUES IN (133),
PARTITION ZFU VALUES IN (xxx)
);

其次你过于依赖数据库而成形的程序，用点不客气的话说，那就是耦合极高的设计。
你其实完全可以在注册时，写入验证，一个手机号就能注册一次。左右打掉空格，这样手机上就能建立唯一索引。 使用LIKE ‘133%’ 至少性能上有一定的飞跃。

至于你的第二个SQL， 在时间和发送号码上可以建立索引，然后条件上写入时间。
也可以使用hash方式按照年季度分区。

理论上 性能提升百倍还是一点问题都没有的。

分区资料 看官方文档。

MySQL 8.0.16 已经发布，它像往常一样增强了组复制 Group Replication 功能。

这篇文章介绍了 MySQL 8.0.16 为 Group Replication 带来的新功能：

Message fragmentation（信息碎片化）。

背景

Group Replication 目前使用 XCom（一种组通信引擎），特点：原子性，组员状态检测等。每个成员的组复制插件先将信息转发到本地 XCom，再由 XCom 最终以相同的顺序将信息传递给每个组成员的 Group Replication 插件。

XCom 由单线程实现。当一些成员广播信息过大时，XCom 线程必须花费更多的时间来处理那个大信息。如果成员的 XCom 线程忙于处理大信息的时间过长，它可能会去查看其他成员的 XCom 实例。例如，忙碌的成员失效。如果是这样，该组可以从该组中驱逐忙碌的成员。

MySQL 8.0.13 新增  group_replication_member_expel_timeout  系统变量，您可以通过它来调整将成员从组中驱逐的时间。例如，怀疑成员失败，但成员实际上忙于处理大信息，给成员足够的时间来完成处理。在这种情况下，是否为成员增加驱逐超时的设置是一种权衡。有可能等了很久，该成员实际真的失效了。

Message fragmentation（信息碎片化）

MySQL 8.0.16 的 Group Replication 插件新增用来处理大信息的功能：信息碎片化。

简而言之，您可以为成员的广播信息指定最大值。超过最大值的信息将分段为较小的块传播。

您可以使用  group_replication_communication_max_message_size  系统变量指定允许的信息最大值（默认值为10 MiB）。

示例

让我们用一个例子来解释新功能。图1显示了当绿色成员向组广播信息时，新功能是如何处理的。

图1 对传出信息进行分段

1. 如果信息大小超过用户允许的最大值（group_replication_communication_max_message_size），则该成员会将信息分段为不超过最大值的块。

2. 该成员将每个块广播到该组，即将每个块单独转发到XCom。

XCom 最终将这些块提供给组成员。下面三张图展示出了中间绿色成员发送大信息时工作的新特征。

图2a 重新组合传入的信息：第一个片段

3. 成员得出结论，传入的信息实际上是一个更大信息的片段。

4. 成员缓冲传入的片段，因为他们认为片段是仍然不完整的信息的一部分。（片段包含必要的元数据以达到这个结论。）

图2b 重新组合传入的信息：第二个片段

5. 见上面的第3步。

6. 见上面的第4步。

图2c 重新组合传入的信息：最后一个片段

7. 成员得出结论，传入的信息实际上是一个更大信息的片段。

8. 成员得出结论，传入的片段是最后一个缺失的块，重新组合原始信息，然后对其进行处理，传输完毕。

结论

MySQL 8.0.16 已经发布后，组复制现在可以确保组内交换的信息大小不超过用户定义的阈值。这可以防止组内误判而驱逐成员。

先把excel的数据导入到一个临时新建的表，然后从这个新表插入到原表。
insert into orig_table select * from new_table where not exists ( select 1 from
orig_table where column=new_table.column ... )

你是如何用excel的数据去对比mysql中表的数据的？是将excel导入到mysql中吗？

---

蕲春县18586613400： 数据量大的时候,怎么优化mysql查询 - ？
貊卓血液： 查询的时候通过建索引解决. 举例说明: create table datasources ( year_id smallint unsigned not null, month_id tinyint unsigned not null, datasource_id tinyint unsigned not null, id int unsigned not null, -- needed for uniqueness data int unsigned ...

蕲春县18586613400： 求助mysql频繁查询.严重占用CPU.怎么办 - ？
貊卓血液： 方法有很多,你可以参考一下:1、针对大量查询的表建立合适的索引,减少每次查询速度.2、对数据库做读写分离,主库用于写操作,备库用于读操作,这样可以很好的分担主库的压力,提高响应速度.

蕲春县18586613400： 如果有一个特别大的访问量,到数据库上,怎么做优化 - ？
貊卓血液： 1、使用缓存技术如redis2、数据表经常检查,更新,修复3、优化sql语句,而别是查询语句4、当只要一行数据时使用 LIMIT 1 5、为搜索字段建立索引,这样查询速度更快6、在Join表的时候使用相当类型的例,并将其索引 7、避免 SELECT * 这种查询方法,用什么数据取什么数据,这属于sql优化8、永远为每张表设置一个ID ,并作为主键9、使用 ENUM 而不是 VARCHAR10、从 PROCEDURE ANALYSE() 取得建议,PROCEDURE ANALYSE() 会让 MySQL 帮你去分析你的字段和其实际的数据,并会给你一些有用的建议11、尽可能的使用 NOT NULL

蕲春县18586613400： mysql数据库表太大查询慢优化的几种方法 - ？
貊卓血液： 优化方案:主从同步+读写分离:这个表在有设备条件的情况下,读写分离,这样能减少很多压力,而且数据稳定性也能提高 纵向分表:根据原则,每个表最多不要超过5个索引,纵向拆分字段,将部分字段拆到一个新表 通常我们按以下原则进...

蕲春县18586613400： 如何优化mysql count方法,数据量大的时候,查询挺慢 - ？
貊卓血液： where语句出现的字段最好没有null的记录,根据where语句的查询顺序建立起索引,where语句中最好不要出现系统自带函数以及自定义函数等,如果多表关联的话,可以去网上找找怎么优化吧,可以用自带的explain,来优化语句.

蕲春县18586613400： mysql查询占用大量内存,怎么优化 - ？
貊卓血液： 数据库的优化么常见的有优化索引,优化查询语句.从设计层面上可以加缓存处理,可以对mysql进行读写分离的设计,这样可以使用优化查询的SQL引擎.

蕲春县18586613400： 数据库表数据量大怎么优化查询速度 - ？
貊卓血液： 下面以关系数据库系统Informix为例,介绍改善用户查询计划的方法.1.合理使用索引索引是数据库中重要的数据结构,它的根本目的就是为了提高查询效率.现在大多数的数据库产品都采用IBM最先提出的ISAM索引结构.索引的使用要恰到...

蕲春县18586613400： Mysql数据库优化可以从哪几个方面优化 - ？
貊卓血液： 1、选取最适用的字段属性 MySQL可以很好的支持大数据量的存取,但是一般说来,数据库中的表越小,在它上面执行的查询也就会越快.因此,在创建表的时候,为了获得更好的性能,我们可以将表中字段的宽度设得尽可能小. 2、使...

蕲春县18586613400： MYSQL数据量过亿了,如何提高查询效率 - ？
貊卓血液： 不进行结构优化的话只能用缓存了 讲结果缓存进 memcache ,并记录缓存 hits 和 时间,每次先检查是否在memcache 里,在的话直接返回 不在的话就去数据库查询,然后看memcache是否满了,不满就添加到memcache里.否则就不添加. 另外运行一个守护进程,对缓存时间过长并且hits 很低的记录删除掉,清除memcache空间.

蕲春县18586613400： MySQL数据库基本的三个优化法则是什么? - ？
貊卓血液： (1)系统服务优化,把MySQL的key_buffer、cache_buffer、query_cache等增加容量 (2)给所有经常查询的字段增加适当的索引 (3)优化SQL语句,减少Ditinct、Group、Join等等语句的操作