k8s中的Mysql数据库持久化存储

~  

一、配置：

环境：

CentOS7 

VMware

笔者配置了四台虚拟机：

K8S-Master节点: 3GB内存   2核CPU   20GB硬盘空间

K8S-node1节点:  2GB内存   2核CPU   30GB硬盘空间

K8S-node2节点:  2GB内存   2核CPU   30GB硬盘空间

镜像仓库节点:      2GB内存   2核CPU   50GB硬盘空间

二、节点规划：

使用三台虚拟机搭建K8S集群，使用一台虚拟机搭建镜像仓库。

每台虚拟机配置两块网卡，其中一块为“NAT模式”，用于拉取镜像等功能。

另外一块网卡为“仅主机模式”，用于集群节点间的通信。归划如下：

K8s-master节点:

仅主机模式：10.10.10.200

NAT模式：  192.168.200.130

K8S-node1节点:

仅主机模式：10.10.10.201

NAT模式：  192.168.200.131

K8S-node2节点:

仅主机模式：10.10.10.202

NAT模式：  192.168.200.132

镜像仓库节点:

仅主机模式：10.10.10.101

NAT模式：  192.168.200.150

三、版本信息

Linux内核版本：

Linux version 3.10.0-862.el7.x86_64 (builder@kbuilder.dev.centos.org)

(gcc version 4.8.5 20150623 (Red Hat 4.8.5-28) (GCC) )

 #1 SMP Fri Apr 20 16:44:24 UTC 2018

K8s集群版本为1.15.0版本：

四、基于StatefulSet与PV/PVC的MySql持久化存储实验

1. 在每个节点安装nfs服务

在“镜像仓库”节点，执行以下命令：

yum install -y nfs-common nfs-utils rpcbind

在k8s集群，执行以下命令：

yum install -y nfs-utils rpcbind

2. 在“镜像仓库”节点下，配置nfs服务器

mkdir /nfs_mysql

Chmod 777 /nfs_mysql/

(在测试环境中，为了不考虑用户属性，暂时赋予777权限，但在生产环境不推荐这样做)

Chown nfsnobody /nfs_mysql/

echo “/nfs_mysql *(rw,no_root_squash,no_all_squash,sync)” >> /etc/exports

cat /etc/exports

/nfs_mysql *(rw,no_root_squash,no_all_squash,sync)

systemctl start rpcbind

systemctl start nfs

3. 测试nfs服务是否可用

mkdir /test

showmount -e 10.10.10.101

可见/nfs_mysql *已暴露于共享目录，接下来测试挂载是否可用：

在master节点下执行：

mount -t nfs 10.10.10.101:/nfs_mysql /test/

echo "hello-world">>/test/1.txt

在镜像仓库节点下查看1.txt是否存在，若存在则挂载成功：

可见nfs服务可以正常使用，接下来删除test目录和1.txt

在镜像仓库下：

[root@hub nfs_mysql]# rm -f 1.txt

在Master节点下:

[root@k8s-master ~]# umount /test/

[root@k8s-master ~]# rm -rf /test/

同理,依照以上步骤同时创建：（提供多个mysql副本进行挂载）

nfs_mysql1

nfs_mysql2

完成后需要重启nfs服务

systemctl restart rpcbind

systemctl restart nfs

最终效果：

4. 将nfs封装成pv

创建mysql_test文件夹，将yaml文件统一保存在此目录下

mkdir mysql_test

cd mysql_test

vim mysql-pv.yml

mysql-pv.yml配置如下：

apiVersion: v1

kind: PersistentVolume

metadata:

  name: mysql-pv

spec:

  capacity:

    storage: 5Gi

  accessModes:

    -  ReadWriteOnce

  persistentVolumeReclaimPolicy: Retain

  storageClassName: nfs

  nfs:

    path: /nfs_mysql

    server: 10.10.10.101

---

apiVersion: v1

kind: PersistentVolume

metadata:

  name: mysql-pv1

spec:

  capacity:

    storage: 5Gi

  accessModes:

    -  ReadWriteOnce

  persistentVolumeReclaimPolicy: Retain

  storageClassName: nfs

  nfs:

    path: /nfs_mysql1

    server: 10.10.10.101

---

apiVersion: v1

kind: PersistentVolume

metadata:

  name: mysql-pv2

spec:

  capacity:

    storage: 5Gi

  accessModes:

    -  ReadWriteOnce

  persistentVolumeReclaimPolicy: Retain

  storageClassName: nfs

  nfs:

    path: /nfs_mysql2

    server: 10.10.10.101

注意：

在k8s集群15版本中recycle回收策略已被删除，只能用retain策略或者Delete策略。这里我们使用 persistentVolumeReclaimPolicy: Retain

 

执行命令：

kubectl create -f mysql-pv.yml

kubectl get pv

如图所示，即为Pv创建成功。

5. 部署MySQL，在mysql_test目录下编写mysql.yml，配置文件如下

apiVersion: v1

kind: Service

metadata:

  name: mysql

  labels:

    app: mysql

spec:

  ports:

  - port: 3306

    name: mysql

  clusterIP: None

  selector:

    app: mysql

---

apiVersion: apps/v1

kind: StatefulSet

metadata:

  name: mysql

spec:

  selector:

    matchLabels:

      app: mysql

  serviceName: "mysql"

  replicas: 3

  template:

    metadata:

      labels:

        app: mysql

    spec:

      containers:

      - name: mysql

        image: mysql:5.6

        env:

        - name: MYSQL_ROOT_PASSWORD

          value: password

        ports:

        - containerPort: 3306

          name: mysql

        volumeMounts:

        - name: mysql-persistent-storage

          mountPath: /var/lib/mysql

  volumeClaimTemplates:

  - metadata:

      name: mysql-persistent-storage

    spec:

      accessModes: ["ReadWriteOnce"]

      storageClassName: "nfs"

      resources:

        requests:

          storage: 1Gi  

执行以下命令，部署mysql服务：

kubectl create -f mysql.yml

如图可知，mysql按StatefulSet依次创建了mysql-0 mysql-1 mysql-2

查看各个Pod部在哪个节点：

6. 通过创建临时容器，使用MySQL客户端发送测试请求给MySQL master节点

注意：

主机名为mysql-0.mysql；跨命名空间的话，主机名请使用mysql-0.mysql. [NAMESPACE_NAME].如果没有指定命名空间，默认为default，即 mysql-0.mysql. default。

   

这里笔者打算关闭node2节点来模拟node2宕机，来测试是否实现数据的持久化存储，

所以我们向node2上的mysql1写入数据。

 

执行以下命令，访问mysql1：

kubectl run mysql-client --image=mysql:5.6 -it --rm --restart=Never -- mysql -h mysql-1.mysql.default -p password

创建数据库demo,并向messages表中写入hello-world

CREATE DATABASE demo; 

CREATE TABLE demo.messages (message VARCHAR(250)); 

INSERT INTO demo.messages VALUES ('hello-world');

如图所示

接下来我们来关闭k8s-node2虚拟机，模拟宕机

查看nodes的运行状态，可知node2的状态已转变为NotReady

一段时间后，k8s将Pod MySql -1迁移到节点k8s-node1

由于时间过长，笔者把三个Pod都删除重启后，验证数据：

MySQL服务恢复，数据完好无损！

---

苍山县17512195516： 如何从持久化存储中读取数据 - ？
始徐益心： 1.Sample PERSON Table 首先我数据库PERSON数据:2.模型 Person.java类应数据库PERSON表例 public class Person { private long id; private long orgId; private String name; private int salary;// Constructor …// Getter and Setter methods … }3....

苍山县17512195516： redis 速度有那么快吗 - ？
始徐益心： 您好,我来为您解答: 首先,我们知道,mysql是持久化存储,存放在磁盘里面,检索的话,会涉及到一定的IO,为了解决这个瓶颈,于是出现了缓存,比如现在用的最多的 memcached(简称mc).首先,用户访问mc,如果未命中,就去访...

苍山县17512195516： mysql中怎么存储数组 - ？
始徐益心： SQL没有数组这种类型,数组是一种数据结构的概念,跟关系型mysql数据存储持久化没有关系. 如果你要将数组的内容存储的mysql中,如 arr[n][m]二维数组,你创建一个table arr, 列是 A B,循环数组的每个元素,然后存储到对应的表中的A B列. 当然怎么存储到数据库中看你自己的需要,可以存到一个字段中,用分隔符分开,倒是取出来的时候直接字符串split得到数组.

苍山县17512195516： 选择数据库SQLite还是MySQL?？
始徐益心： Sqllite是轻量级数据库系统,一般用于本地数据库持久化.列如安卓开发将一些数据存到本地sqllite数据库里,再断网的时候读取的是本地数据库,所以有一些应用断网也能访问,比如存聊天记录,未存的就无法在断网情况下看到.为什么应用于本地嵌入式呢,参考sqllite缺点,如没有用户管理,吞吐量有限等等.Mysql也是轻量级数据库,既能够作为一个单独的应用程序应用在客户端服务器网络环境中,也能够作为一个库而嵌入到其他的软件中.因为开源免费,一般用于中小型网站的数据库.如果是要满足多用户同时访问,或者是网站访问量比较大是使用MYSQL比较合适.如果对你有帮助,望采纳!还有疑问请追问,谢谢!

苍山县17512195516： mongodb和mysql的区别 - ？
始徐益心： 数据库模型1. mongodb 非关系行 (文档型数据库)提供可扩展的高性能数据存储2. mysql 关系行3. 存储方式1. mongodb:虚拟内存 持久化2. mysql:不同的引擎不同的存储方式3. 查询方式1. mongodb独特的查询语句2. mysql 传统的sql mongodb与mysql命令对比 传统的关系数据库一般由数据库(database)、表(table)、记录(record)三个层次概念组成,MongoDB是由数据库(database)、集合(collection)、文档对象(document)三个层次组成.MongoDB对于关系型数据库里的表,但是集合中没有列、行和关系概念,这体现了模式自由的特点.

苍山县17512195516： 怎么样让数据持久化以后,进行日志记录 - ？
始徐益心： My SQL可以用下面方法跟踪sql 语句,以下方法以Windows平台为例,linux雷同:1 配置my.ini文件(在安装目录,linux下文件名为my.cnf 查找到[mysqld]区段,增加日志的配置,如下示例:[mysqld]log=C:/temp/mysql.log log_slow_queries=C:/...

苍山县17512195516： MySQL大型分布式集群具体怎么做 - ？
始徐益心： 1、主要解决针对大型网站架构中持久化部分中,大量数据存储以及高并发访问所带来是数据读写问题.分布式是将一个业务拆分为多个子业务,部署在不同的服务器上.集群是同一个业务,部署在多个服务器上.2、着重对数据切分做了细致丰富的讲解,从数据切分的原理出发,一步一步深入理解数据的切分,通过深入理解各种切分策略来设计和优化我们的系统.这部分中我们还用到了数据库中间件和客户端组件来进行数据的切分,让广大网友能够对数据的切分从理论到实战都会有一个质的飞跃.通过分布式+集群的方式来提高io的吞吐量,以及数据库的主从复制,主主复制,负载均衡,高可用,分库分表以及数据库中间件的使用.

苍山县17512195516： 比较HIBRENATE和mybatis的区别 - ？
始徐益心： 答:Hibernate和Mybatis都是orm对象关系映射框架,都是用于将数据持久化的框架技术. Hiberante较深度的封装了jdbc,对开发者写sql的能力要求的不是那么的高,我们只要通过hql语句操作对象即可完成对数据持久化的操作了. 另外...

苍山县17512195516： 把mysql数据全部加载内存进行处理需要对内存做持久化操作吗 - ？
始徐益心： 我给你个思路,利用游览器的刷新机制,每执行10秒刷新一下自动更新下一串数据,一串多少数据,看你的SQL效率而定.就这样一直刷新更新,到结束为止.

苍山县17512195516： redis 本身有持久化,为什么还要写进 mysql - ？
始徐益心： 我的理解:1、mysql支持sql查询,可以实现一些关联的查询以及统计;2、redis对内存要求比较高,在有限的条件下不能把所有数据都放在redis;3、mysql偏向于存数据,redis偏向于快速取数据,但redis查询复杂的表关系时不如mysql,所以可以把热门的数据放redis,mysql存基本数据 看项目用在哪个地方吧,根据各自的所长结合起来才好用.