mycat基础入门-1

什么是Mycat

    mysql二层：  server层  存储层
    mycat相当于mysql server层
    mysql相当于mycat 的存储层
    mycat中不存储数据，所有数据存储在mysql中
    mycat是一个数据库中间层
    mycat可以实现对后端数据库的分库分表和读写分离
        垂直拆分
        水平拆分
        好处： mycat对前端应用隐藏了后端数据库的存储逻辑 

mycat的基本元素

说明： 相关特性官网首页有直接说明，mycat 官网地址 mycat权威指南

逻辑库： 
    对应用来说相当于mysql中的数据库
    逻辑库可端多个物理数据库
    逻辑库并不保存数据
        实际保存在后端的数据库中存储层中
逻辑表： 
    比对于后端有 表01 表02  逻辑表可展示成一个表 主表
    对应用来说相当于mysql中的数据表
    逻辑表可对应后端多个物理数据库中的表
    逻辑表并不保存数据

逻辑表的类别
    分表片：　进行水平切分的表，居有相同表结构但是数据存储在不同数据库的表， 只有把数据表中的数据汇总起来才是这个表的完整数据
    全局表：  字典表，这些表通常会存储在后端所有分片的数据库中
    ER关系表： 按ER关系进行分片的表，  实体关系 
        把子表的记录与所关连的父表记录存放在同一个数据分片上，子表依赖于父表来进行存储， 
        通过ER关系的策略可以保证相同的一组表是不会跨库的。

安装

mycat是基于jdk 1.7开发，需要先安装jdk包 直接官网下载

# 安装 jdk
rpm -vih jdk-7u80-linux-x64.rpm

# 安装 mycat
wget http://dl.mycat.io/1.6.6.1/Mycat-server-1.6.6.1-release-20181031195535-linux.tar.gz
tar xf Mycat-server-1.6.6.1-release-20181031195535-linux.tar.gz
mv mycat /usr/local

# 创建用户
useradd mycat
# 授权mycat
chown mycat.mycat /usr/local/mycat -R
# 环境变量配置
[root@c7 conf]# cat /etc/profile.d/java.sh 
export JAVA_HOME=/usr/java/default
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$CLASSPATH:$PATH

[root@c7 conf]# cat /etc/profile.d/mycat.sh 
export MYCAT_HOME=/usr/local/mycat
export PATH=$MYCAT_HOME/bin:$PATH

# 配置mycat内存，以实际服务器内存大小为主
vim /usr/local/mycat/conf/wrapper.conf
    wrapper.java.additional.5=-XX:MaxDirectMemorySize=500M  <-- 配置启动服务的内存大小 -->
# 启动服务 
mycat start
# 查看日志
[root@c7 conf]# tail -f /usr/local/mycat/logs/wrapper.log 
    MyCAT Server startup successfully. see logs in logs/mycat.log  # 看到这行说明mycat启动成功

# 安装Mysql
下载地址： https://cdn.mysql.com//Downloads/MySQL-5.6/mysql-5.6.42-linux-glibc2.12-x86_64.tar.gz
[root@c7 tmp]# tar xf mysql-5.6.42-linux-glibc2.12-x86_64.tar.gz 
[root@c7 tmp]# mv mysql-5.6.42-linux-glibc2.12-x86_64 /usr/local/
[root@c7 tmp]# cd /usr/local/
[root@c7 local]# ln -sv mysql-5.6.42-linux-glibc2.12-x86_64/ mysql
"mysql" -> "mysql-5.6.42-linux-glibc2.12-x86_64/"
[root@c7 local]# groupadd -g 3000 mysql
[root@c7 local]# useradd -g 3000 -u 3001 mysql -s /sbin/nologin 
[root@c7 local]# chown mysql.mysql mysql* -R
[root@c7 local]# cd mysql
[root@c7 mysql]# ./scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql
[root@c7 mysql]# cp support-files/mysql.server /etc/init.d/mysqld
[root@c7 mysql]# vim /etc/profile.d/mysql.sh
        export PATH=/usr/local/mysql/bin:$PATH

# /etc/my.cnf  数据目录跟basedir记得修改
[mysqld]
datadir=/usr/local/mysql
socket=/usr/local/mysql/mysql.sock
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
最后启动它

配置文件

xml文件 格式为 <xxx> </xxx> 类似于html标签
注释格式为 <-- 代码 -->

server.xml

1、system
<system>   # 常规的系统参数配置
        <property name="serverPort">8066</property>       # 连接端口
                                        ${key}      ${value}
        <property name="managerPort">9066</property>      # 管理端口
        <property name="nonePasswordLogin">0</property>   <!-- 0为需要密码登陆、1为不需要密码登陆 ,默认为0，设置为1则需要指定默认账户-->
        <property name="bindIp">0.0.0.0</property>        # 连接的ip地址
        <property name="frontWriteQueueSize">4096</property>   # 前端写队列的大小
        <property name="charset">utf8</property>         # 这个字符串要跟后端的mysql一样
        <property name="txIoslation">2</property>         # 事务级别 2：读已提交  3： 可重复读
        <property name="processors">8</property>            # mycat的进程数量 = CPU的核数
        <property name="idleTimeout">1800000</property>     # 多久没连接之后断开连接单位(ms)
        <property name="sqlExecuteTimeout">300</property>   # 也是断开时间 单位为秒
        <property name="userSqlStat">0</property>                  # mycat数据集的大小
        <property name="defaultMaxLimit">100</property>        # 限制返回值为100行
        <property name="maxPacketSize">104857600</property> # mysql最大包的大小
        <property name="userGlobalTableCheck">0</property>  # 用户表全局检查
        <property name="sequnceHandlerType">2</property>    #
</system>

---

2、user段
<user>  #配置mycat的访问用户及权限
<user name="root" >    # 定义用户名称
                <property name="password">123456</property>   # 密码
                <property name="schemas">TESTDB</property>    # root访问的逻辑库就是TESTDB
                <property name="readOnly">true</property>     # 只读用户
             <!-- <property name="schemas">TESTDB,db1,db2</property> # root访问的逻辑库就是TESTDB,db1,db2  -->
</user>

# 完整的示例
<user name="root">
        <property name="password">123456</property>
        <property name="schemas">TESTDB</property>

        <!-- 表级 DML 权限设置 -->
        <!--  <privileges check="false">   # false表示表级DML没开
                        <schema name="TESTDB" dml="0110" >       # 逻辑库定义  dml 用户权限 
                                        <table name="tb01" dml="0000"></table>   # 表的权限
                                        <table name="tb02" dml="1111"></table>   
                                                 权限说明: insert,update,select,delete
                                                 1: 说明有权限, 0: 表示没有
                        </schema>
        </privileges> -->
</user>

3、用户密码加密
[root@c7 lib] [pwd]   /usr/local/mycat/lib
# 如果不使用这个，那么在配置文件中查看的是明文密码
[root@c7 lib]# java -cp Mycat-server-1.6.6.1-release.jar io.mycat.util.DecryptUtil 0:root:123456
GO0bnFVWrAuFgr1JMuMZkvfDNyTpoiGU7n/Wlsa151CirHQnANVk3NzE3FErx8v6pAcO0ctX3xFecmSr+976QA==

参数说明：  
0:root:123456 
前端应用:用户名:密码

将原先的
        <property name="password">123456</property>
修改为：
        <property name="usingDecrypt">1</property>  # 表示启用加密的密码
        <property name="password">GO0bnFVWrAuFgr1JMuMZkvfDNyTpoiGU7n/Wlsa151CirHQnANVk3NzE3FErx8v6pAcO0ctX3xFecmSr+976QA==</property>

最后贴出完整的server.xml文件，然后启动并连接
[root@c7 conf]#  cat server.xml
<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License"); 
             - you may not use this file except in compliance with the License. - You 
        may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0 
        - - Unless required by applicable law or agreed to in writing, software - 
        distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT 
        WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the 
        License for the specific language governing permissions and - limitations 
        under the License. -->
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
        <system>
        <property name="serverPort">8066</property>
        <property name="managerPort">9066</property>
        <property name="nonePasswordLogin">0</property>
        <property name="bindIp">0.0.0.0</property>
        <property name="frontWriteQueueSize">4096</property>
        <property name="charset">utf8</property>
        <property name="txIoslation">2</property>
        <property name="processors">8</property>
        <property name="idleTimeout">1800000</property>
        <property name="sqlExecuteTimeout">300</property>
        <property name="userSqlStat">0</property>
        <property name="defaultMaxLimit">100</property>
        <property name="maxPacketSize">104857600</property>
        <property name="userGlobalTableCheck">0</property>
        <property name="sequnceHandlerType">2</property>
        </system>

        <user name="root" defaultAccount="true">
                <property name="usingDecrypt">1</property>
                <property name="password">GO0bnFVWrAuFgr1JMuMZkvfDNyTpoiGU7n/Wlsa151CirHQnANVk3NzE3FErx8v6pAcO0ctX3xFecmSr+976QA==</property>
                <property name="schemas">TESTDB</property>

                <!-- 表级 DML 权限设置 -->
                <!--            
                <privileges check="false">
                        <schema name="TESTDB" dml="0110" >
                                <table name="tb01" dml="0000"></table>
                                <table name="tb02" dml="1111"></table>
                        </schema>
                </privileges>           
                 -->
        </user>

        <user name="user">
                <property name="password">user</property>
                <property name="schemas">TESTDB</property>
                <property name="readOnly">true</property>
        </user>

</mycat:server>

密码： 为定义的123456

log4j2.xml

<PatternLayout>
        <Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %5p [%t] (%l) - %m%n</Pattern>  # 日志时间格式  SSS表示毫秒
    </PatternLayout>

    %d: 日志输出的时间格式 {}
    %p: 日志级别    %5p： 至少有五个字符
    %t: 产生日志线程  
    %m: 输出代码中提定的消息
    %n: windows平台 "/r/n", linux平台"/n"

<asyncRoot level="info" includeLocation="true">   # 日志级别 从低到高 首字母大写
ALL < Trace < Debug < info < warn < error < fatal < OFF

输出的日志， 我这里还没有配置mysql连接，所以报错
2018-12-03 10:04:05.730  INFO [$_NIOConnector] (io.mycat.net.AbstractConnection.close(AbstractConnection.java:520)) - close connection,reason:java.net.ConnectException: 拒绝连接 ,MySQLConnection [id=0, lastTime=1543802645728, user=root, schema=db1, old shema=db1, borrowed=false, fromSlaveDB=false, threadId=0, charset=utf8, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=localhost, port=3306, statusSync=null, writeQueue=0, modifiedSQLExecuted=false]

rule.xml

水平算法规则

文件用途
配置水平分片的分片规则
配置分片规则所对应的分片函数

<tableRule name="rule1">      # name必须唯一， 命名要有象征性的意义
    <rule>
            <columns>id</columns>          # 所使用的分片列， 必须是在表中所存在的列
            <algorithm>func1</algorithm>   # 指定表的分片算法，取<function>的name属性
    </rule>
</tableRule>

function 配置表的分片算法
<function name="murmur">   # name 属性定义分片算法的名字 
    class="io.mycat.route.function.PartitionByMurmurHash">   # java类的路径名字
    <property name="seed">0</property>   <!-- 默认是0 -->
    <property name="count">2</property>  <!-- 要分片的数据库节点数量，必须指定，否则没法分片 -->
    <property name="virtualBucketTimes">160</property><!-- 一个实际的数据库节点被映射为这么多虚拟节点，默认是160倍，也就是虚拟节点数是物理节点数的160倍 -->
    <!-- <property name="weightMapFile">weightMapFile</property> 节点的权重，没有指定权重的节点默认是1。以properties文件的格式填写，以从0开始到count-1的整数值也就是节点索引为key，以节点权重值为值。所有权重值必须是正整数，否则以1代替 -->
    <!-- <property name="bucketMapPath">/etc/mycat/bucketMapPath</property> 
    用于测试时观察各物理节点与虚拟节点的分布情况，如果指定了这个属性，会把虚拟节点的murmur hash值与物理节点的映射按行输出到这个文件，没有默认值，如果不指定，就不会输出任何东西 -->
</function>

**常用的分片算法 **

1、简单取模 - PartitionByMod   
    分片列简单取模, 以确定分片数据是存储在每一个分片上
    可以用于分片列为［整数类型］的表
    分片列 mod 分片基数   <property name="count"> 分片的数量就是分片的基数
    类全名: io.mycat.route.function.PartitionByMod

2、哈希取模 - PartitionByHashMod
    分片列先进行哈希, 然后在进行取模
    可以用于多种数据类型,如字符串,日期等
    hash(分片列) mod分片基数
    类全名: io.mycat.route.function.PartitionByHashMod

3、枚举分片 - PartitionByFileMod
    可以根据可能的枚举值指定数据存储的位置
    $MYCAT/conf目录下增加MapFile配置枚举值同节点的对应关系   如10000=0    第一个节点为0
    类全名: io.mycat.route.function.PartitionByFileMod
    <function name="hash-int"     # 节点从0开始
            class="io.mycat.route.function.PartitionByFileMap">
            <property name="mapFile">partition-hash-int.txt</property>    # 文件放置到mycat/conf/目录下
                   10000=0   如10000就放到第1个节点, 10010就放到第2个节点, 其它就放到1号节点 
                   10010=1
                   DEFAULT_NODE=0
            <property name="type">0</property>   # 0: inter ×××,  其它为非整型
            <property name="defalutNode">0</property>    # 是否启用默认节点
    </function>

4、字符串范围取模分片 - PartitionByPrefixPattern
    可以根据指定字符串的前N个字符确定存储位置
    $MYCAT/conf 增加MapFile配置取模范围同节点的对应关系  mapFile定义的文件 上线之后就不能改变
    类全名 io.mycat.route.function.PartitionByPrefixPattern
    <function name="这里定义名称"     # 节点从0开始
        class="io.mycat.route.function.PartitionByPrefixPattern">
        <property name="patternValue">128</property>           # 字符串hash值取模
        <property name="prefixLength">2</property>             # 字符串取出的头两个字符串的值如XIONG 那就是取XI(ascii值)之和/patternValue 取模
        <property name="mapFile">prefix-partition-pattern.txt</property>
        如  0-63=0
            64-127=1
    </function>

最常见的使用最多的还是简单取模算法