MyCat迁移到DBLE之分片算法对比解析:numberrange分片

发布时间:2020-04-30 浏览次数:208

根据用户定义的范围与分片节点映射文件,直接定位目标分片。

MyCat迁移到DBLE之分片算法对比解析:numberrange分片-爱可生


1. 用户在 rule.xml 中配置范围定义文件路径,文件中定义的各个范围被加载到内存中,形成一个映射表

2. 在 DBLE 的运行过程中,用户访问使用这个算法的表时,WHERE 子句中的分片索引值会被提取出来,直接查映射表得到分片编号


与MyCat的类似分片算法对比

中间件DBLEMyCat分片算法种类numberrange 分区算法范围约定区别写具体的数值可用K或M等数量替换付

  • K=1000 , M=10000


开发注意点

【分片索引】1. 整型数字(可以为负数),取值范围是长整型

【分片索引】2. 范围包含其起点和终点,例如,范围 1-100 包含 1 和 100(即 [1, 100])

【分片索引】3. 如果范围与范围之间存在重叠(例如 1-100 和 100-200 重叠于 100),不会引起异常,会命中在范围配置文件mapFile中最先出现的那一个并按其执行

【分片索引】4. 不同范围可以映射到同一个分片上

0 - 99 = 0100 - 199 = 0

【数据分布】1. 无法保证均匀

【数据分布】2. 总分数量等于范围配置文件 mapFile 中各范围持有的分片数量之和


运维注意点

【扩容】1. 原有范围(含默认节点)的数据太热,需要拆分成多个新的更小的范围来扩展到不同MySQL节点时,需要对局部数据进行迁移

【缩容】1. 原有的几个范围的数据太冷,需要合并到同一个 MySQL 节点来节省资源时,需要对局部数据进行迁移


配置注意点

【配置项】1. 在 rule.xml 中,可配置项为<property name="defaultNode">和<property name="mapFile">

【配置项】2.在 rule.xml 中配置<property name="defaultNode">标签,非必须配置项,不配置该项的话,用户的分片索引值没落在 mapFile 定义的范围时,DBLE 会报错;若需要配置,必须为非负整数,用户的分片索引值没落在 mapFile 定义的范围时,DBLE 会路由至这个值的 MySQL 分片

【配置项】3. 在 rule.xml 中配置<property name="mapFile">标签,范围映射文件的路径:若在映射文件在 DBLE_HOME/conf 或其中,则可以使用相对路径的形式配置,例如,映射文件是 DBLE_HOME/conf/map/table_map.txt 时,配置值就可以简写为 map/table_map.txt;映射文件在 DBLE_HOME/conf 目录以外时,需要使用绝对路径,但这种做法需要考虑用户权限等问题,因此不建议把映射文件放在 DBLE_HOME/conf 外。

【配置项】4. 编辑 mapFile 所配置的文件

记录格式为:<范围最小值> - <范围最大值> = <分片编号>

范围最小值和范围最大值必须是整型数字,取值范围为 Java 的长整型范围内,分片编号必须是非负整型数字,记录之间以换行分隔,一行仅能有一条记录,允许以 “//” 和 “#” 在行首来注释该行

【配置项】5. 读取 mapFile 时,DBLE 不会对其中的范围记录查重或排序,也不会检查范围最小值和范围最大值相互之间谁更大

【配置项】6. mapFile 中的记录的先后顺序非常重要,目前的最佳实践是人手确保范围与范围之间没有重叠,而且按照数据查询频率,从高频到低频来顺序填写 mapFile

上一篇: MyCat如何迁移到DBLE之分片算法对比解析:date分片

下一篇: MyCat如何迁移到DBLE之分片算法对比解析:enum分片

产品试用 产品试用
400-820-6580 免费电话