- 博客(188)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 linux内核系列--IO子系统
对于裸设备，File层面的Page Cache和裸设备disk buffer，虽然都统一到了基于Page的实现，但File的Page Cache和该文件对应的Block在裸设备层访问的disk buffer，这两个是完全独立的Page，这种情况下，一个物理磁盘Block上的数据，仍然对应了Linux内核中的两份Page，一个是通过文件层访问的File的Page Cache(Page Cache)，一个是通过裸设备层访问的Page Cache(disk buffer)。比较适合数据库类的应用。
2023-12-01 10:21:03
832
原创 linux内核系列--内存
内存管理不是纯软件层面的东西，还要配合相关硬件，硬件如cpu架构，如cpu有x86、RAM、PowerCPU等。不同cpu架构下的内核管理架构也会存在差异。本文主要探讨的是x86架构下的linux内核的内存管理。这点需要明确。 但有些知识点是超越cpu架构存在的，比如虚拟化内存管理的概念，因为虚拟化内存管理引入的页表映射，TLB等概念。这些是属于操作系统基本原理范畴。 关于操作系统基本原理，可以看雷姆兹·H.阿帕希杜塞尔等写的《操作系统导论》。
2023-12-01 10:19:06
562
原创 ogg基础安装配置
测试通过ogg从mysql 8 同步数据至 mysql 5.7同时使用ogg的远程抽取功能，即ogg抽取进程与源端部署在不同的服务器。远程抽取 + 远程应用，省去了投递dat文件这一步。
2023-07-12 18:41:54
325
原创 mysql修改字符集utf8_to_utf8mb4
长度限制说明：https://dev.mysql.com/doc/refman/5.7/en/innodb-limits.html。1、修改字符集使用的语句，alter table convert/modify/defult 区别。1、varchar字段/index长度/text类字段长度检查。modify default：之修改表级别默认设置，不修改数据。ghost使用insert ignore， 超长会自动截取后。3、使用ghost方式遇到超长问题默认处理策略？2、加锁情况，线上执行的业务影响。
2023-07-12 18:41:25
681
原创 mysql更新关联字段问题
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Jqz3sqTJ-1689157530334)(D:\内部技术文档\mysql相关\img\019.png)]这个结果与标准SQL语义是不同的，可以测试下MSSQL、ORACLE,两个语句的结果是一致的。
2023-07-12 18:40:52
249
原创 mysql单一场景容量测试
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fCgEuZTS-1689157490627)(D:\内部技术文档\mysql相关\img\020.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4YLoiq2J-1689157490629)(D:\内部技术文档\mysql相关\img\022.png)]python脚本，长连接，循环执行sql，多个窗口执行脚本模拟并行数。**监控方式：**innotop。**测试场景： **
2023-07-12 18:40:22
206
原创 【mycat】avg处理分片数据写别名导致小数点精度错误
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZwNzgDZt-1689157428301)(D:\内部技术文档\mysql相关\img\010.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JVjDGfkR-1689157428302)(D:\内部技术文档\mysql相关\img\011.png)]链接：https://github.com/MyCATApache/Mycat-Server/pull/1871。
2023-07-12 18:39:15
77
原创 mycat设置sql隔离级别的问题
General log中出现大量SQL “SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ”。该语句会引起两个问题，1: "REPEATABLE READ"不是我们预期的事物隔离级别。2: 大量无效的SQL影响性能。注： MySql的可重复读会带来怎样的问题，可以参考该文章。
2023-07-12 18:38:45
880
原创 mycat漏洞及修复
修改D:\wjf-mycat\Mycat-Server-main\pom.xml文件，将对应组件版本修改正确即可。编译成功后，二进制安装包位于D:\wjf-mycat\Mycat-Server-main\target。cmd—切换到mycat源码目录，执行以下命令进行编译。2、配置本地maven环境。1、下载mycat源码。
2023-07-12 18:38:05
165
原创 mycat关于in的路由机制
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TZ0ysdHM-1689157319807)(D:\内部技术文档\mysql相关\img\017.png)]2、对于mysql而言，in语句里数据的多少会影响到查询效率。那对于cust_no in (1,2,3)此类查询，mycat的路由策略是怎样的，只会分发到对应分片还是分发到所有分片？假设cust_no为1，2，3，4的四条数据分别位于shard1，shard2，shard3，shard4分片上。（没有查询分片3中的数据）
2023-07-12 18:37:34
104
原创 mycat分片库多表关联
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0gD83nTP-1689157283747)(D:\内部技术文档\mysql相关\img\015.png)]需要加特殊hint，只支持2张表关联。官方文档中说，Mycat 目前版本支持跨分片的 join,主要实现的方式有四种。ER 分片：通过自设定规则，将相关联的数据划分到同一实例，本质还是不跨实例关联。全局表： 对于小表，所有分片保留一个副本数据。以上方法都需要提前做些冗余工作，1、对于分片表，不能支持关联。
2023-07-12 18:36:54
397
原创 mycat对于分组排序取topN逻辑的处理
mycat分发到mysql的语句是带着limit语句的，这样，如果name = ‘w’ 在shard01上排序后是满足条件的，可以查出来。在分片库上做分组排序取topN数据的时候，sql语句做全量分组排序，然后在代码层取topN，这样取得数据才能使正确的。如果不存在分片的情况下，name 为 'w’的sum数据为6，name 为 ‘j’ 的sum 数据也为6.但是全量分组排序，不论在mysql层、mycat层还是在代码层，都会有更多的性能损耗，这点需要考量。
2023-07-12 18:36:20
84
原创 mycat cpu升高问题
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LLtkRkIF-1689157206914)(D:\内部技术文档\mysql相关\img\013.png)]通过top命令查看，发现总体cpu使用率居高不下，按1打开cpu核心详细数据，会有个别核心99%。jstack中nid是十六进制的线程id，将top -H中找到的线程id做十六进制转换，找对问题线程的运行堆栈信息。一个时刻mycat服务器（4核心）cpu使用率从2%，升高至25%（usr）。之后一直不会降下来。
2023-07-12 18:35:39
192
原创 js深拷贝与浅拷贝
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4SgOtckC-1689157153527)(D:\内部技术文档\mysql相关\img\031.png)]引用数据类型在栈中存储了指针，该指针指向堆中该实体的起始地址。当解释器寻找引用值时，会首先检索其在栈中的地址，取得地址后从堆中获得实体。方法可以把任意多个的源对象自身的可枚举属性拷贝给目标对象，然后返回目标对象。进行的是浅拷贝，拷贝的是对象的属性的引用，而不是对象本身。方法返回一个新的数组对象，这一对象是一个由。
2023-07-12 18:34:37
28
原创 grafana备份脚本
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oFEieqpn-1689157101814)(D:\内部技术文档\mysql相关\img\009.png)]5、其中http_header中生成的Authorization API KEY已过期，请自己重新生成后替换使用。6、保存文件部分适配的是windows，若需要linux使用，需要自己修改。3、文件名定义为 目录名-dashboard名.json。2、每个dashboard保存成一个文件。4、使用python2。
2023-07-12 18:34:01
364
原创 collations默认排序规则的坑
1、每个字符集有一个默认的排序规则，在mysql5.7,utf8mb4的默认排序规则为utf8mb4_general_ci，在mysql8.0，utf8mb4的默认排序规则为utf8mb4_0900_ai_ci。迁移后： 8.0上字符集为utf8mb4，排序规则自动变成了utf8mb4_0900_ai_ci（期望general_ci）迁移前：5.7上字符集为utf8mb4，排序规则为utf8mb4_general_ci。2、在建表的时候若没有显式指定排序规则，则自动使用字符集的默认排序规则。
2023-07-12 18:33:08
144
原创 canal基础安装配置
jdk: 12.2canal.deployer-1.1.6.tar ### 服务端，伪装成mysql slave,进行binlog抽取和解析canal.adapter-1.1.6.tar ### 消费端，连接服务端，将消息写入目标canal.admin-1.1.6.tar ### 管理，暂时没用。
2023-07-12 18:32:05
310
原创 任务调度平台xxl和azkaban基础安装
参考：https://blog.csdn.net/weixin_42003671/article/details/90052440。Azkaban Executor 启动后不会自动激活问题。启动web-server提示 没有executor。数据库级别更新active。
2023-07-12 18:31:03
67
原创 【mysql】gh-ost编译安装
版本说明：go： 1.14.2gh-ost: 1.0.36linux: Red Hat Enterprise Linux Server release 7.2go环境安装https://mytecdb.com/blogDetail.php?id=125注意的点：1、操作系统本地源带的go版本为1.11.5，以下安装步骤需要先安装低版本，然后升级的步骤。2、go版本升级并不连续，比如1.16版本必须在1.14版本基础上升级，如果在1.11版本之上升级1.16版本会报错。安..
2021-05-12 17:12:03
183
原创 【linux】离线下载安装软件包
## 下载yum install --downloadonly --downloaddir=/tmp/wjf/ python3-devel## 安装yum install
2021-05-12 17:06:44
272
原创 【python】离线安装python包
1、下载pip3 download -r requ.txt2、安装pip3 install --no-index --find-links=/home/bkadmin/pipy/pipy -r requ.txt
2021-05-12 17:05:37
495
原创 【devops】xops开源项目开发环境搭建
### 后端部分(celery部分暂时不配置)1、python依赖包位置：/opt/xops/software/pipy（里面的Twisted为20版本）2、安装系统依赖yum install python3 mariadb-devel gcc gcc-c++ python3-devel3、创建虚拟环境（可选）cd /opt/xops/python3 -m venv xops_venvsource xops_venv/bin/activate激活虚拟环境4、安装..
2021-05-12 17:02:53
212
原创 【devops】django开发学习路径
基于前后端分离后端python + django + DRFpython菜鸟教程网站：https://www.runoob.com/python/python-tutorial.html有很多基础示例，可以自己敲一遍。版本： python2、python3个别语法有差，不兼容。主要掌握：数据类型：数字、字符串（字符串处理函数）、列表、字典。基础语法：条件控制（if-else）,循环（for/while）封装写法：函数（def）、类（class）。模块使用：import写法、代码拆分引
2021-05-12 16:59:51
107
原创 【vmware sdk】003、示例代码介绍
针对python，vmware提供了很多示例脚本，可以从https://github.com/vmware/pyvmomi-community-samples下载，里面的脚本有的用python2，有的用python3版本实现，而且对于vcenter的版本也没有说明，所以只能作为参考，使用之前还是要理清楚相关操作思路。下面整理一些基本的需求，并进行代码示例说明。自动化基本需求1、列出所有资源类下的对象，比如看看所有的datacenter2、找到指定的元素，比如一个虚拟机。3、从某一个模板中创建一个虚
2021-04-30 12:06:11
426
原创 【vmware sdk】002、基础概念
官方的《vSphere Web Services Programming Guide》确实是最好的学习资料，不论从概念介绍还是由浅入深的层次，所以以下内容的主要内容也是从这本书搬运而来，额外添加些自己的理解，方便不喜欢全英的同学看看。client-server基础架构下图是对架构的举例说明，其中看到的VirtualMachine managed object是managed object的一个例子，GuestInfo data object是data object的例子。主要概念说明：1
2021-04-30 12:00:56
279
原创 【vmware sdk】001-学习资料
vmware sdk学习资料sdk官网： https://code.vmware.com/home开发指导手册首先是dev center中的《vSphere Web Services Programming Guide》，这本书是基础概念，介绍了面向vmware 对外接口的设计结构。也有网友对这本书的部分章节做了翻译：https://blog.csdn.net/zhouxukun123/category_6894589.html以我看这本书的经验，很多概念不是一下子就能明白的，可能需要反复看看
2021-04-30 11:57:29
108
原创 【mysql】003-pt-archiver测试准备
1、文档查看## 详细说明perldoc /bin/pt-archiver## 简化版pt-archiver --help2、打开调试输出## 操作系统层面设置export PTDEBUG=13、开启general log查看执行也可以在insert多个批次之间，锁定个别数据，查看分布式事务的控制情况4、查看pt-archiver脚本内容## 直接vim查看vim /bin/pt-archiver5、 perl脚本基本调试## 启动调试perl -d 脚本名 参数 …
2021-04-30 11:55:38
28
原创 【mysql】002-pt-archiver测试过程记录
测试环境说明环境信息source： 172.16.0.1 3355database: wjftable: wjf_test_archiverdest: 172.16.0.2 3355database: wjf_archivetable: wjf_test_archiver测试表create table wjf_test_archiver (id int not null auto_increment,created datetime,primary key(id));测
2021-04-30 11:54:58
53
原创 【mysql】001-pt-archiver工具使用说明
pt-archvier也是pt-toolkit工具箱的一员，可以用于历史数据归档，以及过期数据清理等场景。工作流根据使用场景，可以分成以下3中方式：1、归档数据源端读取数据------> 保存到目标端-------> 源端数据删除。2、拷贝数据，异地存储，源端不删除源端读取数据------> 保存到目标端。通过参数设置（–no-delete）3、直接源端删除，不拷贝数据源端读取数据------>进行删除。通过参数（–purge，不带–dest和–file）
2021-04-30 11:52:47
739
原创 007、pushgateway
官方文档：https://github.com/prometheus/pushgateway使用场景在prometheus server的角度看，抓取数据时server主动发起的，exporter必须要满足随时可以触发搜集数据。但有些场景，比如执行调度任务脚本，只会在调度任务执行过程中产生数据。数据生成是瞬时性的，无法满足在server抓取的时候才去生成数据。因此这种瞬时生成的数据就需要有一个中转站临时存放，当prometheus发起抓取数据时，再从中转站获取到数据，这个中转站就是pushgatew
2020-12-31 11:58:40
2980
转载 006、高可用和联邦集群
原文地址https://zhuanlan.zhihu.com/p/86763004小规模高可用方法：部署多个相同配置的server即可架构图如下：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EQbh1gwP-1609386357620)(D:\内部技术文档\prometheus\img\ha_001.jpg)]A和B配置完全一样，同时收集所要监控的所有数据但是这种方法存在明显的弊端：1、无法扩展2、数据可能不一致所以这种架构的使用场景是只适用小规模集群和
2020-12-31 11:57:42
134
原创 005、查询接口
查询接口简述prometheus并没有提供一个交互式的CLI工具。当前已知的查询数据的方式有如下几种：WEB UI。直接浏览器访问prometheus的服务地址就可以打开的一个WEB界面。HTTP API。提供了一系列的POST/GET方法进行数据查询。promtool。安装包里的一个工具，可以进行查询，非交互式的。其他类client工具。比如grafana这种。日常测试使用的话，WEB UI是最方便直观的，能满足99%的查询需求了。但对于一些冷门的查询需求，比如就要查询指定时间范围的数据
2020-12-31 11:55:51
1314
原创 004、查询语言PromQL
查询语言（PromQL）prometheus提供的查询语言是promQL，不支持标准SQL。关于PromQL的详细介绍和语法支持，可以查看这个翻译后的官方文档：https://prometheus.fuckcloudnative.io/di-san-zhang-prometheus/di-4-jie-cha-xun/basics本文从使用角度简单说明下。查询结果类型对查询结果的类型的处理需要使用不同的函数，做算数运算时也要注意对查询结果类型的适用细节。类似于若MySQL中子查询返回多行记录，则
2020-12-31 11:54:44
673
原创 002、promethus概念解析
基本概念解析前面讲过，间序列数据进行建模，需要包含三个重要部分，分别是主体，时间戳和测量值。对应到prometheus中，就是Time_series（时间序列）、vlues、时间戳。比如查询node_cpu_seconds_total。### 以下使用promethues自带的promtool工具进行演示# ./promtool query instant http://99.48.210.225:9090 node_cpu_seconds_total |head -1node_cpu_seco
2020-12-31 11:52:30
663
原创 001、时间序列数据库简介
时间序列数据定义比如一台机器的CPU监控数据、或者是一个人的心跳数据，这类数据在时间轴上滑动延伸，某个被测量的主体在一个时间点上就会产生一个测量值。时间序列数据的特点1、写多读少。2、写入平稳、持续且数量巨大。基本不存在更新和删除。3、读取冷热分明，最新的数据最可能被读取，或者读取一段周期的数据。时间序列数据的模型从上面说的定义部分—某个被测量的主体在一个时间点上就会产生一个测量值，可知，对时间序列数据进行建模，需要包含三个重要部分，分别是主体，时间戳和测量值。目前主流时序数据库建模的方式
2020-12-31 11:50:31
458
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人