- 博客(40)
- 收藏
- 关注
RSS订阅原创 TiDB 优雅关闭
本文简短的分析了下 tidb 进程关闭的处理流程，最终定位到进程没有及时关闭的原因。对比于mysql的停服行为，让我们对tidb的处理方式有了不一样的理解。对于 “graceful-wait-before-shutdown 参数”、“停服时等待事务结束的逻辑”的确需要在实践中才能积累。
2023-07-31 21:17:54
472
原创 TiProxy 原理和实现
在上篇中做了一些实验，比如加减tidb节点后tiproxy可以做到自动负载均衡，如果遇到会话有未提交的事务则等待事务结束才迁移。本次主要研究这样的功能在tiproxy中是如何实现的，本次分享内容主要为以下几部分：tiproxy是怎么发现tidb？tiproxy是在tidb节点间自动负载均衡的逻辑？在自动负载均衡时tiproxy是怎么做到优雅的session迁移、session上下文恢复？tiproxy在自动负载均衡期间遇到处于未提交事务的session是怎么等待结束的？tiproxy 在。
2023-07-30 17:44:55
220
原创 TiProxy 尝鲜
使用tiup搭建下测试环境，启动1个pd、1个tikv、1个tidb-server、1个tiproxy，通过tiproxy连接数据库，打开两个终端并显示执行一个begin，然后分别执行个写入操作，之后再添加1个tidb-server，看看会话是否会被迁移。这里补充个说明：因为我测试的时候没有开启proxy协议，所以show processlist看到的host不是client真实的信息，是proxy和tidb建立连接的信息，tidb把proxy当成client出来了。但是测试的场景未免有些简单。
2023-07-29 22:07:28
266
原创 MaxScale不支持MySQL8.0的问题
背景mysql的版本是8.0.12，通过maxsclae进行读写分离时，业务端使用mysql-connctor-java-8.0.15.jar访问一直报错。现象使用mysql-connctor-java-8.0.15.jar连接mysql 读写分离时，报错，内容如下:使用mysql-cli直连mysql不报错，但是版本号有问题使用mariadb-cli直连mysql，版本号没问题排查首先想到的是抓包分析，使用代码访问读写分离时，发现server返回给client的..
2022-01-19 11:42:09
1473
原创 不同数据库支持情况对比
SQL支持事务支持存储支持集群支持产品YY硬盘Yhttps://github.com/pingcap/tidb https://github.com/greenplum-db/gpdb https://github.com/cockroachdb/cockroachYY硬盘Nhttps://github.com/mysql/mysql-server (inndob存储引擎)YY内存Yhttps://github.com/VoltDB/voltdb...
2021-04-01 10:56:49
147
原创 mysql limit offset 原理分析与使用
背景一个行数为4亿条的表。查询50000000~50000010行之间的数据。发现查询时间达到20s！！！查询执行计划发现，需要进行全表扫描，没有索引。但是，sbtest1这个表是有索引的为什么mysql没有选择索引，而是全表扫描呢？分析mysql select 语法SELECT [ALL | DISTINCT | DISTINCTROW ] [HIGH_PRIORITY] [STRAIGHT_JOIN] [SQL_SMALL_RESULT] [SQL
2021-03-16 13:14:07
1742
原创 waiting for a volume to be created, either by external provisioner “docker.io/hostpath“ or manually
背景使用docker desktop软件开启k8s后，创建pvc报错，详情如下：waiting for a volume to be created, either by external provisioner "docker.io/hostpath" or manually created by system administrator解决经过排查发现是文件夹权限问题https://github.com/docker/for-mac/issues/3488添加指定目录...
2021-03-10 19:32:50
8570
原创 mysql异步复制、半同步复制、组复制
异步复制sorce不管replica的死活，写进binlog后，commit完成就算成功。如果最后一个event没有发给replica，主库就挂了，那么就会有丢失数据的风险。半同步复制通过官方的半同步插件，将binlog写完后，发送给replica，当replica写入到relay log后，在主库commit。这样可以最大情况保证数据能发送到replica。但是如果replica网络又问题，或者空间满了，导致ack返回时间慢、或者超时，这就会影响主库读写，所以还有个参数来控制rpl_semi_sy
2021-03-03 20:51:04
172
1
原创 xtrabackup备份原理与实现
update和FTWL关系FTWRL主要包括3个步骤：1.上全局读锁(lock_global_read_lock) 2.清理表缓存(close_cached_tables) 3.上全局COMMIT锁(make_global_read_lock_block_commit)https://www.cnblogs.com/cchust/p/4603599.html上全局读锁会导致所有更新操作都会被堵塞； 关闭表过程中，如果有大查询导致关闭表等待，那么所有访问这个表的查询和更新都需要等待；
2021-02-04 16:34:13
667
1
原创 据说这是k8s历史上的第一个operator
https://www.cnblogs.com/zhaowei121/p/10255540.html根据这个文章的描述，我们可以看出，k8s历史上第一个opertaor雏形应该是etcd-operator。为了了解operator的原理，我找到了etcd-operator的代码仓库，然后根据commit时间，找到了一个简单易懂的operator-demo。看完代码让我惊叹，原来operator居然几百行代码就可以完成。https://github.com/coreos/etcd-operator/.
2021-02-04 15:15:54
259
原创 golang限制异步任务数量
package mainimport ( "fmt" "sync" "time")func main() { wg := sync.WaitGroup{} maxChannel := make(chan struct{}, 10000) fmt.Println("begin") for i:=0; i<=1000; i++ { wg.Add(1) maxChannel<- struct{}{} go func(i int) { defer func(.
2021-02-03 19:11:06
589
原创 python脚本对mysql数据库持续写入数据
简单暴力的脚本对mysql数据库进行数据持续写入#!/bin/pythonimport datetimeimport sysimport timefrom sqlalchemy import create_enginefrom sqlalchemy.exc import InvalidRequestErrorfrom sqlalchemy.orm import sessionm...
2020-05-01 15:38:33
709
原创 XShell 自动输入验证码
XShell 自动输入验证码场景：在公司登陆线上机器需要先到门神，然后手动输入验证，验证通过才可以登陆线上机器。但是，获取验证码这个过程是枯燥无味的。所以，可以通过python 模拟API请求，获取验证码。具体的python代码就不贴出来了，这个跟各个公司系统有关，差异较大。接下来的问题是，如何将python代码获取到的验证码输入到XShell里面。模拟手动输入呢？解决办法先看代码S...
2020-03-17 11:36:02
1169
原创 使用use关键字 PHP:Fatal error: Class XXX not found in...
https://blog.csdn.net/qq_39043923/article/details/89637653
2020-02-10 00:46:11
935
原创 PennFudanPed数据集解析截取
数据集的标注文件是文本格式# Compatible with PASCAL Annotation Version 1.00Image filename : "PennFudanPed/PNGImages/FudanPed00001.png"Image size (X x Y x C) : 559 x 536 x 3Database : "The Penn-Fudan-Pedestrian ...
2019-02-28 10:18:21
2951
3
原创 PHP7 解决 java对应的 AES/ECB/PKCS5Padding 算法
先点击链接了解一下算法吧 在线生成AES加密javaimport javax.crypto.Cipher;import javax.crypto.spec.SecretKeySpec;import sun.misc.BASE64Decoder;import sun.misc.BASE64Encoder;public class aes { //加密方法 str为传输的值 ...
2018-07-19 23:19:49
5712
3
原创 centos7 samba配置
直接复制到smb.conf 然后启动smbd和nmbd[global]diplay charset = utf8unix charset = gbkdos charset = gbkworkgroup = WORKGROUP#netbios name = workserver string = ucsecurity = user[liuhuan]comment = liuh...
2018-07-02 13:22:49
220
原创 windows 配置nginx和php
https://blog.csdn.net/zjiang1994/article/details/72878374
2018-05-17 20:19:19
205
原创 URL 正则
$preg = "/^http(s?):\/\/(?:[A-za-z0-9-]+\.)+[A-za-z]{2,4}(:\d+)?(?:[\/\?#][\/=\?%\-&~`@[\]\\':+!\.#\w]*)?/";FROM TP
2018-04-17 15:43:00
459
原创 linux shell 命令行提示符格式配置
export PS1="[\u@\H\w]\$"#enables color in the terminal bash shell exportCLICOLOR=1#sets up the color scheme for list exportLSCOLORS=gxfxcxdxbxegedabagacad#sets up the prompt color (currently a gr...
2018-04-03 20:41:43
508
原创 OpenCV 3.4 源码编译
最近OpenCV 3.4 版本已经发布，可是我电脑安装的依然是VS2013和QT5.8，直接下载的并不能在VS013中直接用，所以，我想自己编译下一下吧。可以使用QT软件编译http://blog.csdn.net/scien2011/article/details/52830794也可以用CMake和命令行编译在QT官网有提供编译说明：https://wiki.qt.io/How_to_setup
2017-12-26 18:04:24
3473
原创 【编程】平面点集构成三角形的最小(大)周长(面积)
* 持续更新中 *题目空间中有n个点(x,y)，求其中三个点构成三角形的最小(大)周长(面积)。测试用例说明n个点不存在重复现象 输入点的个数 3<= n < 2000, 接下来n行数据 -10000 <= x，y <= 10000 0结束测试数据输入7
2017-09-04 22:58:19
3078
原创 【CocosCreator】socket.io 串行的实现
使用Cocos2d制作游戏的时候，总会涉及到对数据库访问的操作。在访问的时候：一个通信接口可能涉及到几个SQL查询，而且下一次的查询结过，可能和上一次查询结果关联，这就需要，把并行的js特性，改为串行。通过，查询资料发现，使用 nodejs 的 async 就可以实现。服务器端：关于服务器的写法我就不在赘述了，送上两篇博文。搭建nodejs环境（ht
2016-11-18 19:36:45
4365
1
转载 PCA （主成分分析）详解 （写给初学者） 结合matlab
感谢博主 ： https://my.oschina.net/gujianhan/blog/225241 转载保留一、简介 PCA（Principal Components Analysis）即主成分分析，是图像处理中经常用到的降维方法，大家知道，我们在处理有关数字图像处理方面的问题时，比如经常用的图像的查询问题，在一个几万或者几百万甚至更大的数据库中查询一幅相近的
2016-10-09 21:17:28
3237
原创 【Android】基于 Android 和 WCF 技术的APP开发技术简述
这里讲述的是开发过程中最基本的，也是做常见的问题。如何开发？怎么开发？适合想要了解安卓客户端和服务器的同学学习。
2016-09-23 19:46:28
7021
4
原创 在.NET平台下【使用WinForm + MySQL】制作数据库管理软件
一、MySQL的安装和启动#输入汉字乱码使用 navicat for mysql 软件时，当存储数据为汉字的时候提示错误。1.查看数据库编码为" utf8 -- UTF-8 Unicode"，也就是说数据库字符集没有问题，初步推测为客户端的问题2.在navicat里右击连接，选择连接属性，切换到高级选项，去掉"Use MySQL character Set"前的
2016-07-29 20:22:30
3209
原创 SQL Server 中 存储“经纬度”应设置的数据类型
正如我们知道的：【范围】经度：西经180~东经180纬度：北纬90 ~ 南纬90【格式】经度：123.456789纬度：12.345678此数据类型均需要保存到小数点后6位。为此，我们需要设置为decimal数据类型。具体为：decimal(10,6)以下为数据类型说明：____________
2016-05-13 19:42:08
12759
原创 PowerDsigner 15.1 对实体的属性增加域
在数据库设计的时候，尤其是物理部分的设计，会选择属性对应的数据类型和设置其数据范围，在关系型数据库管理软件中已经定义好域的概念，为此，我将说明如何设置域。在 ：-> “模型” -> “域” -> “新建几个域” -> “点击应用”(此时会在左侧目录中增加一个文件夹，里面有刚刚创建的域名) -> “双加域，修改NAME/CODE值”
2016-05-13 19:41:04
1097
原创 软件地址汇总
VS2013软件：http://pan.baidu.com/s/1ge49Jb1 2.82GVC6.0软件：http://pan.baidu.com/s/1eS8pN4A 198.29MC_Free5.0_Pro：http://pan.baidu.com/s/1kVrkDE3 13.97M敬请关注，后续更新！
2016-04-12 14:24:50
1081
原创 .NET 通过代码创建带属性的XML文档
直接上干货。1.创建工程，添加项目，继续想一篇博文，我们在此添加一个项目，如图；2.编写代码using System;using System.Collections.Generic;using System.Linq;using System.Text;using System.Threading.Tasks;//1.引用命名空间using System.
2016-04-07 13:15:45
537
原创 .NET 通过代码创建XML文档
直接上干货。1.创建项目工程，如图；2.编写代码，如下；using System;using System.Collections.Generic;using System.Linq;using System.Text;using System.Threading.Tasks;//1.引用命名空间using System.Xml;namespace Cr
2016-04-07 12:55:41
469
原创 .NET webservice的MD5算法编写
Message Digest Algorithm MD5（中文名为消息摘要算法第五版）为计算机安全领域广泛使用的一种散列函数，用以提供消息的完整性保护。用.NET webservice编写代码如下：[WebMethod] public string GetMD5() { //需要加密的字符串
2016-04-05 13:35:44
677
原创 .NET新建webservice项目并返回XML格式数据
1.打开VS2013，新建一个项目，如图；2.进入项目界面，添加新的项目，如图；出现如下界面就新建项目完成啦！3.运行，如图；点击Hello World;点击调用；至此，新建项目完成，是不是很简单呢？
2016-04-05 10:43:26
2010
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人