- 博客(318)
- 资源 (4)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 MongoDB 4.0.2 版本中，地图中距离查询遇到的问题
回到服务器查询，发现MongoDB 版本是 4.0.2 (很多服务器我已安装了4.2.8 版本，开始没想到还有一台旧服务器还是4.0.2)查询问题：当 maxDistance 参数加大时，返回值并不会变大，但在不用地图点距离进行查询时，是可以返回更多值的。查找了很多资料，当看到D 4.2 版本官方资料中提到$limit 参数已取消时，怀疑可能是版本问题。（limit 默认值为100，但返回值在50左右后，就不返回更多值，所以开始也没往这里想）
2023-05-29 09:30:43
693
原创 MySQL -＞ ES 数据同步 配置步骤
部署 MySQL -> ES 数据同步（mysql 同步到 ES 是支持 多表查询 后把结果同步到ES 中的同一个索引中的）1.服务器：内网ip：192.168.0.60登录name+key实现功能： canal、kafka、es7；canal同步预生产polardb数据到es72.ES7 kafka服务es web 管理url：http://[internet ip]:9800es:公网： [internet ip] 9201内网： 192.168.0.60 9201kaf
2021-09-27 09:21:08
739
原创 elasticsearch7.9.2 安装配置
**elasticsearch7.9.2 安装配置**1.downloadwget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.9.2-linux-x86_64.tar.gz查看日志：curl 172.16.1.204:9200/_cat/nodes?v2、JDK环境配置。。。省略注意：ElasticSearch对jdk版本要求很严格，我用的jdk11对应ES7.23、修改配置文件：/opt/es
2020-10-26 15:13:59
1531
原创 MYSQL数据同步到ＥＳ７
**概述**现在的项目数据量越来越大，全文检索功能使用场景也越来越普遍。而我们一般的生产数据是在mysql，或其它一些数据库，我们的产品数据就是mysql,而又要使用全文检索，所以要把mysql 数据同步到es,再进行全文检索功能。现在简单把数据同步的配置及遇到的问题罗列如下:数据流程图mysql -> adapter -> es安装步骤不再累述，需要安装以下软件。1.安装 es,2.安装 canal.adapter3.安装 canal.deployer4.安装 zo
2020-10-26 15:12:31
520
1
转载 MySQL5.7新特性——在线收缩undo表空间 （转载）
在查找到很多资料中，以下文章是 对于参数 innodb_undo_log_truncate 说明最为简明的一篇文章了，这里做一转载。（原文： https://www.linuxidc.com/Linux/2017-05/143400.htm）MySQL 5.5时代的undo log在MySQL5.5以及之前，大家会发现随着数据库上线时间越来越长，ibdata1文件（即InnoDB的共享...
2019-06-03 16:33:55
328
原创 参数binlog_rows_query_log_events和binlog_row_image 与用 binlog恢复数据
binlog_rows_query_log_events和binlog_row_image 参数作用(mysql 5.6.2 引入)当binlog使用row格式时binlog_rows_query_log_events =1在row模式下开启该参数,将把sql语句打印到binlog日志里面.默认是0(off);虽然将语句放入了binlog,但不会执行这个sql,就相当于注释一样.但对于d...
2019-05-29 15:00:09
1735
原创 python 访问 zookeeper
python 访问 zookeeper1.安装：zookeeper python客户端依赖c客户端，所以要先安装c版本客户端 > wget -c http://apache.fayea.com/zookeeper/zookeeper-3.4.10/zookeeper-3.4.12.tar.gz > tar -zxvf zookeeper-3.4.12.tar.gz > ...
2019-04-15 16:22:01
2069
原创 mysql 5.7主从延迟 相关参数配置
一直以来，都是听到 mysql 5.7已 消除了延迟，但我们测试环境主从一直存在延迟。找了很多原因，但一直不理想，直接到找参数：sync_relay_log ，在讨论主从延迟时，很少会说到这个参数。因为它默认是 １００００．也正是这样，容易被忽略。×××××××××××××××××××××××××××××××××××××××××××××××××××××innodb_flush_log_a...
2019-02-25 11:41:55
995
原创 timestamp 数据类型在 sql_mode 主从不一致引起的不同步问题解决
从节点同步出错。无法同步，查看错误Last_Error: Coordinator stopped because there were error(s) in the worker(s). The most recent failure being: Worker 0 failed executing transaction ‘1c434876-08ed-11e9-b38c-7cd30aeb7...
2019-01-31 10:37:18
949
原创 MYSQL从节点延迟问题原因及解决
MYSQL从节点延迟问题原因及处理方法mysql 因为异步同步，只能达到最终一致性，而无法达到实时一致性，所以理论是有延迟在所难免。在mysql 5.7 版本实现了多线程同步，缓解了延迟问题，但不可能完全实现实时同步。一、延迟原因大概有以下几点：1.硬件问题主要体现在服务器性能问题上，服务器性能包括主节点和从节点。MYSQL 同步如果配置成 binlog_format=row,从节点一...
2018-11-23 16:10:49
2661
原创 一则关于表新增与更新锁等待时间过长的优化
近期有一个表多次出现 锁等待时间长的问题,个人认为这个案例值得分享，这里记录一下。 现SQL 如下： update bank_credit SET batch_no = '196139', tx_...
2018-09-06 10:10:45
2421
原创 otter 配置安装
otter 配置安装架构：10.10.5.109: zookeeper server,manager,node server, destination mysql server ,canal server10.10.5.111 source mysql server测试从source mysql 【源库】中，把数据同步到 【目标库】中。整个otter同步由几部分组成，需要...
2018-09-05 17:50:51
1386
原创 MySQL 5.7 并行复制参数优化
（以下内容均整理自网络）Enhanced Multi-Threaded Slave配置 要开启enhanced multi-threaded slave其实很简单，只需根据如下设置：slaveslave-parallel-type=LOGICAL_CLOCK slave-parallel-workers=16 master_info_repository=TABLE rel...
2018-07-10 14:49:17
5655
原创 关于cast类型转换后无法使用索引的优化
关于cast类型转换后无法使用索引的优化因为表设计时是各开发人员建立的表，同是建立日期字段add_time,有int,还有varchar(50)几种数据类型，如下： （字段有删减）mysql> show create table credit_tender;+--------------------------+------------------------| Ta...
2018-03-20 10:36:50
1879
2
原创 MySQL MHA 安装
MHA 安装手册MHA软件由两部分组成，Manager工具包和Node工具包，具体的说明如下。Manager工具包主要包括以下几个工具：masterha_check_ssh 检查MHA的SSH配置状况masterha_check_repl 检查MySQL复制状况masterha_manger 启动MH
2018-02-01 16:57:22
1135
原创 使用Prometheus+Grafana 监控MySQL/MONGODB
使用Prometheus+Grafana 监控MySQL/MONGODB 之前就久仰 Prometheus 大名，因为有用zabbix 进行监控，就没去安装它。现在正好用上监控MONGO+MYSQL。服务器端组件： prometheus #服务端alertmanager #预警Grafana #前端展示，客户端组件： node_exporter
2017-12-22 15:14:14
11355
3
转载 MySQL5.6 Performance_schema
MySQL5.6 Performance_schema 相关表的说明及架构图架构图 Mysql 5.5 Performance schema Mysql 5.6 Performance schemaMysql 5.7 Performance schema consumer 层次图 Statement 诊断 来源：https://yq.aliyun.com/articles/59262
2017-11-24 10:09:38
642
原创 一次MYSQL 服务器性能优化之旅
1.主库性能预警，CPU LOADING 过高 a. 读写分离：把读操作（查询类，不是写入/修改后即查询数据的）放到DB2节点中进行； 2.日志文件、数据文件同放在一个磁盘中 /data ，没有分离 。暂时不处理，以后项目可考虑分开。3.开启了 doublewrite ，在SSD,XFS 磁盘存储数据，可以关闭mysql> show variables like '%doublewri
2017-10-13 16:28:57
727
原创 MYSQL 表锁情况查看
查看锁表情况mysql> show status like ‘Table%’; +—————————-+——–+ | Variable_name | Value | +—————————-+——–+ | Table_locks_immediate | 795505 | | Table_locks_waited | 0 | |
2017-10-13 16:15:30
31577
原创 一次从节点同步出错的解决
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-10-13 11:04:11
785
原创 关于MYSQL 的 AUTO-INC Locks
今天看到一题MYSQL OCP 试题，关于 AUTO-INC locks ，才知在自增长键值时，是使用表锁。试题如下，同时把相关的资料也转发如下。QUESTION 94Which two statements are true about InnoDB auto-increment locking?A. The auto-increment lock can be a ta
2017-09-18 14:48:02
3353
原创 MongoDb 中 serverStatus was very slow 的原因分析
在同一个集群中，两个从节点 db117,db118 都各出现了1次 “serverStatus was very slow” db117出现 very slow:2017-09-14T18:55:49.599+0800 [conn13113916] serverStatus was very slow: { after basic: 0, after asserts:
2017-09-15 11:10:17
5378
原创 数据查询分页显示的优化方法
现有方法： 开始时间 [@start_dt ] 结束时间 [@end_dt ] 其它条件 [ ]查询数据总量：[XXXX]
2017-09-11 11:02:30
1183
转载 MySQL Performance-Schema(三) 实践篇
为了系统的整理MySQL 性能优化方面的知识，这里收集部分好文章，方便自己学习。performance-schema （三）前一篇文章我们分析了Performance-Schema中每个表的用途，以及主要字段的含义，比较侧重于理论的介绍。这篇文章我主要从DBA的角度出发，详细介绍如何通过Performance-Schema得到DBA关心的数据，比如哪个SQL执行次数最多，哪个表访问最频
2017-07-25 14:14:34
955
转载 MySQL Performance-Schema(二) 理论篇
为了系统的整理MySQL 性能优化方面的知识，这里收集部分好文章，方便自己学习。performance-schema MySQL Performance-Schema中总共包含52个表，主要分为几类：Setup表，Instance表，Wait Event表，Stage Event表Statement Event表，Connection表和Summary表。上一篇文章已经着重讲了Se
2017-07-25 14:13:08
520
转载 MySQL Performance-Schema(一) 配置篇
为了系统的整理MYSQL 性能优化方面的知识，这里收集部分好文章，方便自己学习。performance-schemaperformance-schema最早在MYSQL 5.5中出现，而现在5.6，5.7中performance-Schema又添加了更多的监控项，统计信息也更丰富，越来越有ORACLE-AWR统计信息的赶脚，真乃DBA童鞋进行性能诊断分析的福音。本文主要
2017-07-25 14:12:02
1408
1
转载 KUDU--秒级查询的数据仓库
Kudu 是什么Kudu是Todd Lipcon@Cloudera带头开发的存储系统，其整体应用模式和HBase比较接近，即支持行级别的随机读写，并支持批量顺序检索功能。那既然有了HBase，为什么还需要Kudu呢，简单的说，就是嫌弃HBase在OLAP场合，SQL／MR类的批量检索场景中，性能不够好。通常这种海量数据OLAP场景，要不走预处理的路，比如像EBA...
2017-06-28 14:16:10
37217
5
原创 【用户行为即时分析查询】 数据仓库实现 案例分享
在使用HIVE 数据仓库中的大数据查询时，有一个通病，就是查询慢，无法给于用户快速的进行数据分析查询。对于决策层，怎样能秒级获取用户行为分析的数据，是一个课题，之前的做法是，把数据导入到HIVE,进行分析统计后，再回到其它数据库(比如MongoDB),用户可以在此数据库的基础上进行一个数据查询。但这样已经过了一个数据处理的时间，（ETL 数据处理过程）我们的做法是每天晚
2017-06-28 10:38:48
3331
转载 从MongoDB同步数据到ElasticSearch 的五种方式
Elastic search(ES) is a pop-star for recording and analyzing data, andMongodb is a famous NoSQL database for storing and querying data. With our web infrastructure improving, how can we export dat
2017-06-22 11:14:46
2813
原创 Mysql 的隔离级别与锁
1.MySQL参数autocommit生产环境设1还是0？为什么？ 在生产环境中，为了事务一致性，需要把autocommit 设置为 0 这样可以进行事务全部成功后，在最后一次性提交，如果某一步出错，可以rollback。 在会话进修改参数命令为： set @@autocommit=0; 为了永久设置为手
2017-03-08 16:36:26
1305
原创 mysqldumper 与 Innobackupex的备份和恢复操作实验过程
一、mysqldumper 1.1 mysqldumper 编译安装 wget https://launchpadlibrarian.net/185032423/mydumper-0.6.2.tar.gz [root@mdw tang]# tar -zxvf mydumper-0.6.2.tar.gz [root@mdw tang]# cd mydump
2017-03-08 16:35:00
2825
原创 MYSQL 实时升级
MYSQL 实时升级（MYSQL 升级实验内容）步骤如下：准备一台新的服务器，安装mysql5.7 ,再把v5.7 mysql 添加到以v5.6 mysql 为主节点的主从架构集群中。再进行主从切换。设置成mysql5.7 为主节点，这样就完成了MYSQL 的升级。1、mysql 5.7.17 安装2、配置成主从架构3、主从节点切换-----
2017-02-24 17:34:46
701
原创 mysql多实例（mysqld_multi方式）
以下内容为在学习MYSQL 过程中的实验步骤，mysql多实例（mysqld_multi方式） 1.建立各个实例的目录 [root@mdw ~]# mkdir /mnt/data/mysql/3306 /mnt/data/mysql/3307 /mnt/data/mysql/3308 -p [root@mdw ~]# chown -R mys
2017-02-24 17:31:25
5792
原创 MongoDB3.4 版本新节点同步的一点惊喜
一个日志库数据量过大，以前3.2 版本的MongoDB oplogsize=50G 也没法初始化新节点。在把版本升级到3.4,磁盘选择高效云盘后。再做新节点初始化数据同步。时间已从以前的3天多，到现在的15小时左右了。主是节省的时间是在索引建立这块。数据同步时，索引也在处理，oplog 数据也在同时同步。以下是分析日志的一点观点，因只是基于日志，可能有不足之处。看过源码的
2017-02-23 10:02:14
4022
原创 MongoDB数据量大于2亿后遇到的问题 及原因分析
MongoDB数据量大于2亿后遇到的问题 及原因分析一、数据增长情况 每月增长量最大达到了1.9亿，每天增长约300W-500W （增长数据具体可看页尾）二、遇到的情况及解决方法 1.数据量过大，并且都集中在一个表，所以此表数据插入变慢。 表索引越多越明显， 优化处理方法：
2017-02-17 13:59:51
54396
3
转载 MySQL性能的五大配置参数(内存参数)
内存参数：存储引擎/共享日志缓冲区，缓冲区池 oinnodb_buffer_pool_sizeoinnodb_additional_mem_pool_sizeoinnodb_log_buffer_size服务器/共享查询调整缓存线程高速络缓存oquery_cacheotable_cahceotable_definition_cac
2017-02-05 15:55:43
23326
转载 MySQL Binlog三种格式介绍及分析
一．Mysql Binlog格式介绍 Mysql binlog日志有三种格式，分别为Statement,MiXED,以及ROW！1.Statement：每一条会修改数据的sql都会记录在binlog中。优点：不需要记录每一行的变化，减少了binlog日志量，节约了IO，提高性能。(相比row能节约多少性能与日志量，这个取决于应用的SQL情况，正常同一条记录修改或者插入row格式所产生的
2017-02-05 11:35:41
2564
转载 Quest 公司的Shareplex 与 GoldenGate比较
比较内容 Quest SharePlex for OracleOracle GoldenGate产品成熟度 SharePlex产品最早发布于1999年，目前的版本为7.0.2，产品成熟度非常高；成熟的产品有效地保障了数据的安全性，避免产品不稳定性对复制环境的影响，10多年来在全球有近1000个大型客户的成功案例。在中国大陆地区有超过80个的成功案例。Shareplex在多
2017-01-13 11:14:48
3230
Database.10g.Administration.Workshop.I.Student.Guide ORACLE 原厂培训教材
2009-02-06
无法使用BlueCloth,安装总是失败
2009-07-03
TA创建的收藏夹 TA关注的收藏夹
TA关注的人