- 博客(78)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 hbase2
一、原理1、详细架构图a、zk：client端的DML请求经过zk，zk路由到具体的reginServerb、master：client端的DDL请求经过master，如：创建表、nameSpacec、hlog：相当于mysql的redo-logd、store：存储的是列族e、mem-store：会定时将内容flush到storefilef、storeFile：存储hbase真正的内容2、写流程注：读比写慢a、client先访问zk，获取hbase:meta表位于哪个re
2020-12-10 21:19:41
188
原创 hbase
一、HBase简介（一）、特点1、HBase是一种分布式、可扩展、支持海量数据存储【几十亿数据秒级查询】的NoSQL数据库。（二）、数据模型1、逻辑结构（1）、与mysql对比mysql habse库 nameSpase【一般以业务线建立，不用默认的】表 多个region【数据过多时会拆成多个region】列 列族【包含多个列，列不用指定，可动态增加，且列没有类型，hbase以字节数组形式...
2020-12-06 16:41:34
106
原创 flink2
一、流处理API显示数据类型：.var---->value上specify type（一）source（二）Transform【转换算子】1、简单转换算子【DataStream ->DataStream】：a、mapb、flatMap：根据旧集合生成一个新的集合例：flatMap(List(1,2,3))(i => List(i,i))。结果是List(1,1,2,2,3,3)List("a b", "c d").flatMap(line => line.split("
2020-11-20 09:42:45
232
原创 flink1
一、flink集群部署(一)、standalone方式1、cd flink_1.10.12、cd conf3、vim flink-conf.ymal注：jobmanager：spark中的driver，管理job，生成执行图，将任务分配给taskmanager，是一个jvm进程 taskmanager：worker，spark中的executor，job将task分配给taskmanager，真正干活的，也是一个jvm进程 slot：每个任务要分配到slot上【一个slot会被分配...
2020-11-18 10:54:01
359
原创 nginx实战
一、反向代理（proxy_pass）http { include extra/*.conf------------->引入外部的配置文件}1、反向代理tomcat:8080server{ listen 80;------------------------------------>打开对80端口号的监听 server_name localhost;------------------------>域名配置 location / {-----------...
2020-10-06 21:17:06
190
1
原创 nginx基础
一、作用1、反向代理 a、分向代理：代理服务端，如：用vpn访问网站 b、反向代理：代理服务端，如：nginx2、apache、tomcat、nginx：都是http-server，都接收http请求二、安装与运行1、安装 a、tar -zxvf nginx-1.1.4.0.tar.gz b、yum install pcre-devel c、yum install zlib-devel d、./configure --prefix=/data/pr...
2020-10-06 21:15:11
123
原创 docker基础
一、入门1、使用docker，可更快打包、测试、部署，并可缩短从编写到部署运行代码的周期。(一)、docker 安装1、卸载旧版本docker：sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \
2020-09-23 20:08:36
143
原创 docker实战
一、mysql1、创建带密码的mysqldocker run -d --name mysql01 -e MYSQL_ROOT_PASSWORD=123123 mysqldocker exec -it mysql01 bash删除容器：docker rm -f mysql01-------->mysql中的数据也没了github中上搜docker-library2、mysql数据保存的目录myslq-dockerfile中的volume /var/lib/mysql进入m
2020-09-14 22:07:10
211
1
原创 docker 网络
一、网卡1、网卡：计算机进行通信的硬件支撑，有唯一的mac地址，2、查看网卡信息a、ip link show1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:002: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 q...
2020-09-14 16:48:50
294
原创 kafka
一、kafka简介1、kafka的版本变化：搜apache kafka new feature list---->more improvements and fixes2、kafka有很多厂商，最初由linkedIn打造，然后捐给了apache3、kafka-characteristics：persistent messaging、high throughput、distributed、multiple client support、real time、consumer pull4、kafk
2020-08-12 09:16:40
316
原创 4、mysql性能优化总结
一、优化从何入手？（一）连接数1、客户端（jdbc连接池）、服务端（调大连接数）a、druid的连接池默认为8个。hikari的连接池默认为10个b、建议个数：连接池个数：cpu*2+1（二）主从复制1、原理：通过binlog，如图：a、relay log：中继日志2、如何让写操作去master执行，读操作去slave执行 切面判断读写+spring提供的动态数据源：abstractRountingDataSource3、通信规则a、异步复制：master写入binlog就会..
2020-06-19 19:52:59
278
原创 3、mysql事务与锁
一、事务特性（一）、哪些存储引擎支持事务？Innodb、NDB（二）、事务的四大特性？1、原子性（atomicity）：用undo log回滚来实现2、一致性（consistent）：3、隔离性（isolation）：4、持久性（durable）：数据库的崩溃回复通过redo log来实现。doubule write buffer（双写缓冲）为数据页创建副本，保证页的完整性。（三）、什么时候会出现事务？1、前提条件select version();show variables li
2020-06-18 21:33:03
124
原创 2、myslq索引原理与使用规则
一、索引本质1、索引是什么？数据库索引，是数据库管理系统（DBMS）中有序的数据结构，以协助快速查询，更新表中的数据。注：索引中存储的是磁盘地址2、索引类型（1）Normal（普通索引）：标识index、key（2）Unique（唯一索引）：标识unique index、unique key，不能重复（3）Primary（主键索引）：不能重复，且不能出现空值（4）Full Text（全文索引）：标识fulltext key、fulltext index注：对于varchar、text类型
2020-06-18 16:00:25
265
原创 1、mysql架构与sql执行流程
零、执行sql的流程app--->缓存（默认不开启）--->sql解析--->sql预处理--->sql执行优化器--->sql查询执行引擎--->存储引擎一、通信类型同步、异步，一般用的都是同步二、连接方式1、长连接连接可以被多个客户端复用，缺点是会消耗服务端内存。（1）、一个连接多久不被使用，会被mysql关闭呢？a、show global variables like 'wait_timeout'; --非交互式超时时间，如JDBCb、show
2020-06-15 21:14:56
555
原创 12、es----案例：小型流量分系统
一、vm工具1、Oracle VM VirtualBox（虚拟机）中安装中安装CentOS用的是什么centos镜像，CentOS比较新的版本是7了，然后服务器上装操作系统的话，内存一般比较大，一般是安装64位的，32位的有一个最大内存4G的限制（1）使用课程提供的CentOS 7镜像即可，CentOS-7-x86_64-Minimal-1611.iso。（2）创建虚拟机：打开Virtual Box，点击“新建”按钮，点击“下一步”，输入虚拟机名称为elasticsearch01，选择操作系统
2020-06-15 09:39:18
214
原创 11、es---java api
一、client集群自动探查1、默认情况下，是根据我们手动指定的所有节点，依次轮询这些节点，来发送各种请求的，如下面的代码，我们可以手动为client指定多个节点Settings settings = Settings.builder() .put("cluster.name", "elasticsearch") .put("client.transport.sniff", true)---->开启自动探查功能 ...
2020-06-10 16:37:35
183
原创 10、es---高级用法
一、term vector1、term vector ：获取document中的某个field内的各个term的统计信息term information: term frequency in the field, term positions, start and end offsets, term payloadsterm statistics: 设置term_statistics=true; total term frequency, 一个term在所有document中出现的频率; docu
2020-06-09 14:15:25
1130
原创 9、es----数据建模
一、冗余模式1、将可能会进行搜索的条件和要搜索的结果，放在一个doc中2、例如：PUT /website/blogs/1{ "title": "小鱼儿的第一篇博客", "content": "大家好，我是小鱼儿。。。", "userInfo": { "userId": 1, "username": "小鱼儿" }}二、文件系统数据建模1、path_hierarchy分词器功能：/a/b/c/d --> path_hierarchy -&...
2020-06-08 20:01:07
248
原创 8、es---深入聚合数据分析
一、bucket与metric1、bucket相当于mysql的group by。2、metric：对一个数据分组执行的统计，比如说求平均值，求最大值，求最小值二、实战1、例1：查询参数及结果说明GET /tvs/sales/_search{ "size" : 0, "aggs" : { "popular_colors" : { "terms" : { "field" : "color"...
2020-06-02 09:04:57
1313
原创 7、es---ik中文分词器
一、ik的安装与使用1、在elasticsearch中安装ik中文分词器（1）git clone https://github.com/medcl/elasticsearch-analysis-ik（2）git checkout tags/v5.2.0（3）mvn package（4）将target/releases/elasticsearch-analysis-ik-5.2.0.zip拷贝到es/plugins/ik目录下（5）在es/plugins/ik下对elasticsearch-a
2020-06-01 14:49:34
256
原创 6、es---搜索技术
一、在全文检索中控制结果精度1、为帖子数据增加标题字段POST /forum/article/_bulk{ "update": { "_id": "1"} }{ "doc" : {"title" : "this is java and elasticsearch blog"} }{ "update": { "_id": "2"} }{ "doc" : {"title" : "this is java blog"} }{ "update": { "_id": "3"} }{ "doc" :
2020-05-28 16:38:12
637
原创 5、机构化搜索
一、term filter1、term filter：根据exact value进行搜索，数字、boolean、date天然支持2、text需要建索引时指定为not_analyzed，才能用term query3、相当于SQL中的单个where条件4、5.2版本，type=text，默认会设置两个field，一个是field本身，比如articleID，就是分词的；还有一个的话，就是field.keyword，articleID.keyword，默认不分词，会最多保留256个字符select
2020-05-28 14:24:52
137
转载 4、es---内核原理
一、倒排索引1、倒排索引的结构（1）包含这个关键词的document list（2）包含这个关键词的所有document的数量：IDF（inverse document frequency）（3）这个关键词在每个document中出现的次数：TF（term frequency）（4）这个关键词在这个document中的次序（5）每个document的长度：length norm（6）包含这个关键词的所有document的平均长度word doc1 doc2...
2020-05-25 10:48:41
204
原创 3、es---索引管理
一、索引的增删改1、创建索引PUT /my_index{ "settings": { "number_of_shards": 1, "number_of_replicas": 0 }, "mappings": { "my_type": { "properties": { "my_field": { "type": "text" } } } }}2、修改索引PUT /...
2020-05-22 17:41:40
268
原创 2、es---搜索引擎
一、get /_search 结果详情1、结果GET /_search{ "took": 6, "timed_out": false, "_shards": { "total": 6, "successful": 6, "failed": 0 }, "hits": { "total": 10, "max_score": 1, "hits": [ { "_index": ".kibana", ...
2020-05-19 15:48:49
319
原创 1、kibana常用es命令
es提供了一套api，叫cat api， 可以查看es中各种各样的数据一、cluster1、查看cluster集群的健康状况：get /_cat/healt?v二、index1、查看cluster中有哪些index：get /_cat/indices?v2、创建index：put /test_index?pretty3、删除索引：delete /test_index?pre...
2020-05-07 11:48:02
3033
原创 springBoot多环境配置
一、环境准备1、pom.xml中的<profiles> <profiles> <profile> <id>dev1</id> <properties> <profileActive>dev</pro...
2020-04-11 20:25:53
170
原创 mysql语法
一、常用linux指令1、登录 进入目录mysql\bin 本机登录：mysql -u(用户名) -p(密码) 非本机登录：mysql -h(ip) -u(用户名) -p(密码)2、查看数据库和表 显示所有数据库：show datebases; 选择数据库：use 库名; 显示所有表：show tables; 显示某个表...
2020-01-19 09:10:49
127
原创 前端笔记（react-dva-umi）---前期
一、package.json依赖说明：1、例子："react-ace": "^8（7、8的api都不兼容）.0（feature版本）.0（bugfix版本）",2、说明：^:8及以上版本、~：特定的bugfix版本无：制定版本二、jsx没有子元素要自动关闭（JSX elements with no children must be self-closing）1、例如：...
2019-11-13 18:45:43
410
原创 java 项目打包部署
一、打包1、在pom.xml中指定main类<plugin> <artifactId>maven-assembly-plugin</artifactId> <configuration> <appendAssemblyId>false</appendAssemblyId> <d...
2019-05-20 15:54:49
10942
原创 codis集群搭建
一、搭建过程官方文档：https://github.com/CodisLabs/codis/blob/release3.2/doc/tutorial_zh.md（一）、软件及配置位置1、上传bin.tar至/opt/app/codis下（tar -xvfbin.tar），将配置放在/opt/app/codis/ripsg/config下（二）、启动过程注：启动dashboar...
2019-03-18 15:47:52
373
1
原创 git常用指令
1、git init test --->初始化一个git仓库，会有.git文件夹生成2、git status --->用于显示工作目录和暂存区的状态，不显示已经commit的信息 Untracked files--->从来没add的文件 Changes to be committed--->已经在stage区，没有commit的文件 ...
2019-03-10 09:31:01
1198
1
原创 redis-sentinel模式搭建
一、redis.conf:daemonize yesport 6379dbfilename dump.rdbdir "/opt/app/redis-sentinel/redis-3.0.3/rdb/redis_6379"logfile "/opt/app/redis-sentinel/redis-3.0.3/logs/redis_6379.log"loglevel warnings...
2019-03-10 09:29:56
179
原创 redis-cluster搭建
一、redis.conf1、port 70012、daemonize yes3、bind 52.27.105.144、dir "/opt/app/redis-cluster/7001"(rdb或aof文件)5、cluster-enabled yes（启动集群模式）6、cluster-config-file nodes-7001.conf（存放所有的节点信息，会在dir目录下自动生成。...
2019-03-10 09:29:40
153
原创 zookeeper
一、单台部署1、tar -zxvf zookeeper-3.4.6.tar.gz2、mv zookeeper-3.4.6 zookeeper-3.4.6-node1 cp -R zookeeper-3.4.6-node1 zookeeper-3.4.6-node2 cp -R zookeeper-3.4.6-node1 zookeeper-3.4.6-node3...
2019-03-10 09:29:21
143
原创 AOP编程注意事项
一、proxy-target-class1、proxy-target-class true：cglib字节码增强（标识：EnhancerByCGLIB） false：jdk动态代理（标识：Proxy4）2、例 A implements B (1)、proxy-target-class = false 时，使用jdk动...
2019-03-10 09:28:40
513
原创 PostGreSQL 事务操作
一、隔离问题及隔离级别1、隔离问题：a、脏读：一个事务读到另一个事务没有提交的数据b、不可重复读：一个事务读到另一个事务已提交的数据（update：一个事务重新执行查询，发现数据因被另一个已经提交的事务 update 操作而改变）c、虚读(幻读)：一个事务读到另一个事务已提交的数据（insert：一个事务重新执行查询，发现查询结果的集合因另一个已提交事务的 insert 操作而改变）...
2019-03-10 09:26:23
3211
原创 JVM 优化
一、问题排查工具1、查看gc日志输出日志：./jstat -gccause vmid 1000 500| awk '{print $0"\t" strftime("%H:%M:%S",systime())}'2、查看gc日志不输出日志：date|tee /opt/applog/master-gc.log;./jstat -gccausevmid 1000 500|tee -a /opt/...
2019-03-08 17:18:32
892
1
原创 postgreSQL解决网络抖动问题
一、问题描述org.mybatis.spring.MyBatisSystemException,org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.exceptions.PersistenceException:### Error querying database. Cause:...
2019-03-06 19:41:28
2989
原创 泛型
一、概述1、没有泛型：编译时不报错，运行时报错ClassCastException2、泛型好处：编辑期检查、减少了数据类型转换3、泛型的本质就是参数化类型，也就是定义形参。二、泛型类1、创建对象的时候指定具体的数据类型2、泛型类，如果没有指定具体的数据类型，此时，操作类型是Object3、泛型的类型参数只能是引用类型，不能是基本数据类型，如：int4、同一个泛型类，根据不同的数据类型创建的对象，本质上是同一个类型（同一个class对象）。注：可以结合后面的泛型擦除理解，泛型擦除之后 Ge
2021-05-05 18:00:02
178
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人