4 王树民

尚未进行身份认证

我要认证

大JAVA

等级
TA的排名 677

install pip3 for python 3.x

前言:  我目前使用的服务器为centos6.x 系统自带的python的版本为2.6.x,但是目前无论是学习还是使用python,python3都是首选,那么问题来了。---如何安装python3环境,又如何给python3安装对应的pip3呢? 更关键的是我们原来的系统中还有一些自带的工具需要用到python2.6版本,所以要求的是python3 and python2 共存,pip2 and pip3共存。下面文章就是我的亲自实践。(给 python3 安装 pip3)  写这篇的目的就...

2020-08-07 10:07:10

PostgreSQL配置优化

PostgreSQL配置优化 硬件和系统配置 测试工具 配置文件 主要选项 测试数据 总结 硬件和系统配置操作系统 Ubuntu13.04 系统位数 64 CPU Intel(R) Core(TM)2 Duo CPU 内存 4G 硬盘 Seagate ST2000DM001-1CH164 测试工具 PostgreSQL-9.1.11 测试工具工具名称 pgbench...

2020-08-06 10:31:06

pgwatch2在CentOS7上的安装和使用docker

1. 前言1.1 pgwatch2 介绍pgwatch2,是由CYBERTEC开发的PostgreSQL数据库的指标收集器和可视化解决方案。 这个灵活的,自包含的监控工具将PostgreSQL监控提高到一个新的水平。尽管有许多PostgreSQL监控解决方案,但其中大多数解决方案因太复杂而难以启动,并且因不灵活而无法自行扩展功能。 PGWatch试图通过提供以前无法提供的灵活性并仅专注于指标收集来改变这种状况,为演示方提供了可用的最好的仪表板工具。PGWatch充当远程度量收集后台程...

2020-08-06 09:29:00

PostgreSQL监控之pgwatch2

前言:虽然作者已经推出了docker版本,只需一键(一条命令)即可完成搭建。 但是本着学习的心理还是要自己折腾一遍,一键虽好但不明了啊。 官方已经把安装写的很详细了,但毕竟是英文...... pgwatch2官方地址:https://github.com/cybertec-postgresql/pgwatch2系统环境:CentOS 7.5IP:192.168.1.2grafana-5.1.4PostgreSQL-10、pg_stat_statements模块...

2020-08-06 09:20:38

PostgreSQL 参数调整(性能优化)

昨天分别在外网和无外网环境下安装PostgreSQL,有外网环境下安装的相当顺利。但是在无外网环境下就是两个不同的概念了,可谓十有八折。感兴趣的同学可以搭建一下。PostgreSQL安装完成后第一件事便是做相关测试,然后调整参数。/*CPU查看CPU型号*/cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c/*查看物理CPU个数*/cat /proc/cpuinfo | grep "physical id" | sor...

2020-08-05 15:53:48

Flink异步IO结合Redisson访问Redis

发表于2019-07-15|分类于大数据|0|本文总阅读量165次Flink异步IO源码简析。使用Redisson框架封装的异步请求API。对key进行异步累计递增计数和计算业务值并保存在Redis中。Lua脚本和事务API。FLINK v2-异步IO的设计与实现Flink使用异步IO访问外部数据AsyncRedisJob代码AsyncFunction AsyncFunction是一个异步算子接口,本身继承Function和Serializable。...

2020-08-05 13:33:29

CompletableFuture 使用详解

1、 runAsync 和 supplyAsync方法CompletableFuture 提供了四个静态方法来创建一个异步操作。public static CompletableFuture<Void> runAsync(Runnable runnable)public static CompletableFuture<Void> runAsync(Runnable runnable, Executor executor)public static <U&g...

2020-08-04 13:49:32

Flink:异步I/O访问外部数据

Flink大数据项目实战:http://t.cn/ExrHPl9Aysnc I/O1.1Aysnc I/O是啥?Async I/O 是阿里巴巴贡献给社区的一个呼声非常高的特性,于1.2版本引入。主要目的:是为了解决与外部系统交互时网络延迟成为了系统瓶颈的问题。场景:流计算系统中经常需要与外部系统进行交互,比如需要查询外部数据库以关联上用户的额外信息。通常,我们的实现方式是向数据库发送用户a的查询请求(例如在MapFunction中),然后等待结果返回,在这之前,我们...

2020-08-04 11:04:23

前面 FLink 的文章中我们已经介绍了说 Flink 已经有很多自带的 Connector。

https://www.cnblogs.com/Allen-rg/p/11593528.html1、《从0到1学习Flink》—— Data Source 介绍2、《从0到1学习Flink》—— Data Sink 介绍其中包括了 Source 和 Sink 的,后面我也讲了下如何自定义自己的 Source 和 Sink。那么今天要做的事情是啥呢?就是介绍一下 Flink 自带的 ElasticSearch Connector,我们今天就用他来做 Sink,将 Kafka 中的数据经过 Fl

2020-08-04 09:51:34

java 内部类和静态内部类的区别

下面说一说内部类(Inner Class)和静态内部类(Static Nested Class)的区别:定义在一个类内部的类叫内部类,包含内部类的类称为外部类。内部类可以声明public、protected、private等访问限制,可以声明 为abstract的供其他内部类或外部类继承与扩展,或者声明为static、final的,也可以实现特定的接口。外部类按常规的类访问方式使用内部 类,唯一的差别是外部类可以访问内部类的所有方法与属性,包括私有方法与属性。(1)创建实例OutCla...

2020-08-03 13:46:25

文件操作liunx

2020-07-30 14:13:13

Flink架构及其工作原理

目录System Architecture Data Transfer in Flink Event Time Processing State Management Checkpoints, Savepoints, and State RecoverySystem Architecture分布式系统需要解决:分配和管理在集群的计算资源、处理配合、持久和可访问的数据存储、失败恢复。Fink专注分布式流处理。Components of a Flink SetupJo...

2020-07-30 13:59:39

Flink 清理过期 Checkpoint 目录的正确姿势

本博客是笔者在生产环境使用 Flink 遇到的 Checkpoint 相关故障后,整理输出,价值较高的 实战采坑记,本文会带你更深入的了解 Flink 实现增量 Checkpoint 的细节。通过本文,你能 get 到以下知识:Flink Checkpoint 目录的清除策略 生产环境应该选择哪种清除策略 生产环境必须定期脚本清理 Checkpoint 和 Savepoint 目录 RocksDB 增量 Checkpoint 实现原理 如何合理地删除 Checkpoint 目...

2020-07-30 13:49:18

聊聊flink的checkpoint配置

序本文主要研究下flink的checkpoint配置实例StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();// start a checkpoint every 1000 msenv.enableCheckpointing(1000);// advanced options:// set mode to exactly-once (this is th...

2020-07-30 09:47:54

elasticsearch运维实战之2 - 系统性能调优

elasticsearch性能调优集群规划独立的master节点,不存储数据, 数量不少于2 数据节点(Data Node) 查询节点(Query Node),起到负载均衡的作用Linux系统参数配置文件句柄Linux中,每个进程默认打开的最大文件句柄数是1000,对于服务器进程来说,显然太小,通过修改/etc/security/limits.conf来增大打开最大句柄数* - nofile 65535虚拟内存设置max_map_count定义了进程能拥有的最多内...

2020-07-28 17:15:28

ElasticSearch优化系列四:ES的heap是如何被瓜分掉的

以下分别解读几个我知道的内存消耗大户:Segment MemorySegment不是file吗?segment memory又是什么?前面提到过,一个segment是一个完备的lucene倒排索引,而倒排索引是通过词典(Term Dictionary)到文档列表(Postings List)的映射关系,快速做查询的。由于词典的size会很大,全部装载到heap里不现实,因此Lucene为词典做了一层前缀索引(Term Index),这个索引在Lucene4.0以后采用的数据结构是FST (Fin...

2020-07-27 16:39:39

ElasticSearch中的field data(正排索引)

glrh123 2016-07-29 11:07:01 3137 已收藏 1分类专栏: ElasticSearch版权主要参考文章:http://www.tuicool.com/articles/B3QnQzE正排索引与倒排索引Elasticsearch使用一种叫做倒排索引(inverted index)的结构来做快速的全文搜索。倒排索引由在文档中出现的唯一的单词列表,以及对于每个单词在文档中的位置组成。倒排索引的结构如下图,它存储的内容是“哪些词语出现在了哪些文档中”,这种结构决定了...

2020-07-27 16:00:38

Elasticsearch-6.x 倒排索引,doc_values,Fielddata, store研究

一.倒排索引倒排索引的概念,感兴趣的可以点击查看<<ES权威指南中关于倒排索引的解释>>也可以查看elasticsearch简介和倒排序索引介绍这篇文章,写的很清晰。1.1 字段和倒排索引的关系首先,在es中,我们可以把一个doc(文档)理解为数据库中的一行数据,每个doc对应多个field(字段),例如:PUT /employee/group/1{ "age" : 25, "about" : "I love to go rock clim...

2020-07-27 15:26:08

 Flink  内存

Flinkmap:做一些清洗转换;flatMap:输入一个元素,返回一个或者多个元素;filter:符合条件的数据留下;keyBy:key相同的数据进入同一个分区;reduce:当前元素与上一次reduce返回值进行聚合操作;Union:合并多个流,但是所有的流类型必须一致;Connect:合并两个流,两个流的类型可以不同;CoMap、CoFlatMap:对于ConnectedStream使用这俩函数,对两个流进行不同的处理;split:根据规则吧一个数据流切分为多个..

2020-07-27 11:38:56

Flink 容错机制与状态

简介Apache Flink提供了一种容错机制,可以持续恢复数据流应用程序的状态。 该机制确保即使出现故障,经过恢复,程序的状态也会回到以前的状态。 Flink 主持 at least once 语义 和 exactly once 语义 Flink 通过定期地做 checkpoint 来实现容错 和 恢复, 容错机制不断地生成数据流的快照, 而不会对性能产生太大的影响。 流应用程序的状态存储在一个可配置的地方(例如主节点或HDFS) 如果出现车程序故障(由于机器、网络或软件故障), Fl...

2020-07-27 11:17:05

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 阅读者勋章Lv2
    阅读者勋章Lv2
    授予在CSDN APP累计阅读博文达到7天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。