- 博客(151)
- 资源 (18)
- 收藏
- 关注
RSS订阅原创 Clickhouse使用优化
先看下clickhouse的建表语法：基本结构跟Mysql类似，这里主要说下以下几点，表引擎、分区和索引表引擎（即表的类型）决定了：大部分场景下，我们使用MergeTree即可满足业务需求，MergeTree是clickhouse里面适用于高负载任务的最通用和功能最强大的表引擎。这些引擎的共同特点是可以快速插入数据并进行后续的后台数据处理。 MergeTree系列引擎支持数据复制（使用Replicated* 的引擎版本），分区和一些其他引擎不支持的其他功能。
2022-12-07 17:18:41
1614
1
原创 Yarn重启applications记录恢复
Yarn重启applications记录恢复配置配置参数，该参数用来指定RM在重启之前将自己的状态保存在何种存储媒介上，目前有3种存储可选org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore默认值，是基于文件系统的存储（本地存储或者HDFS）。可以指定yarn.resourcemanager.fs.state-store.uri作为存储路径...
2022-06-24 09:51:01
991
原创 Grafana 8.4.4安装
Grafana安装Grafana安装一、下载安装二、解压三、修改配置及导入数据3.1 初始化mysql数据库和导入数据3.2 初始化grafana数据库表结构3.3 导入前置数据3.4 修改grafana默认数据库配置四、启动Grafana安装一、下载安装 下载安装包，选对应的平台，这里下载的是grafana-8.4.4.linux-amd64这个版本二、解压解压到/root/app/目录下，tar -zxvf grafana-8.4.4.linux-amd64.tar.gz -C /roo
2022-04-11 15:21:55
2396
原创 Zookeeper分布式安装
Zookeeper分布式安装集群规划新建安装目录新建zookeeper数据目录解压修改配置修改默认的数据目录添加节点配置创建myid文件配置另外2个节点启动集群查看集群状态集群规划三个节点，分别是10.215.7.21，10.215.7.23，10.215.7.24新建安装目录mkdir /opt/topology/service/zookeeper新建zookeeper数据目录/opt/topology/service/zookeeper/data解压将zookeeper安装文件解压到
2022-03-30 11:03:21
281
原创 HDFS常用命令
HDFS常用命令查看文件夹下文件大小查看文件夹下的文件列表查看文件夹下文件大小hadoop fs -du -h /查看文件夹下的文件列表hdfs dfs -ls /
2022-03-04 10:23:04
1317
原创 maven-dependency-plugin插件
maven-dependency-plugin插件引入dependency:copymaven-dependency-plugin是处理与依赖相关的插件引入<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-dependency-plugin</artifactId> <version>2.8</ver
2022-02-28 11:03:28
2974
原创 Flink On Yarn Pre-job提交空指针报错
Flink On Yarn Pre-job提交空指针报错背景问题排查背景通过命令提交job到yarn是正常运行的，命令如下：./bin/flink run -d -m yarn-cluster ./examples/streaming/TopSpeedWindowing.jar项目需求通过代码的形式提交，这边方便获取jobId和applicationId，如是找了一个开源的代码，代码地址flink-spark-submiter，倒腾了半天终于可以提交了，执行如下：java -jar flink-
2022-02-25 13:45:24
1726
原创 linux sed使用
linux sed使用参数说明把修改添加到文件里面 -i生成新文件修改参数在第一行前添加字符串在最后一行行前添加字符串在最后一行行后添加字符串替换第一行old为new替换匹配到pattern1行的内容old为new参数说明把修改添加到文件里面 -ised -i '修改内容' file默认不加参数修改会输出到控制台生成新文件sed '修改内容' file > newFile修改参数在第一行前添加字符串sed '1i 添加的内容' file在最后一行行前添加字符串sed '
2022-02-09 13:45:52
2020
原创 Jackson反序列化泛型List(使用JavaType将json字符串转换成泛型List)
Jackson反序列化泛型List第一种方法第二种方法第一种方法ObjectMapper mapper = new ObjectMapper();// 排除json字符串中实体类没有的字段 objectMapper.configure(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES,false);String json = "[{\"name\":\"a\",\"age\":\"345\"},{\"name\":\"b\",\"age\
2022-01-18 17:08:42
1070
原创 Python2编译
Python2编译下载文件编译解压安装到指定目录增加ssl模块的支持编译安装错误安装e2fsprogs-devel安装pip下载文件直接去官网下载tar.gz的安装包即可，这里下载的是Python-2.7.18.tgz编译在root目录新建software文件夹，将压缩文件放进去，新建app目录用于存放编译后的文件解压tar -zxvf Python-2.7.18.tgz安装到指定目录进入到解压后的文件，安装到/root/app/python2./configure --prefix=/
2021-12-30 18:52:42
1915
原创 clickhouse安装部署
clickhouse安装部署下载安装文件安装升级安装或升级完验证启动查看是否启动成功进入命令行下载安装文件这里直接去GitHub下载最新版本，我下载的是最新的ClickHouse stable release v21.12.2.17-stable，用rpm方式安装，主要下载一下几个文件:clickhouse-server-21.12.2.17-2.noarch.rpmclickhouse-common-static-21.12.2.17-2.x86_64.rpmclickhouse-client-
2021-12-17 15:03:42
784
原创 git初始化仓库并上传到服务器
git初始化仓库并上传到服务器简易的命令行入门教程Git 全局设置:创建 reptile 项目git 仓库:已有仓库?简易的命令行入门教程Git 全局设置:git config --global user.name "xxxx"git config --global user.email "[email protected]"创建 reptile 项目git 仓库:mkdir reptilecd reptilegit inittouch README.mdgit add README.mdgit
2021-12-10 23:22:49
596
原创 IPV6基本知识
IPV6基本知识基本概念基本概念IPv6是由八组，每组四位16进制数字组成，每组之间由"："来分隔。简单的例子：2610:00f8:0c34:67f9:0200:83ff:fe94:4c36，每个“：”前后都是4位16进制的数字，共分隔成8组。如下图所示：IPv6地址数量是2的128次方340282366920938463463374607431768211456个如果以二进制来写，IPv6的地址就是128位IPv6的地址是可以简写的，每项数字前导的0可以省略例如，下面这个地址
2021-12-09 17:42:21
2817
原创 storm安装(单机和集群)
@TOC单机安装下载https://storm.apache.org/在官方网站下载storm即可解压解压到指定文件夹/opt/topology/servicetar zxf storm-1.2.1.tar.gz -C /opt/topology/service/修改文件夹名称mv storm-1.2.1 storm这里不做修改，直接启动先后台启动主节点nimbusbin/storm nimbus &再后台启动从节点supervisorbin/storm supe
2021-12-09 12:44:28
1126
原创 zookeeper安装(单机和集群)
zookeeper安装单机安装下载安装修改配置文件启动查看状态命令行访问查看帮助查看目录 ls path查看目录下面的数据 get path集群安装创建 myid 文件将zookeeper部署到另外2台机器上修改myid 文件配置其他服务器按照上面一样的操作每个节点都启动zookeeper查看zookeeper状态连接主节点单机安装下载https://zookeeper.apache.org/在官方网站下载zookeeper即可安装解压到指定文件夹/opt/topology/servicet
2021-12-09 10:42:03
312
原创 Linux配置主机名
Linux配置主机名设置本机主机名添加其他主机名称与IP的映射关系设置本机主机名编辑/etc/sysconfig/networkvi /etc/sysconfig/network添加配置HOSTNAME=hadoop01.test.com添加其他主机名称与IP的映射关系vi /etc/hosts添加配置192.168.10.12 hadoop01.test.com192.168.10.13 hadoop02.test.com192.168.10.14 hadoop02.test.
2021-12-08 18:15:09
1610
原创 Python服务器虚拟环境运行
Python服务器虚拟环境运行安装虚拟环境创建requirements.txt(有可忽略)激活虚拟环境安装依赖查看已安装的依赖运行python程序不激活虚拟环境运行python程序安装虚拟环境进入项目目录，这里项目是dFirst，创建虚拟环境dFirst-envpython3 -m venv dFirst-env创建requirements.txt(有可忽略)pip freeze > requirements.txt激活虚拟环境source dFirst-env/bin/activa
2021-10-14 18:20:42
905
原创 Pip修改阿里云镜像
Pip修改阿里云镜像centos环境修改Windows平台centos环境修改mkdir ~/.pipvi ~/.pip/pip.conf输入以下内容：# vim ~/.pip/pip.conf [global]index-url = http://mirrors.aliyun.com/pypi/simple [install]trusted-host=mirrors.aliyun.com然后就可以用pip install看看了另外一种安装临时指定镜像源地址：pip3
2021-09-29 10:03:38
1092
原创 Docker安装Elasticsearch
Docker安装Elasticsearch下载镜像创建配置文件夹新建配置文件夹新建数据文件夹新建插件文件夹创建配置文件修改文件夹权限启动elasticsearch验证是否启动成功Docker启动容器自启下载镜像docker pull elasticsearch创建配置文件夹新建配置文件夹mkdir -p /home/docker-data/elasticsearch/config新建数据文件夹mkdir -p /home/docker-data/elasticsearch/data新建
2021-08-30 09:13:53
213
原创 mongo实用语法
mongo实用语法判断某个字段存在判断某个字段不存在判断某个字段not null判断某个字段是null判断某个字段存在db.SUBNET.find({"subnetMark": {'$exists': true}})判断某个字段不存在db.SUBNET.find({"subnetMark": {'$exists': false}})知识点： $exists 字段是否存在判断某个字段not nulldb.SUBNET.find({"subnetMark": {$ne:null}})知识点
2021-08-11 20:01:52
88
原创 Docker远程访问开启安全验证
Docker远程访问开启安全验证Docker开启远程访问修改docker.service文件重启生效检查是否生效idea连接docker服务开启安全验证创建证书idea连接Docker开启远程访问修改docker.service文件vim /usr/lib/systemd/system/docker.service找到 [Service] 节点，修改 ExecStart 属性，增加 -H tcp://0.0.0.0:2375这里意思任何IP通过2375端口可以远程访问重启生效systemct
2021-07-13 13:04:12
1386
3
原创 记一次TreeSet多线程环境死循环问题
记一次TreeSet多线程环境死循环问题问题背景定位问题分析原因问题背景公司有个业务量很大的分析，正常使用8个线程8小时跑完，早上过来看发现任务未完成，任务总数和任务完成数差8，当时想是不是线程跑到某个时刻挂了，刚好差8个，查看error日志没有错误信息，使用top发现进程CPU还占用很高定位问题从上面背景可以看出，线程可能还在运行，但是不能被释放，于是借助jstack命令查看线程情况jstack -F 进程号使用这个命令可以将当前进程的线程情况输出到控制台首先可以看到当前没有线程死锁，
2021-07-09 14:11:28
465
3
原创 centos安装服务
Centos安装服务实现目标编制启动脚本编制service文件重新加载systemctl配置设置开机启动实现目标我们有一个whale.jar包，正常我们是通过java启动命令进行启动，比如：nohup java -Dloader.path=/xxx/service/whale/lib/ -jar /xxx/service/whale/whale.jar --server.root.basedir=/xxx >out.log &我们想通过systemctl start whale
2021-07-08 12:41:30
333
原创 mongodb在docker的安装
mongodb在docker的安装mongodb在docker的安装下载镜像启动使用mongo shellmongodb在docker的安装下载镜像docker pull mongo:4启动docker run --name mongo -p 27017:27017 -v $PWD/db:/data/db -d mongo:4关于PWD。1使用mongo shelldocker exec -it mongo mongo第一个mongo是我的容器的名称，大家写自己创建容器的名称即可，第
2021-06-11 17:05:52
311
1
原创 批量删除数据库表
批量删除数据库表批量删除数据库表批量删除数据库表SELECT CONCAT( 'drop table ', table_name, ';' )FROM information_schema.tablesWHERE table_schema = '数据库名称' AND table_name LIKE 'xxx%';通过上面语句即可查出符合要求待删除的表，然后把结果复制粘贴出来再进行执行即可...
2021-04-21 09:09:56
572
原创 Jupyter Notebook高级魔法命令
Jupyter Notebook魔法命令%run引入python包%timeit 性能测试%time 性能测试，执行一次其他魔法命令查看命令文档%run用来运行指定路径的python文件%run xxxx/xxx/xxx.py并且会将改文件定义的函数和变量引入到jupyter notebook中，后续可以使用引入python包import xxxx.xxxxfrom xxxx import xxxx%timeit 性能测试系统根据代码性能自动执行多次，并给出最快的3次结果%time
2021-02-26 10:01:01
189
原创 Centos7 防火墙 firewalld 实用操作
Centos7 防火墙 firewalld 实用操作启动防火墙systemctl start firewalld这里不用担心启用了防火墙以后无法通过ssh远程，22端口默认加入了允许规则停止服务systemctl stop firewalld重启服务systemctl restart firewalld查看服务状态systemctl status firewalld重装防火墙配置firewall-cmd --reload查看防火墙允许状态firewall-cmd --st
2021-02-05 17:18:34
111
原创 Nginx开启Gzip
Nginx开启Gzip #开启和关闭gzip模式 gzip on|off; #gizp压缩起点，文件大于10k才进行压缩 gzip_min_length 10k; # gzip 压缩级别，1-9，数字越大压缩的越好，也越占用CPU时间 gzip_comp_level 1; # 进行压缩的文件类型。 gzip_types text/plain application/javascript application/x-
2021-02-03 18:41:26
356
原创 Pycharm或者Idea控制台日志中文乱码
Pycharm或者Idea控制台日志中文乱码打开菜单help中的Edit Custom VM Options，然后在下面添加：-Dfile.encoding=utf-8然后重启开发工具即可
2021-01-29 16:21:05
712
1
原创 Gitlab ci runner安装及注册
Gitlab ci runner安装添加gitlab官方库开始安装[gitlab-runner 注册](https://docs.gitlab.com/runner/register/index.html#linux)添加gitlab官方库curl -L https://packages.gitlab.com/install/repositories/runner/gitlab-runner/script.rpm.sh | sudo bash开始安装sudo yum install gitlab-
2020-10-17 19:24:33
414
原创 Docker RabbitMQ-Management 安装 rabbitmq-delayed-message-exchange 插件
Docker RabbitMQ-Management 安装 rabbitmq-delayed-message-exchange 插件下载插件复制到docker容器MQ的插件目录下进入到容器中开启插件查看插件是否安装下载插件wget https://github.com/rabbitmq/rabbitmq-delayed-message-exchange/releases/download/v3.8.0/rabbitmq_delayed_message_exchange-3.8.0.ez复制到dock
2020-10-10 09:06:56
1248
原创 docker安装rabbitmq
docker安装rabbitmq下载镜像启动镜像下载镜像需要下载带管理界面的镜像docker pull rabbitmq:management启动镜像指定用户名user和密码xxxdocker run -d --hostname rabbitmq --name rabbit -p 15672:15672 -p 5672:5672 -e RABBITMQ_DEFAULT_USER=user -e RABBITMQ_DEFAULT_PASS=xxxx rabbitmq:management.
2020-10-09 16:26:01
166
转载 通过docker logs命令可以查看容器的日志
通过docker logs命令可以查看容器的日志命令格式：$ docker logs [OPTIONS] CONTAINER Options: --details 显示更多的信息 -f, --follow 跟踪实时日志 --since string 显示自某个timestamp之后的日志，或相对时间，如42m（即42分钟） --tail string 从日志末尾显示多少行日志， 默认是all -t
2020-08-17 10:27:53
1365
原创 Python虚拟环境Pipenv镜像地址使用阿里云加速
Python虚拟环境Pipenv镜像加速配置找到项目下的Pipfile文件配置阿里云镜像地址找到项目下的Pipfile文件默认配置[[source]]url = "https://pypi.org/simple"verify_ssl = truename = "pypi"[packages]flask = "*"[dev-packages][requires]python_version = "3.6"这个url对应的镜像地址比较慢，这里使用阿里云的，速度比较快配置阿里云镜
2020-06-20 22:17:35
1503
原创 Docker镜像阿里云加速配置
Docker镜像阿里云加速配置获取加速地址配置镜像加速器获取加速地址搭建可以去阿里云找到自己的镜像地址阿里云镜像配置镜像加速器针对Docker客户端版本大于 1.10.0 的用户您可以通过修改daemon配置文件/etc/docker/daemon.json来使用加速器sudo mkdir -p /etc/dockersudo tee /etc/docker/daemon.json <<-'EOF'{ "registry-mirrors": ["https://gnemq6c
2020-06-20 22:13:25
129
原创 Flask + Gunicorn + Docker部署新手教程
Flask + Gunicorn + Docker部署新手教程requirements.txt定义定义Dockerfilepycharm连接docker启动配置requirements.txt定义在项目根目录下创建requirements.txt文件，将依赖添加进去，如下:Flask==1.1.2gunicorn==20.0.4gevent==20.6.2定义Dockerfile在项目根目录下创建Dockerfile文件，定义如下：FROM python:3.8MAINTAINER 1
2020-06-20 22:08:16
1513
grafana sqlite3转mysql脚本
2022-04-11
mysql-connector-java-5.1.27-bin.zip
2020-02-27
android模糊处理
2015-10-13
三星i9300 6.0.1.2最新触屏版recovery
2012-11-22
word2003兼容2010工具
2011-10-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人