- 博客(73)
- 收藏
- 关注
RSS订阅原创 mysql5.7 安装
下载&安装wget http://repo.mysql.com/mysql57-community-release-el7-10.noarch.rpmrpm -Uvh mysql57-community-release-el7-10.noarch.rpmyum install -y mysql-community-server启动systemctl start mysqld.servicesystemctl status mysqld.service # 检查是否启动成功sy.
2022-02-21 17:35:51
565
原创 Linux 软件安装
安装步骤1、检测系统是否已经存在软件2、检测版本信息3、若存在，先卸载4、下载&安装5、修改配置文件下载wget urlcurl urlrpm安装rpm -ivh rpm包 # rpm安装rpm -qa ｜ grep jdk # 查看jdk安装信息rpm -e nodeps jdk安装信息 # 强制删除jkd解压安装tar -zxvf jdk-8u251-linux-x64.tar.gz -C /opt/modulesudo vim /etc/profi
2022-02-20 19:58:59
592
原创 Linux vim命令
新建&配置vim xx.txt # 新建文件# 永久显示行号vim ~/.vimrc :set number # 最后一行加入，然后保存退出命令模式# 保存&退出&进入编辑模式:q # 退出vim:q! # 强制退出:wq # 保存后退出vim:wq! # 保存后强制退出i # 进入编辑模式# 行号:set nu # 显示:set nonu # 取消显示# 搜索/word # 向下搜索?word # 向上搜索N/n # 向上 or 下查.
2022-02-20 11:32:27
387
原创 Linux 链接
链接硬链接一个文件有多个路径，删除文件不影响其他路径访问，可以防止误删软链接类似window快捷方式，源文件删除后就不可用了ln a b # 创建硬链接ln -s a b # 创建软连接
2022-02-20 01:12:52
258
原创 Linux 目录命令
查看ls # 查看目录文件ls -a # 查看目录所有文件ls -l ｜ ll # 查看目录下文件详细信息（权限、大小等）pwd # 查看当前目录完整路径tab键 # 补全目录打开cd / # 打开根目录cd ～ # 打开当前用户目录，如：/rootcd .. # 打开上一级目录cd xx # 打开xx目录新建目录mkdir xx # 新建xx文件夹mkdir -p xx1/xx2/xx3 # 递归创建多个目录删除目录or文件rmdir xx # 删除空目录rmdir
2022-02-19 13:48:59
434
原创 Linux 笔记
目录说明/etc: 用来存放系统管理所有的配置文件和子目录/home: 桌面，可以建立一个自己（jeff）专属目录，存放文件/opt：给主机额外按照软件所存放目录，比如jdk安装包/root：系统管理员用户主目录/tmp：存放用完既删除的临时文件/usr：软件安装目录和文件都放里面，类似windows的program files/var： 存放不断扩充的东西，比如日志文件...
2022-02-19 11:33:09
121
原创 kafka简单安装
下载https://archive.apache.org/dist/kafka/2.4.1/kafka_2.11-2.4.1.tgz解压改配置(kafka_2.11-2.4.0\config\server.properties)启动&测试在bin/window目录，命令执行bat脚本# 启动zookeeper： .\zookeeper-server-start.bat ..\..\config\zookeeper.properties# 启动kafka： .\kafka-s.
2022-02-18 17:11:11
305
原创 Linux 资源命令
系统资源开关机shutdown -r #重启shutdown -h # 关机poweroff # 关机内存free -g #总体内存用Gb单位来显示
2022-02-15 18:06:29
453
原创 python redis集群工具封装
实现python连接redis集群实现海量数据读写redis pipeline，每秒一万行实现k-v，增删改查部分功能from rediscluster import RedisClusterclass RedisBase: def __init__(self, nodes): self.r = RedisCluster(startup_nodes=nodes) def get(self, key): value = '' i.
2021-06-29 20:12:12
240
原创 Linux 文件操作
截取、拷贝、生成、过滤、统计、进程截取# 截取前5行head -5 a.csv# 截取后5行并输出tail -n -5 a.csv > a_5.csv统计# 统计文件行数awk '{print NR}' a.log|tail -n1# 根据内容统计数量grep -o '字符串' a.csv |wc -l进程# 查看进程ps -ef | grep python3# 后台启动进程nohup python3 xxx.py &过滤# and 行过
2021-05-27 20:43:30
69
原创 变量自动获取命令行输入和打印
python3 变量自动获取命令行输入并且打印python auto.py --train_epochs 10 --batch_size 128import argparseimport inspectclass Config: train_epochs = 20 batch_size = 1024 learning_rate = 0.01 def __init__(self): attributes = inspect.getmembers(.
2021-05-27 16:58:53
108
原创 Python 一行代码能做什么
去重Python list包含对象根据对象一个或者多个字段值去重# 去重print(list({x['uid']: x for x in [{'uid': 1, 'age': 10}, {'uid': 1, 'age': 20}, {'uid': 2, 'age': 20}]}.values()))# [{'uid': 1, 'age': 20}, {'uid': 2, 'age': 20}]生成器列表、元组、字典print([x for x in range(5)]) # [0,
2021-01-19 11:02:21
241
原创 Flink process算子之SideOutput侧输出流
flink Process算子SideOutput侧输出流用法package com.transformimport org.apache.flink.streaming.api.functions.ProcessFunctionimport org.apache.flink.streaming.api.scala._import org.apache.flink.util.Collectorobject OutputSide { case class User(id: String, se
2021-01-06 22:31:30
484
原创 Flink Window函数用法之一
flink三种窗口函数（时间窗口函数、计数窗口函数、会话窗口函数）时间窗口函数是整点起，左闭右开时间窗口，默认是早上08:00。如果想统计昨天一天00:00-24:00整点时间，可以使用偏移量设置：window(TumblingEventTimeWindows.of(Time.days(1), Time.hours(-8)))会话窗口不受起点时间限制，可以记录一段间隔时间内发生的事情package com.transformimport org.apache.flink.streaming.ap.
2021-01-06 21:48:37
446
原创 Flink入门实战之Sink clickhouse
clickhouse 建表语句// 建数据库CREATE database test_db;// 建MergeTree表CREATE table test_db.test(id Int32, date Date, age Int8)engine=MergeTree()order by id;// 测试插入INSERT into test_db.test values (4, '2020-01-12', 19), (5, '2020-02-13', 3);// 查看SELEC.
2021-01-04 00:10:12
2446
2
原创 clickhouse安装极简教程
clickhouse 20.8.3.18版本单机版安装# 安装curl工具yum install -y curl# 添加clickhouse的yum镜像curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bash# 检查镜像情况yum list | grep clickhouse# 安装clickhouse的服务端和客户端yum install -y c.
2021-01-03 00:44:02
429
原创 Scala 范型
范型的作用主要是对函数和类构造的输入参数进行类型限制package com.abc// 范型object TDemo { def main(args: Array[String]): Unit = { // 1、下限<:// fun(new A) // 报错 fun(new C) // 正常 // 2、上限>:（所有类都可以） fun1(new A) // 正常 fun1(new C) // 正常 // 3、协变+ .
2020-12-24 16:34:43
102
1
原创 Scala 偏函数应用
PartialFunction语法大括号包裹case模式匹配：{case i:int => i +1}一般配合集合一起使用，优雅的实现对数据的计算过滤package com.abc// 偏函数对集合数据进行计算过滤object PartialFun { def main(args: Array[String]): Unit = { val list = List(1, 2, 3, 4.0, "ab") val list1 = list.collect { .
2020-12-24 15:34:46
86
原创 Scala 隐式转化implicit
分类（隐式值、隐式函数、隐式类）隐式转化主要解决两种类型之间的转化，进而实现拓展开放、修改封闭，有点类似装饰器关键语法：implicitpackage com.abc// 隐式转换object ImplicitDemo { def main(args: Array[String]): Unit = { // 1、隐式值（使用隐式值不能使用fun1()调用） implicit val a1:String = "隐式值" fun1 // 2、隐式函数 v.
2020-12-24 15:17:32
96
原创 Scala 函数基本用法
scala 函数可以实现所有面向对象的功能、一切都是函数函数最重要的是“参数是什么”和“返回值是什么”package com.abc// scala函数object Fun { def main(args: Array[String]): Unit = { // 普通 // 1、无参无返回值 fun1() fun1_1() // 2、有参无返回值 fun2("参数") // 3、无参有返回值 fun3() // 4、有.
2020-12-24 11:26:47
329
原创 Python list列表groupby分组用法
Python list列表groupby分组用法注意分组之前应先使用分组字段先排好序from itertools import groupbyuser_list = [ {"uid": 1, "sex": "男", "age": 10}, {"uid": 3, "sex": "男", "age": 20}, {"uid": 4, "sex": "女", "age": 20}, {"uid": 4, "sex": "女", "age": 31}, {"uid.
2020-12-19 12:17:37
20313
3
原创 Flink 入门实战之Sink elasticSearch7
读取Kafka数据转化为样例类sink espackage com.skinimport java.util.Propertiesimport org.apache.flink.api.common.functions.RuntimeContextimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.scala._import o.
2020-12-19 11:31:20
4009
2
原创 Flink transform算子Union多流合并
flink1.11实现union三条流合并两条Kafka流和mysql cdc流进行合并可用于实时维表建模package com.transformimport java.util.Propertiesimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.scala._import org.apache.flink.streamin.
2020-12-19 10:49:51
1360
1
原创 Elasticsearch7 kibana7 ik7安装
一、安装Elasticsearch7.10下载解压cd /opt/softwarewget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.0-linux-x86_64.tar.gztar -zxvf elasticsearch-7.10.0-linux-x86_64.tar.gz -C /opt/modulecd /opt/modulemv elasticsearch-7.10 es修改配
2020-12-11 14:59:34
351
原创 Flink mysql cdc 读取
Flink1.11 读取mysql cdc返回DataStream[(Boolean, Row)]，可以根据元组第一个值为True or false判定数据是弃用或者更新插入package com.cdcimport org.apache.flink.streaming.api.scala._import org.apache.flink.table.api._import org.apache.flink.table.api.bridge.scala.StreamTableEnvironm.
2020-12-05 18:25:31
3103
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人