AuroraPetard-CSDN博客

HBase基本机构RowKey 一行 Timestamp时间戳版本号列族Family 列Qualifier 值Valuerowkey行键相对于一行的idTimestamp 版本号多个版本的数据默认没有指定取的是最新的值Family 列族存放多个列可以有多个列族Qualifier 列多个列存在于一个列族里面多列族多列Value 值一列一个值rowkey timestamp family qualifier 确定一个唯一的值 public static byte

2022-05-22 20:03:54 505

原创按照时间戳消费topic

sparkStreaming 从指定时间戳开始消费kafka topic def getOffsetByTimestamp(kafkaParams: collection.Map[String, Object], time: String, topic: String): mutable.HashMap[TopicPartition, Long] = { val consumer = new KafkaConsumer[String, String](new java.util.HashMap

2022-01-07 15:01:06 915

原创 flink的一些总结

Flink提交任务到yarn上面不一定需要flink集群只需要一个Flink环境即可 bin/flink run -m yarn-cluster 需要提前配置好hadoop路径如果是CDH环境的话在.bash_profile 设置 export HADOOP_CLASSPATH=`hadoop classpath `如果出现下面问题是因为在 flink 1.11.1 版本中 ActiveResourceManagerFactory 的 createResourceManager()..

2021-08-07 16:22:19 1127

原创 SpringBoot常见问题汇总

Mybatis逆向生成xml出错报错信息Caused by: java.lang.IllegalArgumentException: Result Maps collection already contains value for com.xxx.mbg.mapper.Mapper.BaseResultMap原因在启动项目时提示已存在结果集异常，该错误是因为一个xml文件命名空间下中同时存在两个一样名称的结果集。主要出现这个异常是在使用逆向工程Generator的时候执行了两次或多次，那工具是不

2021-06-15 23:22:56 338

原创 yarn spark flink运行架构以及各部分作用

Yarn Spark Flink 架构图以及各部分作用Yarn1 ResourceManager2 NodeManager3 ApplicationMaster4 ContainerSpark1 Master2 Worker3 Executor4 Task5 提交方式6 提交脚本参数Flink1 JobManager提交方式Yarn1 ResourceManagerResourceManager(RM) 单节点一个进程管理nodemanager 相当于 namenode管理datanode控

2021-03-30 23:02:38 725 1

原创碎碎念开发常用点

.* .? 正则表达式其实是贪婪匹配与非贪婪匹配的问题. 是贪婪匹配会一直匹配下去.*? 是非贪婪匹配匹配符合的第一个就停止abdcaaacaa.c 返回 abdcaaaca.?c 返回abdcyarn web界面的vcores的理解，因为集群中的机器的配置可能不一样有的机器cpu计算能力强有的弱将底层的cpu 虚拟化成vcores 为了负载均衡Java 泛型中的标记符号含义E element(在集合中使用集合中的元素)T Type(Java 类)K Key

2021-01-06 10:33:41 130

原创位、字节关系

位、字节都是信息的度量单位,表示数据的多少其中单位转换如下1B（字节byte）==8位(bit)1KB=1024B（字节）1MB=1024KB1GB=1024MB（兆）不管是⽂件读写还是⽹络发送接收，信息的最⼩存储单元都是字节byte,最小的传输单位是bit(一个位就代表一个0或1二进制bit /s 带宽)但是java还是提供了字节流和字符流字符(Character)计算机中使用的字母、数字、字和符号，比如’A’、‘B’、’$’、’&'等。一般在英文状态下一个字母或字符占用一个字节

2020-12-24 23:06:15 1104

原创 selenium设置等待时间

当写好selenium代码后运行发行无法定位元素，则这个时候就要考虑程序运行太快导致网页元素标签之类的还未加载成功网速差劲所以说要设置等待时间，等待元素加载出来强制等待即 sleep time.sleep(3) 显性的设置等待时间有点傻显性等待WebDriverWait(driver,20,0.5).until(expected_conditions.prosence_of_element_located(locator))selenium 中的wait模块的WebDriver

2020-12-19 23:52:29 656 1

原创线性回归推导Ng

KaTeX parse error: Undefined control sequence: \setlength at position 1: \̲s̲e̲t̲l̲e̲n̲g̲t̲h̲{\parindent}{0p…大佬在写数学时候一笔带过在加上之前学过的东西都还给老师了一眼看起来一脸懵其实上面很简单高中数学都可以解决只不过时间过去太久了有点生疏了!高中数学偏导数复合函数的偏导数所谓复合函数即f(x)=(x3+3y−2)2f(x)=(x^3+3y-2)^2f(x)=(x3+3

2020-12-19 19:10:57 164 1

原创 idea美化效率篇

一个适合自己的ide,用来开发不是赏心悦目吗插件个人是vim党所以 ideaVim必备如果vim键有冲突可以修改scala插件grepConsole插件控制台输出信息更加方便查看Matrial 主题插件主题idea自带的主题长时间就腻了,个人一般倾向于黑色主题在此要区分一下,这里有两种1 主题样式如 http://www.riaway.com/theme.php 直接jar包样式感觉这里的不太好看太过于刺眼2 主题插件和插件一样的主题个人推荐 Matrial、hiber

2020-11-20 23:36:59 2549

原创 idea左侧行号背景色和代码区背景色不同

什么能逼死一个强迫症呢? 下面这个就可以行号背景颜色和代码背景颜色不同,割裂感非常难受,强迫症无法忍受!!!最终解决办法修改行号背景颜色 Gutter background 背景色改为212121感觉不错和背景色差不多了强迫症表示舒服了一些 ???? ❤️还有行号比较宽的原因因为要在其上面展示断点、运行信息所以会宽一些也可以关但是debug不方便...

2020-11-20 22:21:14 1984 2

原创 Mac 一键关闭所有打开的程序

一. Automator 方式Automator是mac自带的一个软件,工作流软件,平时用的很少,一般都可以用shell脚本搞定首先打开Automator 点两下才会打开在打弹出的框中选择Application应用二. ps kill pid 方式

2020-11-16 22:56:48 2668

原创 wps操作总结

一. word1.字体英文、数字全部替换为new romance 直接ctrl a 选中,中文没有此字体,所以会将所有的英文、数字调整为new romance2. 页眉页脚双击调节距离删除页脚，双击页脚，页面布局，页面边框无页脚页眉，添加横线，双击页脚页眉，插入，形状，选择横线，按住shift 插入N. 其他常用字体中英文对照simHei 黑体simSun 宋体Time new Roman 新罗马二. excel1. 列乘除乘法和除法相同无非是换一换符号*

2020-11-13 21:47:10 1931 1

原创 shell个人总结

$?查看上个执行的命令的退出状态码,只能显示上一个状态码的含义表示如下 0 命令成功结束 1 通用未知错误 2 误用shell命令 126 命令不可执行 127 没找到命令 128 无效退出参数 128+x L

2020-11-12 23:52:08 631

原创 java sql常见拼接

基本规则就是单引号里面套双引号,双引号里面套加号,加号里面传参数模糊查询: “select x from xx where x like '%”+id+"%’ "一般查询: “select x from xx where x=’”+parameter+"’ "插入操作: “insert into tableName (field1,field2) values (“aa”,“bb”)” pstmt.executeUpdate()“insert into tableName (field1,field

2020-09-28 09:50:40 637

原创 git ssh免密提交 gh cli 配置 git常用命令

一初始设置1.安装gitsudo apt install git or brew install git2.配置身份这个身份是本地git的一个变量，在提交代码会用身份来记录,提交历史中就会显示用户名名称和邮箱皆可随意定义,一般设置为自己的账户名,账户邮箱git config --global user.name "xxx"git config --global user.email "[email protected]"位置在 ~/.gitconfig 修改的话直接修改就行,或者重新运行上面的命令

2020-09-14 18:59:25 1442

原创 sparkStreaming 写入 hdfs

1.saveAsTextFile value.repartition(1).map(_.mkString(",")).foreachRDD(rdd => { rdd.saveAsTextFile("hdfs://localhost:8020/log/" + System.currentTimeMillis())saveAsTextFile不支持追加。如果使用固定文件名调用，则每次都会覆盖它。我们每次都可以saveAsTextFile(path+timestamp(System.cur

2020-08-07 22:21:47 3010 1

原创 TwoLayerNet中numerical_gradient 为什么使用loss函数

请仔细阅读下面这句话损失函数关于权重参数的梯度

2020-08-04 23:59:42 2247 4

原创常用latex

latex:可以用来书写复杂的数学公式单行使用$$包括,多行使用$$$$包括上标 ^ 下标_ 如果上下标包括多个值时,用{} 将其包括起来X23X^3_2X23 X4632X^{32}_{46}X4632累加 \sum\limits_k^n 下标在下面 \sum\nolimits_k^n 下标在右下方∑kn∑kn \sum\limits_k^n \sum\nolimits_k^nk∑n∑kn分数 \frac{分子}{分母} fraction1n\frac{1}{n}n

2020-08-03 22:14:55 233

原创 macbookpro使用心得总结

导语前段时间购买了一台16 寸mbp,从苹果官网买的,不得吐槽一下苹果官网买东西就是慢,从此叛逃用了三年的linux阵营,不过我还是把mbp看作是一台特殊的linux，mac linux各有利弊从linux换到mbp主要是图mbp的屏幕,眼睛看着舒服,其次是mbp的触摸板,话说dell xps 7590也不错,可是有个大下巴触摸板不好用还是预装的windows,有点丑,放弃了,话说今天看到dell xps 17寸有点心动了看到价格默默的mac真香回到正题:1包管理器习惯了linux的包管

2020-07-27 23:36:24 1943 2

原创 nodejs vuejs npm cnpm

nodejs:一个让javascript运行在服务端的开发平台,它让javascript成为与php、java等服务端语言平起平坐的脚本语言,实质是对Chrom v8引擎的进行了封装,服务端语言vuejs:web前端框架NPM是随同NodeJS一起安装的包管理工具类似于linux apt 等包管理器,直接安装包如 npm install vue 等，能解决NodeJS代码部署上的很多问题，常见的使用场景有以下几种：允许用户从NPM服务器下载别人编写的第三方包到本地使用。允许用户从NPM服务器下载

2020-07-26 22:10:10 140

原创 spark submit提交任务一直卡在ACCEPTED状态

千辛万苦写好代码,打成jar包,spark submit提交运行到yarn然后默默打开yarn界面查看运行的任务,但是半天不见任务名称,这可就奇了怪了查看yarn application --list | grep appName 发现状态一直是accepted 接收正常应该是running,之前的代码也没毛病,也能提交,也能运行遂检查代码发现 .setMaster("local[*]") //local本地本地模式竟然没有注释掉,本地模式只能在本地运行,测试的时候使用,提交到.

2020-07-20 23:16:15 3494

原创 python切片

1. list列表a=[1,2,3,4,5,6,7,8]# 取出对应下标的值,下标从0开始a[i]# 从下标为1开始包括本身到最后下标从零开始a[1:] ----> [2, 3, 4, 5, 6, 7, 8]# 取几个值,从前往后取值的个数,-1为最后一个a[:4] -----> [1,2,3,4]a[:-1] ----> [1,2,3,4,5,6,7,8]# 切片截取从下标为1到下标为4的左闭右开下标从0开始a[1:4] ----> [2,3,

2020-07-19 21:21:35 217

原创 redis学习

1. redis的应用场景:1.1 场景数据库、缓存、热点数据(经常会被查询,但是不经常修改或者删除的数据),和消息中间件大部分功能1.2 特点快(基于内存),丰富的操作类型(String,Hash,List,Set等),原子性等1.3 缺点持久化麻烦容易丢数据,耗内存持久化,redis是直接将数据放在内存中的,所以一段时间就需要进行持久化, - 定时快照: 每隔一段时间,将内存中的全部数据持久化到硬盘dump.rdb,每次都是写全部数据

2020-07-04 16:39:49 205

原创 java8 lambda stream学习

1. 简介接口、匿名内部类可以采用lambda实现格式参数列表括号括起来 -> 功能体 stream则让Java能够像sql一样操作集合等数据lambda需要函数式接口的支持函数式接口: 接口中只有一个抽象方法的接口 @FunctionalInterface 修饰一下Lambda 就相当于接口、匿名内部类的简便写法 @Test public void test1() { Comparator<Integer> com0 =

2020-07-04 14:22:22 2031

原创 springBoot常用注解

@autowired 将一个类注入到此类中@Resource 与@Autowird相似@Component 一般组件 model util 等加上作用在类上@Configuration: 配置类相当于一个类工具类里面可以注入bean 相当于之前spring的配置文件注入bean 作用在类上面@Bean 在@Configuration类里面注入bean后面就可以直接@Autowired 注入@Bean //bean的实例需要名称相对应如果不对应需要加@qualifer进行修改

2020-06-26 16:51:34 139

原创 This application has no explicit mapping for /error, so you are seeing this as a fallback.

Whitelabel Error PageThis application has no explicit mapping for /error, so you are seeing this as a fallback.Wed Jun 24 11:21:20 CST 2020There was an unexpected error (type=Not Found, status=404).No message available出现这个问题的主要原因是出现错误然而并没有设置 /error跳

2020-06-26 14:33:01 204

原创 Typora markdown教程

Typora教程标题 (注意中间有空格)快捷键 cmd+1～6堆叠#～6# ## ###引用 > >> >>> (特殊字符需要转义时添加\ )一级引用二级引用三级引用代码单行代码 \ ` 由一对单斜引号包括波浪线下面的那个示例 String str="Hello World"多行代码 \ ```由一对三个单斜引号包括后面跟着代码语言 ,如下val map=scala.c

2020-06-20 16:51:59 1318

原创 Expect 自动化交互命令

Expect 自动化交互命令cat login.expect#!/usr/bin/expect# expect 接受命令通过这种方式传进来set HOSTNAME [lindex $argv 0]set USERNAME [lindex $argv 1]set PASSWORD [lindex $argv 2]set CMD [lindex $argv 3]#设置永不超时set timeout -1#具体的命令内容spawn ssh $USERNAME@$HOSTNAME

2020-06-04 15:23:48 182

原创 idea 子包分级设置

按理说com.utils.tool是父包com.utils.tool包括着 client和conf但是现在他们在同一行看着很难受解决办法点击齿轮⚙️取消flattern paclage前面的对号即可下面自动变成 compact middle package为什么会出现这个问题呢 flattern 压平将包压平肯定就不同级显示了！此电脑为mac 可以解决...

2020-05-29 16:14:58 1096

原创 sparkStreaming 消费下沉 kafka 以及调优

sparkStreaming 消费下沉 kafka 以及调优1 sparkStreaming 消费kafka主要方式有两种：receiver方式、Direct方式Receiver方式利用kafka高阶的api，将数据存储到exectors，这种方法会丢失数据，要确保零丢失需要开启WAL （write ahead log）即将数据存到 hdfs上面一份需要设置 KafkaUtils.createStream(..., StorageLevel.MEMORY_AND_DISK_SER))，即使数据会丢失

2020-05-27 23:06:32 215

空空如也

空空如也