向往太空的鱼-CSDN博客

原创控制spark直连kafka秒级传输量

sparkConf.set(“spark.streaming.kafka.maxRatePerPartition”, “50000”)这个参数的意思是每个分区每秒最大拉取50000条数据,适用于数据积压时蜂拥而来的数据造成的oom还有auto.offset.eariest这个值现在有两个分别是latest和earliest。首先它俩有一个点的区分。当偏移量无效时,若使用latest时从最新的偏移量消费,用earliest时从该topic记录的最小的偏移量消费。我觉得这样的话又有了新的问题,首先是在根

2021-06-04 09:35:22 249

原创获取es和hive表内存

ES:http://ip:9200/_cat/indices/索引green open 索引名 r8XRWss1S3u1mQjvgOHDrg 1 1 11771 0 19.6mb 9.7mbgreen：表示索引正常open：索引为打开状态索引名：索引名9.7mb：不包含副本，数据原本大小19.6mb：带副本大小，也就是磁盘占用打下11771：多少条数据Hive：http://ip:9870/webhdfs/v1/user/表所在地如过表中有数据，如es解析就好。在请求过程中可能在这里

2021-06-02 09:18:57 183

原创 linux中curl发送163邮件

命令：curl --verbose -s --url ‘smtps://smtp.163.com:465’ --ssl-reqd --mail-from [email protected] --mail-rcpt [email protected] --upload-file mail.txt --user “[email protected]:NURYAOYADTTRYLVQ”–url ‘smtps://smtp.163.com:465’ :网易邮箱stmp的url和端口–ssl-

2021-06-01 16:51:52 961 1

原创查询es基本信息

1.查看节点信息curl -X GET ‘http://172.16.12.6:9200/_cat/nodes?v’ip heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name172.16.12.6 76 94 22 1.69 1.52 1.35 mdi - test-es-1172.16.12.31

2021-04-01 14:16:50 353

原创 DSL深分页查询

1.先用如下参数拼接成url查询第一次2.再用scrollid深分页查询,一次取指定条数,例如现有数据10W条,深分页一次1W条,十次滚动完,第十一次就为空

2021-04-01 13:27:38 146

原创 es健康值

写入时所报异常org.elasticsearch.hadoop.rest.EsHadoopInvalidRequest:Found unrecoverable error[172.0.0.1:9200] returned Bad Request(400) - closed:Bailing out…截图为证,健康值为红色,且部分索引有灰色分片提示,意为主分片缺失,此时有灰色分片的索引会出现丢失数据,写不进数据的问题,需要将其删掉重建,可能会丢失数据...

2021-03-27 16:39:39 350

转载流程图各图形含义

1 开始or结束用椭圆形+矩形的组合作为开始或者结束的标志2 处理过程用矩形框表示处理过程，可以表示一行或者一段代码。3 判断这个其实比较熟悉，用不同的角角作为不同的分支。4 文件没怎么用过，用来表示文件。5 用户的输入输出用平行四边形表示，这个也是第一次知道。6 预设处理我理解的是，他的功能和矩形一样，都表示执行代码，但双边矩形能包含体量更大的代码，用原文的话来说就是"在预设处理中也可以包含一个流程图"。转自:https://blog.csdn.net/weixin_4

2021-03-27 16:38:52 3128

原创 kafak之间的转发

近期要实现一个业务,将一个环境kafka中的数据转发到另一个环境kafka中~话不多说,干活！！emmm····--------------------------------------------------------华丽丽的代码风格线----------------------------------------------------------------import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONOb

2021-03-27 16:36:41 1343

原创发布java程序

oh shit tmd！一个小小的java类搞了一下午！！以后记住了,一个项目里只写一个main方法,写多了麻烦也就多了…毕竟我这么怕麻烦----------------------------------------------------------华丽丽的代码风格线------------------------------------------------------------------------------------------------------------------华

2021-03-27 16:35:12 80

原创本地连接hive

第一步:我们要将相对应集群的三个文件拷贝到本地来,就这三个位置在/etc/hadoop/conf和/etc/hive/conf下第二步:要注意core-site.xml中的fs.defaulfFs这个配置项是默认文件系统的名称。一个URI和权威确定文件系统实现的方案。uri的计划决定配置属性(fs.SCHEME.impl)命名文件系统实现类。uri的权威是用来确定主机、端口等对于一个文件系统。我们的cdh或者hadoop集群它都是集群,既然是集群就有主备,这个配置项一定要是活跃的那台机器第三步:hiv

2021-03-27 16:33:08 460

原创 sparkCore版本冲突

org.apache.spark.unsafe.types.UTF8String.toInt()I这是我这边导入的依赖~org.apache.sparkspark-core_2.112.2.1org.apache.sparkspark-sql_2.112.1.1如下是一个小demo,在执行的过程中报:Exception in thread “main” java.lang.NoSuchMethodError: org.apache.spark.unsafe.types.UTF8Str

2021-03-27 16:28:09 439

原创 sqoop导入hive

sqoop命令:sqoop import --connect “jdbc:mysql://mysqlIP:开放的端口/QualityControl?useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull” --username 导出方账户–password 导出方密码–query “select * from HL7Logwhere ParType=‘QC001’ AND $CONDITIONS

2021-03-27 16:20:30 78

转载 SonrLint

sonarLint扫描出的问题:https://blog.csdn.net/qq_37107280/article/details/86677098该网站都有,就不一一描述了~ 做一个安静的搬运工

2021-03-27 10:21:26 299

原创 redis哨兵模式

redis哨兵模式配置连接池本篇文章适合redis集群操作。首先介绍下redis哨兵模式:https://www.jianshu.com/p/06ab9daf921d 转一下吧！哈哈哈,大致是什么意思呢。比如说现在有三台redis服务器,我们给它分配三个哨兵,当多数哨兵发现leader挂了的时候,他们会让小弟上马作为新的leader,这也是多哨兵模式,项目开发中普遍使用这种。就是一个实现高可用,不易宕机。代码中实现主要JedisSentinelPool这个类。其中参数有多种选择:参数详解:mas

2021-03-26 17:26:33 372

原创 scala解析args参数

2021年第一次发表文章,总结下过去一年中的自己。2020年,是以后史书中色彩低沉的一年,想必是以黑白和鲜衣怒马组成的画面,这一年,抗疫从未停止,和新冠有直接联系的哭泣过,无助过,绝望过,携手共同度疫情的人也哭泣过,恐惧过,同情过。萧瑟的街道,身披战甲的医护人员,视频中不断播放的各种信息,火神山,雷神山的建立,救护车不断闪烁的身影,冬天的风低声呜咽着，各界人士捐献各种物资,各种鼓励的画面无不催人泪下。一省有难,全国支援,一国有难,举世界之力共度难关,还好,华夏山河无恙,终是赢得百花齐放,虽还未取得全面胜利

2021-03-26 17:25:18 1229

原创删除es索引模板

关于es模板索引的使用在记一个es的错误:org.elasticsearch.hadoop.rest.EsHadoopInvalidRequest: Found unrecoverable error [172.16.12.31:9200] returned Bad Request(400) - Rejecting mapping update to [tsgl_terminal_exhaust_rawdata_20210119] as the final mapping would have more

2021-03-26 17:00:16 3539

原创 es批量删除索引

es批量删除索引ES/DSL语句删除索引中的文档,以时间为过滤条件在这里插入图片描述sgl_zc_terminal_exhaust_20200924/_delete_by_query post{“query”: {“bool”: {“must”: [{“range”: {“collectTime”: {“gt”: “1616342400000”,“lt”: “1616515200000”}}}],“must_not”: [],“should”: []}}}..

2021-03-26 16:14:06 3001

shuaidong_521的博客