- 博客(36)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 flink批处理读lzo压缩文件
1.概述因为flink框架读压缩文件支持的格式如下，没有LZO压缩格式，所以需要在源码的基础上做一点添加。这里只是提供一下思路，具体的代码细节还需要自己去敲。2. 具体实现首先，flink内部读压缩文件，以文件后缀名为key，以压缩类型工厂对象为value组成的Map来 保存 不同的压缩文件对应着不同的解压工厂对象的映射关系。通过上图可以看到FileInputFormat这个类会将所有的支持的解压缩工厂对象初始化到一个Map中，后续处理压缩文件时，可以直接根据压缩文件的.
2021-04-21 15:33:21
1259
3
原创 python操作gitlab创建issue并上传文件
因为工作需要对数程序跑完之后，自动的告知一下大家，并把结果上传到gitlab的issue下。所以给对数工具添加了一下脚本。用的是python-gitlab，详细可以看看这个文档，直接上代码。class GitlabProject(object): def __init__(self, url, token,project_id): self.gl = gitlab.Gitlab(url, private_token=token) self.projec
2020-08-27 18:14:53
1361
原创 利用docker-compose单节点快速部署efk日志收集系统
efk-log-monitor用docker compose方式安装了fluentd，es，kibanagithup地址说明线上的springboot应用程序通过logback，发送到了fluentd所监听的24224端口，fluentd接到日志发送到es中，最后利用kibana查看日志。版本fluentd-1.3.2fluent-plugin-elasticsearch 4.1.1elasticsearch:6.5.4kibana:6.5.4配置elasticsearch配置
2020-08-03 16:51:29
553
原创 docker-compose部署单台es和kibana
1. 概述首先在宿主机上准备一下es和kibana的配置文件，之后根据自己的情况配置docker-compose.yml，最后运行init.sh脚本2. 准备es和kibana的配置文件2.1 目录结构如下：2.2 es的配置文件es-master.yml# 集群名称cluster.name: es-cluster# 节点名称node.name: es-node1# 是否可以成为master节点node.master: true# 是否允许该节点存储数据,默认开启
2020-07-28 17:37:42
3527
原创 es修改字段类型
概述首先说明es中索引的字段类型是不可修改的，只能是重新创建一个索引并设置好mapping，然后再将老索引的数据复制过去。操作步骤1、创建索引，并指定mappingPUT /web-log{ "mappings" : { "properties" : { "classMethod" : { "type" : "text", "fields" : { "keyword" : {
2020-07-16 14:47:33
15159
2
原创 JVM参数 -XX:+PrintCompilation的使用
idea中启动一个java程序，在VM options指定-XX:+PrintCompilation。之后启动执行，会打印出java文件编译后的样子。从左边开始。第一列是说明，虚拟机自启动后所用的毫秒数。接下来是代码或方法执行的顺序。第三列可以看到有的是“s”,有的是“n”,有的干脆啥也没有。其中“s”代表的是synchronized方法，“n”代表的是本地方法。其中第三列还有一个“%”，“%”代表的是，这个方法以及本地编译了，并且存放在内存中的一个叫代码缓存的地方。第...
2020-05-27 19:42:25
1235
原创 AWS Auto Scaling 在缩小的过程中默认的终止策略
默认终止策略旨在帮助确保在可用区之间平均分配实例，以获得高可用性。默认策略会保留通用性和灵活性，旨在满足各种场景的需要。默认终止策略行为如下所示： 确定哪些可用区包含最多实例，并且至少有一个实例不受缩减保护。 确定要终止的实例，以便使剩余实例与要终止的按需实例或 Spot 实例的分配策略保持一致。这仅适用于指定了分配策略的 Auto Scaling 组。 例如，在实例启动后...
2020-03-28 17:38:17
548
转载 Linux下查看某一进程所占用内存的方法
Linux下查看某一个进程所占用的内存，首先可以通过ps命令找到进程id，比如ps-ef |grepkafka可以看到kafka这个程序的进程id 可以看到是2913，现在可以使用如下命令查看内存：top -p 2913 这样可以动态实时的看到CPU和内存的占用率，然后按q键回到命令行 也可直接使用ps命令查看：ps-aux |grepka...
2020-03-28 14:57:39
1418
原创 java中汉字转拼音和拼音缩写字典初始化处理多音字
<!-- 汉字转拼音--> <dependency> <groupId>com.github.promeg</groupId> <artifactId>tinypinyin</artifactId> <version>2.0.3</version> </dependen...
2020-03-28 14:52:09
777
原创 java中json字符串转成csv保存
<!-- json转csv--> <dependency> <groupId>org.json</groupId> <artifactId>json</artifactId> <version>20090211</version> </dependency...
2020-03-28 14:46:21
2971
2
原创 springboot读resource下的csv文件
首先，有一个注意点就是，springboot项目最后打成一个jar包，tomcat容器内嵌在jar包里，我们从代码里去读resource下的文件的方式和传统的以web容器目录形式部署的服务器肯定是不一样的。import org.apache.commons.csv.CSVFormat;import org.apache.commons.csv.CSVParser;impor...
2020-03-28 14:38:39
1479
原创 AWS API Gateway 绑定自己的域名
由于中国区的AWS服务缺少或者功能不全，导致目前能找到的给API GateWay绑定域名的文档和资料都不够准确，因此在这记录一下中国区的操作步骤。 准备域名证书，需要以下材料 证书正文（一般名字是certificate.pem\certificate.crt之类的） 密钥文件（一般以.key结尾的文件） 证书链（名字中带有chain的文件） ...
2020-03-26 09:47:18
1596
2
原创 spark的df.na.fill()填充值注意的地方
//用法df.na.fill(value,Array("ranges"))//注意点//填充ranges这一列的时候，填充值和这一列的数据类型一致才会生效，否则忽略无效
2020-03-16 09:58:22
4988
原创 SpringBoot在window和linux都可以获取resource路径的方法
// 获取项目根路径final File basePath = new File(ResourceUtils.getURL("classpath:").getPath());这个再Windows下是可以的，但是在Linux （centos7）下是不行的，正确的获取方法：Resource resource = new ClassPathResource("");System.o...
2020-03-10 11:58:43
8130
1
原创 AWS助理级解决方案架构师备考路线
AWS的认证体系AWS的认证有路线图，主要分为Architecting（架构）、Developing（开发）、Operations（运维）三条线。每条线又分为助理级认证和专家级认证，必须通过助理级认证后才能考取相应的专家级认证。架构这条线的两个认证为助理级解决方案架构师认证和专家级解决方案架构师认证。开发这条线的两个认证为开发者认证和DevOps工程师认证。运维这条线的两个认证为SysOps系...
2020-01-02 09:20:08
1037
原创 不可见字符'\001'在java程序中表示
\001作为分隔符的日志，从linux终端复制出来用notePad打开时看到的SOH，而\002分隔的，从终端复制到编辑器是里STX。项目中需要将含'\001'的字符串做一个替换，结果在写程序的时候，却不知怎么写来匹配'\001'，最后上网搜了半天，找到了解决办法。对，你没看错，就是这样，需要4个\，4962\\\\001亚洲龙 去匹配文件中的 4962\001亚洲龙ASCI...
2019-12-18 18:51:12
10561
原创 Linux中login shell和non-login shell
login shell：需要输入用户的帐号与密码，此时的bash就称为“login shell”。 non-login shell：在原本的bash环境下再次执行bash这个命令，没有输入帐号和密码，那第二个bash（子进程）就是“non-login shell”。login shell 的读取流程从上图可以看出来，最终被读取的配置文件是~/.bashrc这个文件。所以可以将自己的偏...
2019-05-26 15:50:33
296
原创 spring Boot项目集成jacoco 完成单元测试Coverage并上传到snarqube
近期因工作需要，需对代码覆盖率进行统计，所以这篇就当做对这段时间学习的总结。JaCoCo Java Code Coverage LibraryJacoco 是一个开源的覆盖率工具。Jacoco 可以嵌入到 Ant 、Maven 中，并提供了 EclEmma Eclipse 插件,也可以使用 Java Agent 技术监控 Java 程序。很多第三方的工具提供了对 Jacoco 的集成，如...
2019-05-05 17:08:50
2380
2
原创 在Vim中，如何将不可见字符也显示出来
在Linux中，cat -A file可以把文件中的所有可见的和不可见的字符都显示出来，在Vim中，如何将不可见字符也显示出来呢？只需要:set invlist即可以将不可见的字符显示出来，例如，会以^I表示一个tab符，$表示一个回车符等。...
2019-04-04 09:50:59
951
原创 centos6.7安装docker
接着上一篇文章，这篇文章主要是按照dockercentos6.7运行命令yum install docker，发生错误No package docker available可以看到，在Centos6.7的标准yum源中已经没有Docker的安装包了，这时，我们需要安装EPEL。 EPEL（Extra Packages for Enterprise Linux），企业版Linux额...
2019-01-16 19:30:13
206
原创 centos6.7内核版本升级2.6升级为4.4 安装docker前置条件
首先查看版本，如果想要更高的版本就按照以下命令执行。uname -r1、执行rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org如果报错curl: (35) SSL connect errorerror: https://www.elrepo.org/RPM-GPG-KEY-elrepo.org: impo...
2019-01-16 19:22:35
768
原创 Hive映射Hbase表的几种方式
1.Hive内部表，语句如下 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 CREATETABLEods.s01_buyer_calllogs_info_ts( keystring comment"h...
2018-10-29 10:15:29
2847
原创 hive整合hbase
1.1 hive与hbase版本兼容性Hive版本 hive-1.2.1、hbase的版本hbase-1.2.1hbase与hive哪些版本兼容？hive0.90与hbase0.92是兼容的，早期的hive版本与hbase0.89/0.90兼容。 hive1.x与hbase0.98.x或则更低版本是兼容的。 hive2.x与hbase1.x及比hbase1.x更高版本兼容。如果当...
2018-10-29 09:00:56
201
原创 spark sql脚本
############### 客户基本属性模型表脚本开发###############!/bin/shyesterday=`date -d '-1 day' "+%Y-%m-%d"`if [ $1 ];then yesterday=$1fiSPARK_SUBMIT_INFO="/var/local/spark/bin/spark-sql --master spark:/...
2018-10-28 09:50:05
4304
1
原创 hive中操作表语句
添加分区并指定数据所在的位置alter table bdm.itcast_bdm_order add partition (dt='2017-01-01') location '/business/itcast_bdm_order/2017-01-01';删除分区alter table itcast_bdm_order drop partition(dt='2017-01-01')...
2018-10-28 09:17:26
132
原创 windows编写的shell脚本到linux环境下运行
在windows下编写shell脚本回车符是\n\r，而linux下的回车符是\n，所以在linux下运行脚本的时候，需要修改下脚本的的编码格式，vi 脚本，底行模式，输入set fileformat=unix ...
2018-10-27 19:54:58
4175
原创 多线程并发情况下使用日期转换函数
最近，要对每条log进行日期过滤，由于log日期是这种样式的“2018-08-03 00:00:00”，需要在过滤的时候将其转化成long类型进行比较筛选，这时候就要用到SimpleDateFormat了，但是，由于rdd有多个分区，各个分区并行执行，考虑到线程安全和资源问题，最后使用了第三方jar包的FastDateFormat val dateFormat = FastDateForm...
2018-10-20 20:20:46
615
原创 Hadoop2.6.0开发遇到的所有问题及解决方案
一、如果配置了HDFS的federation，使用eclipse插件配置完M/R Master的端口（50020）和DFS Master的端口（9000）后，无法连接到HDFS看远程目录结构解决办法：切换到Advanced parameters标签，修改fs.defaultFS为hdfs://192.168.0.14:9000/tmp二、使用Maven开发hadoop2 mapreduce...
2018-09-26 11:18:40
390
原创 Hbase shell 命令练习
获取user表中row key为rk0001，列标示符中含有a的信息get 'people', 'rk0001', {FILTER => "(QualifierFilter(=,'substring:a'))"}put 'user', 'rk0002', 'info:name', 'fanbingbing'put 'user', 'rk0002', 'info:gender', '...
2018-09-19 20:45:59
361
1
原创 javax.servlet.jsp.JspFactory.getJspApplicationContext(Ljavax/servlet/ServletContext;)Ljavax/servlet/
网上的人都说是jar冲突，删来删去，也没解决。最后用这种方法解决了<Loader delegate="true" />在eclipse中关于Tomcat配置的servers中context.xml文件中加上这句 完美解决！！！ ...
2018-09-17 17:38:08
912
原创 linux nc命令使用详解
功能说明：功能强大的网络工具语 法：nc [-hlnruz][-g<网关...>][-G<指向器数目>][-i<延迟秒数>][-o<输出文件>][-p<通信端口>][-s<来源位址>][-v...][-w<超时秒数>][主机名称][通信端口...]参 数： -g<网关>
2018-09-15 16:36:56
294
原创 maven 打包 编码GBK的不可映射字符
安装系统之后，一般中文系统默认字符集是GBK。我们安装的软件一般都继承使用操作系统的默认字符集。所以当在中文XP或者win7系统开发，在使用maven（mvn compile）编译项目的时候，就会出现“编码 gbk 的不可映射字符”： 这个是由于代码使用的UTF-8，而maven编译的时候使用的GBK的缘故。 可以通过修改项目的pom文件，可以告诉maven这个项目使用UTF-8编码来编译。在项目...
2018-09-15 11:39:41
1547
转载 关于mave的一些运用
上网搜maven的一些用法的时候，发现大神关于maven的一些文章。收藏起来https://blog.csdn.net/liupeifeng3514/article/category/7500193/1
2018-09-10 17:21:32
113
原创 springboot结合mybatis多套druid数据源入门级音乐网站后台
这几天研究springboot和mybatis，正好手里边有个原来做过的javaweb项目，就直接拿过来整合了起来。这里前台用vue.js实现的代码就不分享了，前后端分离么，不影响看后边。想看整套源码可以到文章末尾去拿。自动忽略那几个字。。。实在是想不起什么歌名了。。。首先pom.xml<dependencies> <dependency> &...
2018-06-27 21:28:48
1753
7
原创 InteliJ IDEA开发工具简单实现Spring-boot+mybatis注解形式和xml形式的maven项目
1、创建数据库及数据表CREATE DATABASE /*!32312 IF NOT EXISTS*/`springbootdb` /*!40100 DEFAULT CHARACTER SET utf8 */;USE `springbootdb`;/*Table structure for table `user` */DROP TABLE IF EXISTS `user`;CREATE TABL...
2018-05-12 17:19:04
536
aws 助理架构师认证模拟试题
2020-05-28
Allavsoft.zip
2020-04-02
Teamviewer14.1永久破解版
2019-03-25
Could not resolve dependencies for project org.apache.hive:hive-exec:jar:2.3.0:
2018-09-10
springboot+mybatis后台vue.js实现前端的音乐网站项目大学生毕业设计
2018-06-27
InteliJ IDEA开发工具简单实现Spring-boot+mybatis注解形式和xml形式的maven源码
2018-05-12
适合初学者熟悉java的游戏飞机大战
2018-03-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人