凌夜知惜

原创 《Kafka实战》之kafka环境配置

cd kafka.xx.xx.x.x/configvim server.propertiesbroker.id=0  为每台机器设置一个idzookeeper.connect=192.168.29.167:2181,192.168.29.168:2181,192.168.29.169:2181启动zookeeper集群bin/zkServer.sh start  开启zookeeper...

原创 《深入理解Spark》之Spark集群环境搭建

spark环境搭建3台服务区分别是master 192.168.29.160slave1 192.168.29.161slave2 192.168.29.162slave3 192.168.29.163一般在有hadoop的节点上放一个spark1、上传jar包并解压 tar -zxvf xxx.jar2、配置 standalone 集群模式2.1、拷贝conf文件夹下的...

原创 git 学习笔记

git add 命令的作用1、添加未跟踪文件为跟踪文件2、把跟踪文件的在工作区中的改动加入暂存区3、在解决冲突的时候把冲突文件解决后通过git add 命令将其标记为以解决git status -s参数??表示是新文件,新建后未加入版本库的文件A 标记表示新添加到暂存区中的文件M表示修改过的文件 左边的M表示修改过并添加到了暂存区 右边的M表示被修改过但是没有...

转载 git rebase命令

本文为转载，原文地址是:rebase假设你现在基于远程分支"origin"，创建一个叫"mywork"的分支。$ git checkout -b mywork origin  现在我们在这个分支做一些修改，然后生成两个提交(commit).$ vi file.txt$ git commit$ vi otherfile.txt$ git commit......

原创 git分支图入门

显示git分支图的命令是：git log --oneline --graph --all图1所示，表示dev1、dev2、dev3都从master分支切出并分别提交了2次        dev4也是从master分支切出兵提交了一次图2所示和图1相同的内容(git Fork软件)    图1图2图3是在master分支上执行了git merge dev1,可以看出master分...

转载 Hive中UDF的ObjectInspector概念理解

本文为     转载转载转载原文地址:Hive中的ObjectInspector设计 ObjectInspector是Hive中一个咋一看比较令人困惑的概念，当初读Hive源代码时，花了很长时间才理解。 当读懂之后，发现ObjectInspector作用相当大，它解耦了数据使用和数据格式，从而提高了代码的复用程度。 简单的说，ObjectInspector接口使得Hive可以不拘泥于一...

原创 Hive中explode和lateral view组合的用法

 1、首先创建一张表create table t1 (id int,name string)insert into t1 (id,name) values (1,'a,b,c'),(2,'d,e,f')执行SELECT explode(split(t.name,',')) from t1 t可以看到explode函数的作用是把列转行如果我们想把id为1的name值a...

转载 linux中wget和curl比较

本文为转载文章:https://www.jb51.net/article/112345.htm本文介绍的是Linux中curl命令和wget命令，这两者都是用来下载文件的工具，下面来看看详细的介绍：一、wgetwget是linux最常用的下载命令, 一般的使用方法是: wget + 空格 + 要下载文件的url路径例1：wget url 下载url所指向的资源 名字就是url...

转载 Linux中的curl命令使用

转载文章:https://www.jb51.net/article/118402.htm前言在Linux中curl是一个利用URL规则在命令行下工作的文件传输工具，可以说是一款很强大的http命令行工具。它支持文件的上传和下载，是综合传输工具，但按传统，习惯称url为下载工具。语法： # curl [option] [url]本文主要跟大家分享了Linux命令行cURL的10种常见...

原创 《鸟哥的Linux私房菜》之管道命令的使用

1、cut -d 按照其后面的字符串分割 -f 分割后取哪一个位置的分割项 -c 按照字符分割后取哪一个位置到哪一个位置echo $PATH/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/soft/jdk1.8.0_144/bin:/root/soft/hadoop-2.7.2/bin:/root/so...

原创 《鸟哥的Linux私房菜》之系统的环境变量

1、环境变量分为系统环境变量和个人(用户)环境变量 系统环境变量指所有人都可以访问的变量,可以在/etc/profile这个文件中配置(一般不建议直接配置) 个人环境变量指只有当前用户才可以访问的变量, 可以在~/.bash_profile 或者 ~/.bash_login 或者 ~/.profile下配置 个人环境变量只需要配置上面的一个文件即可,优先级如上显示 ...

原创 《鸟哥的Linux私房菜》之shell中的变量

1、变量的定义  var=value 直接使用key=value的形式,等号中间不能有空格等空白字符2、变量的输出 echo ${varName} 通过echo输出内容 ${xxx}表示引用某个叫xxx的变量 Note:如果echo 后是'',那么单引号内的内容原样输出 ，如果是""那么双引号内的内容可能会经过"计算"后再 输出，如果要输出的内容有特殊字符要么通过转义字...

原创 《kafka实战》之consumer

kafka中的consumer1、旧版本的consumer api是由scala语言编写，新版本的consumerapi是由java语言编写    新版本的consumer api采用全新的offset管理2、消费者组的概念    消费者使用一个消费者组名标识自己,topic中的每条消息都会分配到某个消费者组的一个消费者实例上    一个消费者组订阅一个topic，每个topic中的pa...

原创 《鸟哥的Linux私房菜》之定时任务crontab

linux下循环执行某个任务的命令是crontab  其背后是crond服务做支持如果想要定时执行一个任务，可以使用crontab命令crontab -e  直接编辑0 0 * * * /root/soft/one.sh上面的意思是每天凌晨执行 /root/soft/one.sh这个脚本# Example of job definition:# .-------------...

原创 git分支实战

从github/gitlab上clone下来的代码默认只有master分支，如果你老大让你在dev分支上开发这个时候该怎么办呢？假设远程有2个分支  master和mynewbranch在本地执行git clone http://.......x.git 查看所有分支git branch -a * master remotes/origin/HEAD -> ...

原创 IDEA2018.2永久激活方法

这个方法是炒自网上一位大神的，源博客地址忘记了！附带IDEA2018.2mac版和windows版本的IDEA安装包链接: https://pan.baidu.com/s/1lS88Pa-4H3ol11_AYL1Wng 提取码: yxys

原创 《深入理解Mysql》之利用索引排序

使用Mysql的索引进行排序可以大大提高Mysql的性能，使用索引排序的原则是按照建立索引的顺序查询和排序，执行如下sqlcreate table t1( id int not null auto_increment, uname varchar(32) not null, tag1 int not null, tag2 int not null, tag3 int n...

原创 《深入理解Mysql》之SQL优化利器-explain

SQL的书写和执行顺序完全不同，今天我们就探究一下存储引擎是怎么执行SQL来查找数据的explain语法explain + QueryStatement ，如下标题分别有 id、select_type、table、partitions、type、possible_keys、key、ref、rows、filtered、Extra这12列1、id 表示执行顺序，用一个整数表示，当id都...

原创 《深入立即Mysql》之索引介绍和优化策略

MySQL中的索引简介1、什么是索引所谓的索引就是一种存储数据位置的数据结构，在存储数据时先把某个数据的位置以一定的规则存储在这个数据结构中,当查询该数据时直接在这个数据结构中查到某条数据的位置，然后直接找到某条数据即可，这就是索引加快查询速度的原理2、  索引的优点  2.1、通过创建唯一性索引，可以保证数据库表中每一行数据的唯一性。  2.2、可以大大加快 数据的检索...

原创 《深入理解Mysql》之存储引擎简介

ISAM(Index Sequential Acess Method)主要用于读远大于写的环境下优点:查询速度非常快 占用内存等资源少缺点:不支持事物,没有索引和锁功能,且无法容错,使用时要注意备份数据MYISAM(是ISAM的升级版本)    新增功能:索引、锁(用来优化并发性能)    由于加入了锁所以经常要使用 OPTIMIZE TABLE命令释放被更新操作占用的空间...

原创 《深入理解java虚拟机》之虚拟机优化案例

    1、高性能硬件上的程序部署策略      服务运行一段时间后发现，网站会出现长时间的卡顿，        分析原因:一次Full GC要用14s的时间,网站会加载大文件到内存中,这些大对象直接进入老年代                没有在Minor GC中清理掉，即使有12G的内存，依然会被很快占用完                        如果使用64位JDK 使用...

转载 《深入理解java虚拟机》之java工具-jstat

原文章链接:https://www.cnblogs.com/kongzhongqijing/articles/3625574.html jstat(JVM Statistics Monitoring Tool)是用于监控虚拟机各种运行状态信息的命令行工具。他可以显示本地或远程虚拟机进程中的类装载、内存、垃圾收集、JIT编译等运行数据，在没有GUI图形的服务器上，它是运行期定位虚拟机性能问题...

转载 《深入理解Java虚拟机》之java工具-jps

 原文链接 ：Java命令学习系列（一）——Jps最近准备研究一下虚拟机，做以下笔记，原文链接在上面,如要阅读请点击上面的链接，给原文作者更多支持 jps(java process status) -l 显示全包名 -v 显示虚拟机参数 -m 运行时参入主类的参数 Java命令学习系列（一）——Jpsjps位于jdk的bin目录下，其作用是显示当前系统的java进...

原创 Log4j2.xml不同类的日志写到不同的文件中

最近在做项目时用到了log4j2，pom.xml<dependencies> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-api</artifactId> <version>2.11.0

原创 《鸟哥Linux私房菜》之linux命令复习

vim的高级玩法|| vim 编辑模式下|| ctrl+u 向上移动半页|| ctrl+b 向上移动一页|| || ctrl+d 向下移动半页|| ctrl+f 向下移动一页|| || / 进入命令模式,向下搜索键入的文本|| ? 进入命令模式,向上搜索键入的文本|| n 进行搜索时,可以按下键盘的n字母以向上或者向下继续执行搜索操作|| >方向取决于...

原创 《Netty权威指南》之模拟服务器之间的心跳检测

在集群环境下服务器之间是要定时进行心跳检测的，那么netty可以用来做这件事，在集群环境中，选定一台服务区做master，其余的做salve即master <==>  server端   salve   <==>  客户端客户端定时像服务端发送请求，当然在请求之间先进行认证服务端代码如下package com.lyzx.netty.netty06;i...

转载 《Netty权威指南》之Netty的Reactor线程模型

此篇博客为转载文章，只为记录一下，如要查看请移步原文章链接：  https://blog.csdn.net/qq924862077/article/details/53316490 1. 背景1.1. Java线程模型的演进1.1.1. 单线程时间回到十几年前，那时主流的CPU都还是单核（除了商用高性能的小机），CPU的核心频率是机器最重要的指标之一。在Java领域当时...

原创 《Netty权威指南》之JBoss序列化框架Marshalling

前面讲了netty解决拆包粘包的问题我们发现拆包粘包问题的解决都只是解决netty发送字符串的情况在企业及开发中很少有直接使用字符串的，一般都有定义好的消息体，这个消息体一定对应实体类如果要传送实体类那么久一定要对实体类做序列化(序列化就是把文件或者内存中的数据结构转换为字节数组以便存储或在网路传输)今天就介绍一下jboss的marshalling序列化框架下面文章是听了白老师的N...

原创 《Netty权威指南》之拆包粘包解决方案2-消息定长

客户端代码package com.lyzx.netty.netty03;import io.netty.bootstrap.Bootstrap;import io.netty.channel.ChannelFuture;import io.netty.channel.ChannelHandler;import io.netty.channel.ChannelInitializer;...

原创 《Netty权威指南》之拆包粘包问题及解决方案1

客户端和服务端代码package com.lyzx.netty.netty02;import io.netty.bootstrap.Bootstrap;import io.netty.bootstrap.ServerBootstrap;import io.netty.buffer.ByteBuf;import io.netty.buffer.Unpooled;import io....

原创 《Netty权威指南》之netty初体验

通过NIO的方式搭建一个时间服务器有很繁杂的过程，而netty则只需要很简单的程序就能搞定，而且netty的编程模式很固定，客户端程序员只需要在网络配置的地方和业务逻辑的地方写自己的代码即可package com.lyzx.netty;import io.netty.bootstrap.Bootstrap;import io.netty.bootstrap.ServerBootstra...

原创 《Netty权威指南》之java NIO值非阻塞网络编程

package com.lyzx.netty.day01;import org.junit.Test;import java.io.IOException;import java.net.InetSocketAddress;import java.nio.ByteBuffer;import java.nio.channels.SelectionKey;import java.ni...

原创 《Netty权威指南》之java Nio的阻塞式和非阻塞式

IO的阻塞和非阻塞都是相对于网络IO而言的 1、阻塞式在Client/Server模型下，当客户端有一个请求到服务端的时候，服务端的一个线程用来处理这个请求，当客户端的请求的写操作的时候，是先通过网络把数据写到服务器的操作系统的内存里(内核空间)，然后服务器操作系统再把数据拷贝到对应的应用程序的内从中，当请求的写数据还没有到达服务器时，处理这个请求的线程就一直在等待，这就是传统...

原创 docker基本使用

 背景 在公司做开发，一般的模式是开发人员把代码写完测试完成后提交到测试开发环境，觉得没问题，然后由运维人员提交到测试环境，在这个过程中，会出现一些不愉快的情况，比如，程序在开发环境下好好的，在测试环境下又有问题出现，而这个过程中，运维是没有修改开发人员的代码，那么造成这个问题的原因是什么呢？ 其实主要还是程序运行的环境不同，这个环境就是我们所说的配置、数据、操作系统等因素，那么...

原创 《深入理解Spark》之sparkSQL 处理流程

原创 《Netty权威指南》之java NIO的阻塞式网络通信

使用java的NIO写阻塞式网络通信程序，通过TCP连接的方式v1版本表示客户端向服务端发送请求，服务端接收到文件上传请求后把文件写到服务端的某个目录下并关闭输出流程序结束v2在v1的基础上，服务端写完文件后回写一句 "写入成功"给客户端，客户端在控制台显示，程序结束package com.lyzx.netty.day01;import org.junit.Test;impor...

原创 《scala函数式编程》之模式匹配和异常处理

package com.lyzx.day20181006import java.io.{FileNotFoundException, FileReader, IOException}class MatchTest { /** * match 对应 Java 里的 switch，但是写在选择器表达式之后。即： 选择器 match {备选项}。 * match 表达式通过...

原创 《scala函数式编程》之List和Set

package com.lyzx.day20181005/** * Scala 集合分为可变的和不可变的集合 * 默认情况下，Scala 使用的是不可变集合,如果你想使用可变集合,需要引用 scala.collection.mutable.Set包. * 默认引用 scala.collection.immutable._,不可变集合实例如下 */class DataStru...

原创 git中的常用操作

git分为3个区 1、工作区 当前文件夹中的文件内容2、暂存区 通过git add fileName添加到暂存区 3、本地库 通过git commit fileName 添加到本地库git init 初始化git仓库(把一个普通的文件夹变得让git可以管理)设置签名 git config [--global] user.name root123 git...

原创 《深入理解Spark》之使用scala开发spark时，map+case结构使用技巧

scala开发Spark程序时使用map +case结构的一点小技巧 people.txt文本如下lyzx1,19lyzx2,20lyzx3,21lyzx4,22lyzx5,23lyzx6,24lyzx7,25lyzx7,25,哈哈托塔天王package com.lyzx.startimport org.apache.spark.{SparkConf, Sp...