2 jhchengxuyuan

尚未进行身份认证

暂无相关简介

等级
TA的排名 24w+

kafka小白教程从入门到精通

kafka小白教程kafka介绍kafka的概念Kafka(底层源码使用scala语言实现): kafka分布式集群的搭建 kafka分布式集群的实操: 1)命令行客户端(测试)主题的CRUD操作发布消息 订阅消息 2)使用Java API来操作kafka分布式集群: 发布消息 订阅消息 kafka内部原理 自定义分区 消息拦截器 理论: ...

2019-11-13 21:49:05

linux-01

今天任务:1.vmware11的安装(提前安装好)2.虚拟机的安装(提前安装好)3.linux系统的目录结构介绍4.linux的基本命令操作5.Linux–环境配置6.用户管理命令7.进程管理命令8.权限管理教学目标:1.能够独立安装虚拟机2.了解linux系统及目录结构3.熟悉linux的基本命令操作4.熟练进行环境配置5.了解基本的用户管理,进程管理命令6.了解简...

2019-09-22 10:45:17

一:Mysql事务

Week04day02一:Mysql事务事务:事务是指逻辑上的一组操作,组成这组操作的各个单元,要么全成功,要么全不成功。1.Mysql中的事务a:mysql引擎是支持事务的b:mysq默认自动提交事务,每条语句都在单独的事务中。c:手动控制事务开启事务: start transaction|begin提交事务:commit回滚事务:rollbackJdBC如何控制事务[外链...

2019-09-21 19:59:15

二分图最大匹配

题目:n个人去玩过山车,每个人只能和自己认识的异性朋友坐一起,问最多可以有几对人玩过山车。输入:首先输入n和m,n为总人数,m为异性朋友的关系数,之后输入m行,每行输入x和y,表示x和y是一对异性朋友。每个人的编号为1-n之间。测试输入:6 51 41 52 52 63 4输出:输出最多可以玩过山车的对数测试输出:3//代码 - 二分图最大匹配 - 匈牙利算法...

2019-09-22 10:36:11

awk命令:

awk命令:awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在器对数据分析并产生报告时,显得尤为强大,简单是说,awk将数据逐行的读入,以空格作为默认分隔符,对每行进行切片,切开的部分在进行各种分析处理。awk主要有3个版本,awk,nawk,和gawk,一般来说是指gawk,gawk是GNU版本awk是一种语言,awk程序设计语言。允许创建简短的程序,读取文件,对...

2019-09-21 19:58:21

hive进阶四

hive进阶四hive的字段分隔符:hive默认的列与列之间的分隔符是:\001 、ctrl+V ctrl+A(^A) 、SOH 、 \u0001(多用于java输出),注意不是tab通常分隔符:tab," "|\n\001 ^A (\u0001,注意不是\0001也不是\01)\002 ^B\003 ^Chive的文件存储格式:File Formats and Co...

2019-09-21 19:57:49

Hbase的存储的概述

Hbase的概述hbase定义:一种分布式,可扩展,支持海量数据存储的NoSql数据库存储海量数据,对海量数据操作时会有明显优势,但对小数据操作时,考虑到本身的资源消耗可能不是那么的快。官网定义:Apache HBase™是Hadoop数据库,是一个分布式,可扩展的大数据存储。当您需要对大数据进行随机,实时读/写访问时,请使用Apache HBase™。该项目的目标是托管非常大的表 -...

2019-09-21 19:22:12

Java多线程复习

Java多线程复习线程创建实现runnable类(推荐)public class TreadLearningIR implements Runnable { private String name; public TreadLearningIR(String name){ this.name=name; } @Override pu...

2019-09-21 19:20:58

IO流复习

I/O流复习概念作用:实现两个设备之间数据的通信分类根据 操作的方式:输入流和输出流根据数据的类型:字节流和字符流字节流(reader、writer):传输的是字节,可以操作任意类型的数据字符流(stream)(只能传输文本):传输的是字节,不同点是在传输过程中加入了编码的操作,让我们的操作更方便NIO基础用法字符流public class Demo1 { ...

2019-09-21 19:20:21

简单介绍编译原理

简单介绍编译原理编译的各个步骤1.词法分析​ 编译器的第一个步骤称为词法分析或扫描。词法分析器读入组成源程序的字符流,并将其组成有意义的词素的序列。形如<token-name, attribute-value>这样的词法单元。(token-name是由语法分析使用的抽象符号,attribute-value是指向符号表中关于这个词法单元的条目,符号表条目的信...

2019-09-21 19:18:30

mysql的范式总结

范式的概念:​ 设计关系数据库时,我们通过遵循不同的规范要求,设计出合理的关系型数据库,这些不同的规范要求就是范式。​ 目前关系数据库有六种范式:第一范式(1NF)、第二范式(2NF)、第三范式(3NF)、巴斯-科德范式(BCNF)、第四范式(4NF)和第五范式(5NF,又称完美范式)。第一范式第一范式是指在同一表中没有重复项出现,如果有则应将重复项去掉,这个去掉重复项的过程称为规范化处...

2019-09-21 19:17:04

datax安装与使用详解

一、dataX概览1.1 DataXDataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。1.2 FeaturesDataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以...

2019-09-21 17:50:47

Flume安装与详解

大数据组件 Flume前言:里面的各种source,channel和simk时可以参考官网去满足自己的需求,看着官网可以很快的实现;https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html2.12.1 flume简介-基础知识Flume 初始的发行版本目前被统称为 Flume OG(original gener...

2019-09-21 16:05:01

sqoop的安装以及使用详解

2.7.1 Sqoop简介以及使用官网:http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html2.7.1.1 产生背景基于传统关系型数据库的稳定性,还是有很多企业将数据存储在关系型数据库中;早期由于工具的缺乏,Hadoop与传统数据库之间的数据传输非常困难。基于前两个方面的考虑,需要一个在传统关系型数据库和Hadoop之间进行数据传输的项...

2019-09-20 14:28:35

tez详解

1 tez的概览1.1 tez介绍1.1.1 介绍tez是一个apache的开源项目,意在构建一个应用框架,能通过复杂任务的DAG来处理数据。它是基于当前的hadoop yarn之上,换句话就是yarn为其提供资源。tez主要的两个设计目标:增强终端用户使用:灵活的数据流定义API灵活的输入输出运行时模型(强调处理模型)数据类型无关简洁部署高性能执行:通过mapreduce提...

2019-09-20 00:19:22

Hive进阶3

Hive3struct:create table if not exists str1(name string,score struct<chinese:int,math:int,english:int>---注意它的创建和array创建的不同)row format delimited fields terminated by '\t'collection items ...

2019-09-12 00:01:24

基于linux下的MYSQL1045问题以及windows下工具连接linux中mysql的常见错误解决

基于linux下的MYSQL问题MYSQL:1045代码错误:前提:今天碰到了非常坑爹的一件事就是mysql登录的时候发现登录不上去,错误是拒绝连接,最后面是[YES]就是使用密码yes然后yes个鬼呀,登不上去,然后就去网上各种查,改了好多都有问题,最后终于改对了,今天就总结分享下这个主要情况是出现在改了密码后,或是再刚安装时密码就会出现错误,mysql5.7的版本安装中间出现点错误后面都...

2019-09-11 00:20:00

hive的进阶之路2

hive的分桶:为了更加细粒度划分数据。语法:[CLUSTERED BY (COLUMNNAME COLUMNTYPE [COMMENT ‘COLUMN COMMENT’],…)[SORTED BY (COLUMNNAME [ASC|DESC])…] INTO NUM_BUCKETS BUCKETS]:抽样查询join提高查询效率分区&分桶分区下创建分桶表表下创建分桶表...

2019-09-10 23:57:11

hive的初步认识与基本语法一

hivehive的背景:fackbook为解决海量数据分析,避免使用传统mr而开发出来类sql的操作大数据工具。​hive定义hive是一个数据仓库软件,它能够使用类sql进行读、写、管理基于集群上的海量数据。hive可以对已经存在的数据进行结构,同时hive也提供命令行和jdbc让用进行连接hive。hive和hadoop的关系:hive基于hadoop,hive本身没有数据存储能...

2019-09-10 23:56:07

HDFS的安装配置及工作流程

HDFS2.2.1 Hadoop相关概念Hadoop是一个由Apache基金会所开发的分布式系统基础架构,用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS具有高容错性的特点,并且设计用来部署在低廉的硬件上,而且它提供高吞吐...

2019-09-10 23:53:27

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。