- 博客(24)
- 收藏
- 关注
RSS订阅原创 kafka小白教程从入门到精通
kafka小白教程kafka介绍kafka的概念Kafka(底层源码使用scala语言实现): kafka分布式集群的搭建 kafka分布式集群的实操： 1）命令行客户端（测试）主题的CRUD操作发布消息 订阅消息 2）使用Java API来操作kafka分布式集群： 发布消息 订阅消息 kafka内部原理 自定义分区 消息拦截器 理论： ...
2019-11-13 23:15:04
2039
1
原创 linux-01
今天任务:1.vmware11的安装(提前安装好)2.虚拟机的安装(提前安装好)3.linux系统的目录结构介绍4.linux的基本命令操作5.Linux–环境配置6.用户管理命令7.进程管理命令8.权限管理教学目标:1.能够独立安装虚拟机2.了解linux系统及目录结构3.熟悉linux的基本命令操作4.熟练进行环境配置5.了解基本的用户管理,进程管理命令6.了解简...
2019-09-22 11:10:43
703
原创 一：Mysql事务
Week04day02一：Mysql事务事务：事务是指逻辑上的一组操作，组成这组操作的各个单元，要么全成功，要么全不成功。1.Mysql中的事务a:mysql引擎是支持事务的b：mysq默认自动提交事务，每条语句都在单独的事务中。c:手动控制事务开启事务： start transaction|begin提交事务：commit回滚事务:rollbackJdBC如何控制事务[外链...
2019-09-22 10:43:50
206
原创 二分图最大匹配
题目：n个人去玩过山车，每个人只能和自己认识的异性朋友坐一起，问最多可以有几对人玩过山车。输入：首先输入n和m，n为总人数，m为异性朋友的关系数，之后输入m行，每行输入x和y，表示x和y是一对异性朋友。每个人的编号为1-n之间。测试输入：6 51 41 52 52 63 4输出：输出最多可以玩过山车的对数测试输出：3//代码 - 二分图最大匹配 - 匈牙利算法...
2019-09-22 10:36:11
196
原创 awk命令：
awk命令：awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在器对数据分析并产生报告时，显得尤为强大，简单是说，awk将数据逐行的读入，以空格作为默认分隔符，对每行进行切片，切开的部分在进行各种分析处理。awk主要有3个版本，awk，nawk,和gawk，一般来说是指gawk,gawk是GNU版本awk是一种语言，awk程序设计语言。允许创建简短的程序，读取文件，对...
2019-09-21 19:58:44
651
原创 hive进阶四
hive进阶四hive的字段分隔符：hive默认的列与列之间的分隔符是：\001 、ctrl+V ctrl+A(^A) 、SOH 、 \u0001(多用于java输出),注意不是tab通常分隔符：tab," "|\n\001 ^A (\u0001,注意不是\0001也不是\01)\002 ^B\003 ^Chive的文件存储格式：File Formats and Co...
2019-09-21 19:57:51
659
原创 Hbase的存储的概述
Hbase的概述hbase定义：一种分布式，可扩展，支持海量数据存储的NoSql数据库存储海量数据，对海量数据操作时会有明显优势，但对小数据操作时，考虑到本身的资源消耗可能不是那么的快。官网定义：Apache HBase™是Hadoop数据库，是一个分布式，可扩展的大数据存储。当您需要对大数据进行随机，实时读/写访问时，请使用Apache HBase™。该项目的目标是托管非常大的表 -...
2019-09-21 19:25:35
393
原创 Java多线程复习
Java多线程复习线程创建实现runnable类(推荐)public class TreadLearningIR implements Runnable { private String name; public TreadLearningIR(String name){ this.name=name; } @Override pu...
2019-09-21 19:20:58
125
原创 IO流复习
I/O流复习概念作用：实现两个设备之间数据的通信分类根据 操作的方式：输入流和输出流根据数据的类型：字节流和字符流字节流（reader、writer）：传输的是字节，可以操作任意类型的数据字符流（stream）(只能传输文本)：传输的是字节，不同点是在传输过程中加入了编码的操作，让我们的操作更方便NIO基础用法字符流public class Demo1 { ...
2019-09-21 19:20:21
103
原创 简单介绍编译原理
简单介绍编译原理编译的各个步骤1.词法分析 编译器的第一个步骤称为词法分析或扫描。词法分析器读入组成源程序的字符流，并将其组成有意义的词素的序列。形如<token-name, attribute-value>这样的词法单元。（token-name是由语法分析使用的抽象符号，attribute-value是指向符号表中关于这个词法单元的条目，符号表条目的信...
2019-09-21 19:18:59
385
原创 mysql的范式总结
范式的概念： 设计关系数据库时，我们通过遵循不同的规范要求，设计出合理的关系型数据库，这些不同的规范要求就是范式。 目前关系数据库有六种范式：第一范式（1NF）、第二范式（2NF）、第三范式（3NF）、巴斯-科德范式（BCNF）、第四范式(4NF）和第五范式（5NF，又称完美范式）。第一范式第一范式是指在同一表中没有重复项出现，如果有则应将重复项去掉，这个去掉重复项的过程称为规范化处...
2019-09-21 19:17:30
204
原创 datax安装与使用详解
一、dataX概览1.1 DataXDataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。1.2 FeaturesDataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以...
2019-09-21 17:51:56
5904
原创 Flume安装与详解
大数据组件 Flume前言：里面的各种source，channel和simk时可以参考官网去满足自己的需求，看着官网可以很快的实现；https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html2.12.1 flume简介-基础知识Flume 初始的发行版本目前被统称为 Flume OG（original gener...
2019-09-21 16:08:06
430
原创 sqoop的安装以及使用详解
2.7.1 Sqoop简介以及使用官网：http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html2.7.1.1 产生背景基于传统关系型数据库的稳定性，还是有很多企业将数据存储在关系型数据库中；早期由于工具的缺乏，Hadoop与传统数据库之间的数据传输非常困难。基于前两个方面的考虑，需要一个在传统关系型数据库和Hadoop之间进行数据传输的项...
2019-09-20 14:29:12
316
原创 tez详解
1 tez的概览1.1 tez介绍1.1.1 介绍tez是一个apache的开源项目，意在构建一个应用框架，能通过复杂任务的DAG来处理数据。它是基于当前的hadoop yarn之上，换句话就是yarn为其提供资源。tez主要的两个设计目标:增强终端用户使用:灵活的数据流定义API灵活的输入输出运行时模型(强调处理模型)数据类型无关简洁部署高性能执行:通过mapreduce提...
2019-09-20 00:21:17
16493
原创 Hive进阶3
Hive3struct：create table if not exists str1(name string,score struct<chinese:int,math:int,english:int>---注意它的创建和array创建的不同)row format delimited fields terminated by '\t'collection items ...
2019-09-12 00:02:06
347
原创 基于linux下的MYSQL1045问题以及windows下工具连接linux中mysql的常见错误解决
基于linux下的MYSQL问题MYSQL:1045代码错误：前提：今天碰到了非常坑爹的一件事就是mysql登录的时候发现登录不上去，错误是拒绝连接，最后面是[YES]就是使用密码yes然后yes个鬼呀，登不上去，然后就去网上各种查，改了好多都有问题，最后终于改对了，今天就总结分享下这个主要情况是出现在改了密码后，或是再刚安装时密码就会出现错误，mysql5.7的版本安装中间出现点错误后面都...
2019-09-11 00:21:04
377
原创 hive的进阶之路2
hive的分桶：为了更加细粒度划分数据。语法：[CLUSTERED BY (COLUMNNAME COLUMNTYPE [COMMENT ‘COLUMN COMMENT’],…)[SORTED BY (COLUMNNAME [ASC|DESC])…] INTO NUM_BUCKETS BUCKETS]：抽样查询join提高查询效率分区&分桶分区下创建分桶表表下创建分桶表...
2019-09-10 23:57:37
121
原创 hive的初步认识与基本语法一
hivehive的背景：fackbook为解决海量数据分析，避免使用传统mr而开发出来类sql的操作大数据工具。hive定义hive是一个数据仓库软件，它能够使用类sql进行读、写、管理基于集群上的海量数据。hive可以对已经存在的数据进行结构，同时hive也提供命令行和jdbc让用进行连接hive。hive和hadoop的关系：hive基于hadoop，hive本身没有数据存储能...
2019-09-10 23:56:39
248
原创 HDFS的安装配置及工作流程
HDFS2.2.1 Hadoop相关概念Hadoop是一个由Apache基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS具有高容错性的特点，并且设计用来部署在低廉的硬件上，而且它提供高吞吐...
2019-09-10 23:55:06
293
原创 HDFS的安装配置及工作流程
HDFS2.2.1 Hadoop相关概念Hadoop是一个由Apache基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS具有高容错性的特点，并且设计用来部署在低廉的硬件上，而且它提供高吞吐...
2019-08-29 20:31:56
3244
原创 高可用HA的搭建
配置高可用1.安装zookeeper2.编辑那个安装zookeeper目录下conf文件夹里面的zoo_cfg没有的话拷贝zoo_（添加到里面三台机器的ip地址，创建目录，在目录下创建myid,然后在每个myid下添加1,2,3、分别对应第一台，第二三台机器）dataDir=/home/hadoop/apps/zkdataserver.1=192.168.80.10:2888:3888...
2019-08-29 20:17:24
149
原创 java经典题目
java经典题目1.输出下列结果：package test1;public class test5 {public static void main(String[] args) { new Deviced();}}class Base{ private String name="base"; public Base(){ tell(); print(); } p...
2019-08-24 15:01:03
819
原创 jvm优化
jvm优化一：jvm的位置jvm是运行在操作系统之上的，它与硬件没有直接的交互二：jvm体系结构概览– 灰色的地方绝对不会垃圾回收，jvm调优就是调堆内存。三：类加载器负责加载class文件，class文件在文件开头有特定的文件标识，并且classloder只负责class文件的加载，至于它是否可以运行，则由Execution Engine 决定car.class 就是我们编写...
2019-08-17 10:58:41
3319
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人