- 博客(62)
- 收藏
- 关注
RSS订阅原创 Flume File Channel
昨天用Flume采集kafka中的数据到HDFS上,今天才发现Flume采集丢数据了。而我正正是使用了MemoryChannel,所以才导致数据丢失的。今天来学习一下FileChannel吧。
2023-06-13 18:38:30
1440
原创 Hive报错 java.lang.RuntimeException: Map operator initialization failed
java.lang.RuntimeException: Map operator initialization failed
2023-06-07 17:11:52
370
原创 Zookeeper的Java API操作
Client 向 Zookeeper 服务端注册一个 Watcher ,同时将Watcher对象存储在客户端的 WatcherManager 中。当Zookeeper 服务端的一些指定事件触发了 Watcher 事件时,就会向客户端发送事件通知,客户端就会从WatcherManager 中取出对应的 Watcher 进行回调。3.拷贝log4j.properties文件到项目根目录。客户端注册Watcher。服务端处理Watcher。客户端回调Watcher。
2023-03-11 19:38:31
548
1
原创 Python爬虫报错mysql.connector.errors.ProgrammingError:Failed processing format-parameters
raise errors.ProgrammingError(mysql.connector.errors.ProgrammingError: Failed processing format-parameters; Python '_elementunicoderesult' cannot be converted to a MySQL type
2022-11-14 23:58:31
1185
原创 Python爬虫报错raise BadStatusLine(line) http.client.BadStatusLine: ＜html lang=“en“＞
【代码】Python爬虫报错raise BadStatusLine(line) http.client.BadStatusLine:
2022-11-04 13:45:18
1248
原创 Hive学习笔记3
本博客仅作学习记录所用,基于尚硅谷和黑马程序员做的笔记…Hive学习笔记1Hive学习笔记2为了支持多种压缩/解压缩算法，Hadoop 引入了编码/解码器，如下表所示：压缩性能的比较：http://google.github.io/snappy/On a single core of a Core i7 processor in 64-bit mode, Snappy compresses at about 250MB/sec or more and decompresses at a
2022-09-11 21:00:54
4419
原创 Hive学习笔记2
本博客仅作学习记录所用,基于尚硅谷和黑马程序员做的笔记…Hive学习笔记1Hive学习笔记3在Hive中，当下版本3.1.2总共支持6种join语法。分别是：（内连接）、（左连接）、（右连接）、（全外连接）、（左半开连接）、（交叉连接，也叫做笛卡尔乘积）。这允许FROM子句连接以逗号分隔的表列表，而省略JOIN关键字。例如：等值Join案例实操（1）根据员工表和部门表中的部门编号相等，查询员工编号、员工名称和部门名称；非等值连接表的别名好处（1）使用别名可以简化查询。（2
2022-09-11 21:00:24
911
原创 Hive学习笔记1
hive简介Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。Hive是基于Hadoop的一个数据仓库工具，可以将存储在HDFS上的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似SQL的查询模型，称为Hive查询语言（HQL），用于访问和分析存储在Hadoop文件中的大型数据集。Hive本质：将HQL转化成MapReduce程序（1）Hive处理的数据存储在HDFS（2）Hive分析数据底层的实现是MapReduce（3）执行程序运行在Yarn上。
2022-09-11 20:59:35
498
原创 Hive报错记录
[ERROR] --initialize specified but the data directory has files in it. Aborting.[ERROR] Error message file '/usr/share/mysql/english/errmsg. sys' had only 1080 error messages, but it should contain at least 1120 error message.[Warning] TIMESTAMP with impl
2022-07-13 12:56:29
419
原创 kafka学习笔记
kafka学习笔记kafka介绍传统消息队列的应用场景消息队列的两种模式kafka基础架构kafka介绍Kafka是最初由Linkedin公司开发，是⼀个分布式、⽀持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最⼤的特性就是可以实时的处理⼤量数据以满⾜各种需求场景：⽐如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎，web/nginx⽇志、访问⽇志，消息服务等等，⽤scala语⾔编写，Linkedin于20
2022-05-17 12:40:57
2522
原创 Scala学习笔记
Scala学习笔记字符串输出注释变量和常量数据类型值类型转换隐式转换强制类型转换演示取余%操作演示按位与&操作键盘输入字符串输出object InputDemo { def main(args: Array[String]): Unit = { val name:String ="张三" var age:Int =20 var money:Double =1820.5626 //字符串,通过+来连接 println(name+"今年"+age+"岁了"
2022-05-16 22:39:43
978
原创 Flume学习笔记
Flume学习笔记Flume 定义Flume 基础架构Flume 安装部署监控端口数据实时监控单个追加文件实时监控目录下多个新文件Flume 定义Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单.Flume最主要的作用就是:实时读取服务器本地磁盘的数据，将数据写入到HDFS.Flume 基础架构AgentAgent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。Agent 主要有 3 个部
2022-04-24 23:20:49
2000
原创 HBase学习笔记
HBase学习笔记概述集群搭建概述HBase原本是由Yahoo!公司开发,后来贡献给了Apache的一套开源的,基于Hadoop的,分布式的,可扩展的非关系型数据库.如果需要对大量数据进行随机且实时读写,那么可以考虑使用HBase.HBase能够管理非常大的表:billions of rows * millions of columns.HBase是仿照Google的Big Table来进行实现的,因此,HBase和Big Table的原理几乎一致,只是实现语言不同.HBase是使用Java语言
2022-04-10 14:30:08
1765
原创 HBase的HMaster启动成功几秒后消失了
HBase的HMaster启动成功几秒后消失了我是启动HBase后,jps发现没有HMaster进程,于是各种百度,找到这种方法:将jar包拷贝到$HBASE_HOME/lib目录下进行了此步骤,jps后发现HMaster进程出现了,但是再一次jps,这时发现HMaster进程又消失了.于是又百度…最终发现执行以下步骤,成功了:先将HBase各节点的HRegionServer停掉再将Zookeeper中的/HBase节点deleteall删除掉将$HBASE_HOME/conf/hbase
2022-04-08 12:26:13
3211
原创 Java---CountDownLatch
CountDownLatch 概念工作原理常用方法使用场景缺点概念CountDownLatch是在jdk1.5的时候引入的,位于java.util.concurrent并发包中,CountDownLatch叫做闭锁.CountDownLatch是一个同步工具类,它允许一个或多个线程一直等待,直到其它线程执行完后再执行.工作原理CountDownLatch是通过一个计数器来实现的,计数器的初始化值为线程的数量.每当一个线程完成了自己的任务后,计数器的值相应的减1.当计数器的值减到0时,表示所有的线程
2022-04-06 22:17:06
631
原创 Zookeeper学习笔记
Zookeeper学习笔记概念Zookeeper工作机制特点数据结构应用场景统一命名服务统一配置管理统一集群管理软负载均衡Zookeeper本地安装本地模式安装安装前准备配置修改操作Zookeeper配置参数解读Zookeeper 集群操作集群操作集群安装选举机制(重点)Zookeeper选举机制——第一次启动Zookeeper选举机制——非第一次启动ZK 集群启动停止脚本概念Zookeeper 是一个开源的分布式的，为分布式框架提供协调服务的 Apache 项目.它是集群的管理者,监视着集群中各个节点
2022-04-05 16:32:45
1941
原创 Java正则表达式
Java正则表达式正则表达式语法元字符-转义符号\\元字符-字符匹配符不区分大小写元字符-选择匹配符元字符-限定符元字符-定位符分组matcher.find()完成的任务不考虑分组考虑分组案例提取文章中所有的英文单词正则表达式是对字符串执行模式匹配的技术.正则表达式语法元字符-转义符号\\\符号在Java的正则表达式中,两个\\代表其它语言中的一个需要用到转义符号的字符有以下:. * + ( ) $ / \ ? [ ] ^ { }元字符-字符匹配符符号解释示例解释[ ]
2022-03-19 21:47:25
535
原创 Java UUID
Java UUIDUUID:通用唯一标识符在不同机器上生成的一段字符是不一样的,因为它生成的一段字符是跟当前时间和当前电脑的硬件,网卡有关.UUID的目的:让分布式系统中的所有元素都能有唯一的识别信息.UUID是由一组36位数的16进制数字组成public static UUID randomUUID()//随机生成UUIDpublic String toString()//返回代表这个UUID的 String对象。public static UUID fromString(String
2022-01-18 10:57:28
287
原创 Java Double类
Java Double类double型的包装类DoubleDouble类和Float类的常用方法基本相同Double类的常用方法:1. public static Double valueOf(@NotNull String s)//返回保存用参数字符串s表示的double值的Double对象2. public static Double valueOf(double a)//返回一个double值的Double对象3. public double doubleValue()//以doub
2022-01-14 22:51:41
3196
原创 Java Integer类
Java Integer类int型的包装类Integer装箱就是将基本数据类型转换为包装类.拆箱就是将包装类转换为基本数据类型.Integer类的常用方法:1. public static int parseInt(@NotNull String s)//将字符串s解析成int类型的数据2. public static Integer valueOf(@NotNull String s)//返回保存指定的String值的Integer对象3. public boolean equals(@
2022-01-14 21:34:45
407
原创 Java Random类
Java Random类java.util.Random类提供了一系列用于生成伪随机数的方法.Random类的构造方法:1. public Random():创建一个Random对象2. public Random(long seed):使用参数seed指定的种子创建一个Random对象相同种子数的Random对象,相同次数生成的种子数是相同的.也就是说,两个种子数相同的Random对象,第一次生成的随机数完全相同,第二次生成的随机数也完全相同…import java.util.Random
2022-01-13 16:04:53
241
原创 Java Math类
Java Math类Math类的常量:Math类常用的方法Math类定义:public final class Math extends Object,由于Math类是final类型的,因此不能派生子类.Math类的构造方法是private类型的,因此Math类不能够被实例化.Math类的常量:public static final double E=2.718281828459045 //数学常数epublic static final double PI=3.141592653589793//圆
2022-01-13 14:43:45
136
原创 Linux Shell中的正则表达式
Linux Shell中的正则表达式正则表达式是什么正则表达式通配符cut命令awk命令sedsort排序命令wc统计命令正则表达式是什么正则表达式是用于描述字符排列和匹配模式的一种语法规则.它主要用于字符串的模式分割,匹配,查找及替换操作.正则表达式正则表达式用来在文件中匹配符合条件的字符串,正则是包含匹配.grep,awk,sed等命令可以支持正则表达式.元字符作用*前一个字符匹配0次或任意多次 ,例如:a.*d会匹配a和d之间有任意字符.匹配除了换行符外的任意一
2021-12-11 15:40:13
1091
原创 如何让Bash提示符带有颜色
如何让Bash提示符带有颜色PS1是一个环境变量(系统变量):你的提示符设定我们先来了解一下几个特殊字符的含义:\e[指示颜色提示符的开始0;34m颜色代码,此代码代表的是蓝色,编码格式是x;ym\e[m指示颜色提示符的结束部分颜色代码:0;30黑色0;34蓝色0;32绿色0;36青色0;31红色0;35紫色0;33褐色将提示符(前景)显示为青色:export PS1="\e[0;36m[\u@
2021-12-10 20:49:33
733
原创 Linux Shell创建和使用别名alias
Linux Shell创建和使用别名alias笔记总结----Linux Shell命令行及脚本编程实例详解Bash的内置命令alias可用于创建一个别名,alias创建别名的语法:alias name='command' // #name是用户定义的别名,command是任意Linux命令,注意是单引号打开当前目录下最后被修改的文件:alias VIM='vim `ls -t | head -1`'// #注意:里层的是反引号,外层的是单引号// # ls -t按文件最近修改时间排序,新
2021-12-09 23:40:50
857
原创 Linux Shell中readonly只读变量删除
Linux Shell中readonly只读变量删除1.下载gdb(如果已经有的话就不用下载)[root@localhost ~]# yum install gdb2.删除[root@localhost ~]# readonly var=123[root@localhost ~]# cat << EOF | gdb> attach $$> call unbind_variable("var")> detach> EOF...
2021-12-09 20:53:50
2426
原创 Java中的Arrays类
Java中的Arrays类toString()copyOfsortbinarySearch正在更新中…toString()方法原型:public static String toString(int[] a)/*参数可以是byte,boolean,short,char,int,long,float,double,Object类型的数组,上面只是一个例子功能:将各类型的数组转换成String类型输出 public static void main(String[] args) {
2021-12-05 23:37:38
234
原创 Java中的String类
Java中的String类lengthlength使用length()可以获取一个字符串的长度String str="hello world!";System.out.println(str.length());
2021-12-05 16:43:38
245
原创 MySQL中的拼接Concat,Trim
MySQL中的拼接Concat在MySQL的SELECT语句中,可使用Concat()函数来拼接两个列.Concat()拼接串,即把多个串连接起来形成一个较长的串.Concat()需要一个或多个指定的串,各个串之间用逗号分隔.Trim()函数用来去掉串左右两边的空格LTrim()函数用来去掉串左边的空格RTrim()函数用来去掉串右边的空格#注意:' 粉底液 '左右两边有空格mysql> update product set name=' 粉底液 ' where id='c007';
2021-12-02 22:18:57
1465
原创 shell脚本
shell脚本shell是什么脚本格式要求脚本的执行方式shell的变量设置环境变量注释位置参数变量预定义变量运算符条件判断if elifcase语句for循环while循环read函数shell是什么shell是一个命令行解释器,它为用户提供了一个向Linux内核发送请求以便运行程序的界面系统级程序,用户可以用shell来启动,挂起,停止甚至是编写一些程序.脚本格式要求1.脚本以#!/bin/bash开头2.脚本需要有可执行权限(即x)脚本的执行方式方式1:首先要赋予脚本x权限,再执行脚本
2021-12-01 23:26:06
316
原创 C语言signed char和unsigned char
C语言signed char和unsigned char#define _CRT_SECURE_NO_WARNINGS 1#include <stdio.h>#include <string.h>int main(){ char str[300] = { 0 }; int i; for (i = 0; i <300; i++) { str[i] = -1-i; } //-1 -2 -3 ...-128 127 126 ... 2 1 0 printf
2021-11-27 20:30:05
325
原创 Linux命令大全(通俗易懂)
Linux常用命令大全ls命令pwd,mkdir命令rm命令rmdir命令cd命令touch命令mv命令cat命令nl命令more命令cp命令tar命令正在更新中…ls命令ls是英文单词list的简写,其功能为列出目录的内容ls查看当前目录的内容(缺点:隐藏文件看不到)ls -a查看当前目录内容,包括隐藏文件ls -l(等价于ll)以列表方式显示文件的详细信息(文件类型,权限,大小等)ls -al查看当前目录内容(包括隐藏文件)的详细信息ls -h配合-
2021-11-22 23:35:49
906
原创 MySQL正则表达式
用正则表达式进行搜索----来自MySQL必知必会基本字符匹配进行or匹配匹配几个字符匹配范围匹配特殊字符匹配字符类正则表达式是用来匹配文本特殊的串(字符集合).基本字符匹配语法:select 字段1,字段2... from 表名 where 检索列 regexp 文本;#检索列包含文本的所有行select id,name from product where id regexp 'c005';#检索id字段包含文本'c005'的所有行regexp后所跟的东西作为正则表达式,如c005m
2021-11-20 18:51:05
540
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人