- 博客(115)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hive Exceeded MAX_FAILED_UNIQUE_FETCHES； bailing-out.
hive查询时，报错Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#2Hive Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.系统设置有关，文件较大，无法分配大内存通过调整集群内存大小解决问题。...
2021-03-09 14:27:57
584
原创 Hadoop误删文件后恢复
删除文件不小心把hdfs里面的文件夹删除了，执行命令如下:hdfs dfs -rm -r /user/hadoop/analyse/game到回收站中找到文件设置回收站 <property> <name>fs.trash.interval</name> <value>1440</value> </property>如果有设置回收站，hadoop删除文件时，不会立即删
2020-11-05 21:42:12
2002
1
原创 Container killed on request. Exit code is 143
升级hadoop集群后，跑hive sql发现任务一直报错跑不了。在hive的cli界面执行sql，提示错误ERROR: FAILED: Execution Error,return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask查看详细的日志，发现该job分发到4个节点执行，其中都报相同的错误，提示类似:Current usage: 1GB of 1 GB physical memory used; 2.5 GB of 1.1 G
2020-11-03 17:50:49
647
原创 Rpc框架(一)要点介绍
Rpc框架笔记rpc是远程过程调用，可做到像本地一样调用远程服务，是一种进程间通信方式。#mermaid-svg-sMP8VkWFbzaIVdmE .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-sMP8VkWFbzaIVdmE .label text{fill:#333}#mermaid-svg-sMP8V
2020-10-26 19:53:19
338
原创 hive表修改map分隔符
修改hive表属性用如下格式：alter table tablename set serdeproperties(‘属性名’=‘属性值’);表名为tablename如修改hive表的map分隔符属性为 ‘:’ :alter table table1 set serdeproperties(‘mapkey.delim’=’:’);...
2020-10-10 18:16:07
665
原创 Spark作业调度类型
Spark作业调度Spark 作业的意思是一个 Spark 动作以及执行该动作的所需要启动的任务。 Spark 的调度是完全线程安全的， 使应用程序支持多个请求。FIFO默认情况下， Spark 遵循 FIFO（先进先出） 方式调度作业。如果位于队列头的作业不需要使用整个集群资源， 后面的作业可以立即开始，但如果队列头的作业工作量很大， 位于队列后部的作业可能会被延迟启动。FAIRSpark 以轮询（ round-robin） 方式调度各作业并分配任务，以便所有作业获得大致相等的集群
2020-07-01 17:58:53
220
原创 Spark释义Dataset、DataFrame、SQL
数据分区为了多个执行器能并行地工作，spark降数据分解成多个数据块，每个数据块是一个分区。转换进行转换时，数据会被自动分区。转换分为两种：一种窄依赖关系的转换，一种是宽依赖关系的转换。窄依赖转换时一个分区只会输出一个分区。宽依赖转换时一个分区可转换多个分区。惰性操作惰性指等到必须执行时才计算。用户的一些操作，不会立即修改数据，而是建立转换计划并转化为流水线的物理计划。目的是优化物理计划，减少扫描实际用不到的数据. val flightData2015 = spark .r
2020-06-24 18:09:41
194
原创 Linux定时调度crontab
crontabLinux下的任务调度分为用户调度和系统调度系统调度：操作系统需要执行的周期性任务，操作命令卸载/etc 下的crontab中。用户任务调度： 用户要定期执行的工作，用户可以使用crontab命令来定制自己的计划任务。 所有用户定义的crontab文件都被保存在/var/spool/cron目录中， 其文件名与用户名一致1.crontab命令crontab使用格式如下 : crontab [-u user] file crontab [-u user] [ -e |
2020-06-19 18:47:57
171
原创 Redis数据结构之跳跃表
跳跃表在每个节点中维持多个指向其他节点的指针，可快速访问节点且有序跳跃表查找复杂度为平均O(logN),最坏O(N)跳跃表使用于有序集合元素数量比较多或者元素是比较长的字符串的场景。跳跃表节点 typedef struct zskiplistNode{ //层 struct zskiplistNode{ //前进指针 ...
2020-04-07 23:39:59
259
原创 邮件报 535 5.7.0 Error: authentication failed
邮件发送认证失败，原因可能如下:(1)使用的账号，密码跟邮箱登陆的账号密码不一致。(2)客户端授权码没有开启，可在邮箱设置查看客户端授权码，看POP3/SMTP服务和IMAP/SMTP服务是否开启注意使用的主机名也要查看是否正确，否则会包550 5.7.1 Client does not have permissions to send as this sender 即使用了不存在或没权限的...
2020-04-06 10:44:45
7295
原创 Redis哈希键冲突问题
哈希算法在Redis的字典中，当要将一个新的键值对添加字典时，需将键值对的键计算出哈希值和索引，由得出的哈希值决定放在哈希表数组的哪个索引上。哈希冲突当两个或以上数量的键被分到哈希表数组同一个位置时，键就发生冲突。解决哈希冲突Redis哈希表采用链地址法解决键冲突，每个哈希表的节点会有next指针，被分到同一个位置的键值对节点就会使用单链表连接起来。如图:rehash哈希表保存的...
2020-04-05 17:45:45
2038
原创 Redis数据结构之字典
字典是用于保存键值对的抽象数据结构，对数据库的增删改查都是构建在对字典的操作上。字典是哈希键的底层实现值一，当一个哈希键包含的键值对较多或键值对中的元素是比较长的字符串时，Redis就使用字典作为哈希键，哈希表是字典的底层实现。哈希表 typedef struct dictht{ //哈希表数组 dicEntry **table; //哈...
2020-04-05 09:03:49
136
原创 Redis数据结构之链表
链表提供高效的节点重排能力，以及顺序性的节点访问方式，并且可以通过增删节点调整链表的长度。在Redis中，当一个列表键包含数量比较多的元素或元素都是比较长的字符串时，Redis就会使用链表作为列表键的底层实现。链表和链表节点的实现链表节点: typedef struct listNode{ //前置节点 struct listNode * prev;...
2020-04-04 21:32:00
162
原创 Redis数据结构之SDS
Redis里使用SDS来表示字符串值，用于可变的字符串值。而C字符串用于无须改变的字符串。例如:Redis>set msg "hello"Redis会在数据库中创建一个新的键值对，其中键 "msg"为SDS,而值为"hello"的SDS。除了用于保存字符串值,SDS还会被用作缓冲区:AOF模块中的AOF缓冲区客户端输入状态中的输入缓冲区SDS的定义 struct sd...
2020-04-04 20:54:48
290
原创 NoSQL简介
NoSQL特点NoSQL ,意思未不仅是SQL,指非关系型数据库NoSQL不伊利业务逻辑方式存储，而是使用key-value模式存储。不遵循SQL标准不支持ACID性能比传统SQL好很多常见NoSQL数据库Memcached特点:1.很早出现的NoSql数据库2.数据都在内存中，一般不持久化3.支持简单的key-value模式4.一般是作为缓存数据库辅助持久化的数据...
2020-04-01 23:23:47
145
原创 HTTP(4)状态码
状态码是客户端发送请求时，描述返回的请求结果。状态码类别类别说明1XX信息类状态码接收的请求正在处理2XX成功状态码请求正常处理完毕3XX重定向状态码需要进行附加操作以完成请求4XX客户端错误状态码服务器无法处理请求5XX服务端错误状态码服务器处理请求出错2XX状态码200 ( 客户端发来的请求在服务端被正常处理）2...
2020-03-31 23:14:45
1011
原创 hive修改表结构后插入数据查询为空
最近使用hive的时候发现，当修改已存在的表，添加另外的列，然后插入数据，发现新插入的数据中，里面的新列数据皆为NULL。（当前hive版本为2.1.0)查了一下资料，发现hive的元数据表SDS中，该表的CD_ID值为旧值，在更新表结构后该CD_ID有改动。解决办法：1.如果要解决这个问题，可以手动的修改SDS表中该数据表对应的CD_ID值。2.可以手动的给该表的分区加上新增的列,如:...
2020-03-31 19:05:53
907
原创 HTTP(3)HTTP报文
HTTP报文用于HTTP协议交互的信息HTTP报文，HTTP报文本身由多行数据组成的字符串文本。HTTP报文组成HTTP分为报文首部和报文主体。HTTP报文结构（请求主体和响应主体）报文组成报文组成主要为请求行，状态行，首部字段，其他。请求行包含用于请求的方法，请求URI和HTTP版本状态行包含表明响应结果的状态码，原因短语和HTTP版本首部字段包含请求和相应的各种...
2020-03-30 23:58:37
534
原创 HTTP(2)HTTP与其他通信协议的协作
与HTTP关系密切的协议IPTCPDNSIP协议IP协议位于网络层，几乎所有网络系统都会使用到IP协议，TCP/IP协议族中的IP指的就是网际协议。IP协议的作用是把各种数据包发送给对方，保证传送需要满足各类条件。其中IP地址和MAC地址最为重要。(1)IP地址指明节点被分配到的地址(2)MAC地址是指网卡所属的固定地址。(3)IP地址可跟MAC地址配对，IP地址可变换，但M...
2020-03-29 21:15:35
189
原创 HTTP(1)TCP/IP传输
TCP/IP协议族目前使用的网络是运行在TCP/IP协议族的基础上的，HTTP是它内部的一个子集,TCP/IP是互联网相关的各类协议族的总称。协议中包含从电缆规格到IP地址的选定方法，寻找异地用户的方法，双方建立通信的顺序，Web界面显示需要的处理步骤等内容。TCP/IP分层TCP/IP协议族按层次分为如下四层:应用层、传输层、网络层、数据链路层。分层为了应对层次的变动，当某些地方需要改...
2020-03-28 13:14:36
268
原创 Linux（3）常用命令
用户管理命令useradd语法:useradd 用户名 (添加新用户)useradd -g 组名 用户名(用户添加到某个租)usermod 修改用户组语法:user mod -g 用户组 用户名passwd 设置用户密码语法:passwd 用户名id 查看用户是否存在语法:id 用户名su 切换用户语法:su 用户名称 切换用户，只能...
2020-03-27 17:44:11
188
原创 Linux（2）常用命令
Linux常用命令文件目录pwd : 显示当前目录的绝对路径 lsls : 列出目录内容参数说明-a显示全部文件，包括隐藏文件-l列出文件详细信息，包括文件属性和权限 ls -la列出文件按修改时间排列 ls -ltr操作目录- mkdir 创建目录 mkdir test- rm 删除目录 r...
2020-03-26 23:35:24
142
原创 Linux（1）目录结构
Linux目录结构Linux目录结构有:root/sbin/home/binlib/lost+found/etc/usr/boot/proc/srv/sys/tmp/media/mnt/var各目录的作用目录作用bin存放最常使用的命令sbin存放系统管理员的管理程序home普通用户的主目录，每个用户一般都有自己的目录...
2020-03-26 00:08:21
144
原创 JavaWEB总结--(6)JSON简介
简介Json是轻量级的文本交换数据格式，独立于编程语言和平台，类似XML，但比XML更快Json格式Json值可有6种数据类型格式:字符串 : {“number”:“123”}数字 : { “number” : 123}布尔值 : {“checked” : true }null : {“checked” : null }对象 : {“name”:“lcc”,“age”:2...
2020-03-25 00:07:35
87
原创 mysql百分数转小数
假设数据字段 test 为百分数格式(例:88.99%,55.44%等)想转换成小数格式:(例:0.8899,0.5544)使用如下mysql语句: select replace(test,"%","")/100 from table如果发现转换后小数点带了很多个.00000也可用 select left(replace(test,"%","")/100,6) from ...
2020-03-09 18:17:52
2561
原创 JavaWEB总结--(5)JSP简介
JSPjsp运行在java服务器中的界面，即动态界面，本质上是一个Servlet，其主要工程为HTML代码，Java代码片段，jsp标签组成。其文件后缀为.jsp。相比于Servlet，JSP更加善于处理显示页面，而Servlet跟擅长处理业务逻辑，两种技术各有专长，所以一般我们会将Servlet和JSP结合使用，Servlet负责业务，JSP负责显示。jsp的脚本元素脚本片段是嵌入到JSP...
2020-03-08 18:25:07
233
原创 JavaWEB总结--(4)Servlet使用
ServletServlet用于处理客户端请求，常与jsp界面的操作配合使用。Servlet使用servlet使用(继承HttpServlet) public class LoginServlet extends HttpServlet{ }Servlet常用方法 protected void doGet(HttpServletRequest request , Htt...
2020-03-08 17:50:50
151
原创 JavaWEB总结--(3)Tomcat
JavaWEB项目部署JavaWEB项目，需要部署在Web服务器上才能够接收用户的客户端发送的请求并且响应。Web服务器最常用的Web服务器时tomcat服务器，在旧的项目也用过resin部署。Tomcat（Apache）：当前应用最广的JavaWeb服务器；JBoss（Redhat红帽）：支持JavaEE，应用比较广EJB容器 –> SSH轻量级的框架代替GlassFish（...
2020-03-08 14:16:18
181
原创 JavaWEB总结--(2)HTML
HTML的组成HTML常用标签标签类型html根标记head头标记body体标记h标题a超链接form表单实例<!DOCTYPE html><html><head> <!-- 设置当前页面编码使用的字符集，同时也告诉浏览器使用该字符集进行解码 --> <meta...
2020-03-08 13:57:48
115
原创 JavaWEB总结--(1)JavaWEB简介
简介Java Web是用Java技术来解决相关web互联网领域的技术总和。web包括：web服务器和web客户端两部分。JavaWEB技术架构体系javaWEB常用技术HTMLHTML指超文本标记文件，用来描述网页，可包含文字，图片，连接，音乐，视频，程序等。HTML是网页内容的载体，作者将提供用户浏览的信息防止在网页上CSSCSS是样式，用于改变网页内容的外观，包括字体，颜色，...
2020-03-08 12:52:54
485
原创 《Hadoop权威指南》 Hadoop文件系统操作接口
FileSystemFileSystem时文件系统api，通过其对HDFS文件系统进行操作。FileSystem获取方式: - public static FileSystem get(Configuration conf) throws IOException; - public static FileSystem get(URI uri, Configuration conf) thr...
2020-03-07 18:44:01
214
原创 微信接收不到企业微信消息推送
使用微信提供的接口，给公司微信企业号的相关人员推送消息时。一般是微信端的企业号和企业微信都能接收到推送的消息，但有一次企业微信版本更新后发现微信端的推送消息没有接收到。原因找了很久，最终发现在企业微信里面自己设置了仅在企业微信接收消息。...
2020-02-25 18:57:20
13138
原创 《深入HDFS》--HDFS缓存
HDFS缓存hdfs缓存是为了减少对数据的重复访问请求，hdfs的缓存通过缓存块实现。缓存块缓存块由普通文件块转换得来。缓存指在要访问的dataNode的内存中,访问时命中缓存则无需读取磁盘,可以大大提高用户读取文件的速度。缓存块的生命周期在缓存块中,其内部枚举State代码如下: private static enum State { CACHING, ...
2020-01-20 17:26:15
571
原创 《SparkSQL剖析》SparkSQL到RDD概述
SparkSQL 到RDDval spark = SparkSession . builder(). appName("example").master("local").getOrCreate()spark.read.json("student.json").createOrReplaceTempView("student")spark.sql("select name from stud...
2020-01-20 11:54:41
514
原创 《深入HDFS》HDFS异构存储
异构存储异构存储是Hadoop2.6.0版本出现的新特性,可以根据各个存储介质读写特性不同进行选择。例如冷热数据的存储，对冷数据采取容量大，读写性能不高的存储介质如机械硬盘，对于热数据，可使用SSD硬盘存储。在读写效率上性能差距大。异构特性允许我们对不同文件选择不同的存储介质进行保存，以实现机器性能的最大化。异构类型1.RAM_DISK(内存)2.SSD(固态硬盘)3.DISK(机械...
2020-01-19 21:00:56
251
原创 《深入HDFS》--HDFS内存存储
内存存储HDFS的数据存储由多种，内存存储是其中的一种，其以机器作为数据存储的载体。内存可能存储的缺点:1.数据临时保存在内存中，服务一旦停止(或宕机),数据就丢失2.数据存在内存中，服务停止时持久化到磁盘为避免以上出现的问题，选用异步持久化的方式处理，即在内存存储新数据时，持久化最旧的数据。HDFS使用LAZY_PERSIST内存存储策略:异步存储步骤如下:l ）对目标文件目录...
2020-01-19 18:07:11
199
原创 Hbase客户端操作
Hbase客户端操作Hbase客户端接口操作由org.apache.hadoop.hbase.client.Hbase提供，完成对Hbase存储检索，删除，修改等操作。hbase对数据修改操作保持行级别的原子性。每次客户端操作，都会创建HTable类实例，创建实例时需先扫描.META表，检查是否存在可用。创建比较耗时，因此尽量创建一次，并服用。常用操作创建put实例put(byte[...
2020-01-19 15:57:42
247
原创 二分查找
def binary_search (sort_list,item) : length = len(sort_list) low = 0; high = length -1 while low<=high : mid = (high-low) // 2 current_item = sort_list[...
2020-01-17 19:00:53
216
原创 int和Integer的区别
intint是java的八个原始数据类型之一，java的原始数据类型有(boolean,byte,short,chat,int,float,double,long)虽说java的万物皆对象，但原始数据类型是例外。IntegerInteger是int的包装类，提供一些转换(如：Integer.parseInt())之类的操作。在使用泛型时，不能直接使用int，如List,需要使用List...
2020-01-16 20:48:19
184
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人