自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(183)
  • 资源 (2)
  • 收藏
  • 关注

翻译 史上最全,几百本常用书籍等你来取(面试,java,c,大数据,AI,python,数据结构等)

收藏这些年来看过或者听过的一些不错的常用的上千本书籍,没准你想找的书就在这里呢,包含了互联网行业大多数书籍和面试经验题目等等。有人工智能系列(常用深度学习框架TensorFlow、pytorch、keras。NLP、机器学习,深度学习等等),大数据系列(Spark,Hadoop,Scala,kafka等),程序员必修系列(C、C++、java、数据结构、linux,设计模式、数据库等等)

2020-10-31 21:53:32 20503 91

原创 PPT模板

获取地址:链接:https://pan.baidu.com/s/1ImtY5JRIrRIEWPnuTLXYiA 提取码:rjka

2020-06-24 18:16:52 12370 19

原创 简历模板

获取链接:链接:https://pan.baidu.com/s/1IAt_uO5-8-wyUJFZ6zKikQ 提取码:8ym9

2020-06-24 18:12:50 7830 43

原创 【面试】学哥学姐,毕业找工作45个经典面试问题回答技巧送给你

找工作的童鞋看过来,面试之中你最害怕的面试题有最佳答案啦!HR在面试的时候问你的问题看似简单可都是暗藏玄机的哦,机会只留给有准备的人,快来看看吧!不过答案仅供参考,让你能够了解到HR问这个问题的重点,还需要加上自己的想法哦!

2020-06-16 12:07:13 11564 25

原创 直击痛点:一招搞定GitHub开源项目下载加速!

我们都知道github是一个巨大的开源宝库,上面有非常多的优质项目,我们经常需要去上面下载优秀的项目来进行学习或者科研等等。但是啊,我们经常遇到一个痛点,就是在clone的时候,下载速度太慢了,经常就就几kb不超过30kb,那么有什么办法能够搞定github开源项目的下载速度呢,今天,他来了。

2020-05-09 13:44:43 14900 66

原创 【干货满满】,有他就够了,推荐一神奇的链接

给大家推荐一个Github,上面非常非常多的干货,保证让你满意:https://github.com/XiangLinPro/IT_book

2020-05-01 01:13:45 10354 32

原创 考研调剂心得体会,给学弟学妹们的一些经验感想(希望对你们有所帮助)

        各位学弟学妹们,你们好呀!        这两天初试成绩应该陆陆续续出来了吧,作为去年的过来人,首先我为你们感到高兴。你们已经成功了一大半了,因为我知道能坚持一年很不容易,当你走出最后一门考试的考场,你已经pass掉很多的...

2020-04-11 20:21:42 17573 53

原创 主要是快乐,累不累无所谓

​大家好,我是向同学。转眼间国庆假期就快结束了,大家开始陆陆续续的返程了吧。我就来分享一下我的国庆假期是怎样度过的把。其实国庆假期我就出去玩耍了两天,其他时间基本都在实验室摸鱼。一号,二号都在实验室摸鱼。三号下午出去的,三号、四号都在外面浪。估计接下来的几天也会在实验室摸鱼。其实出去也是因为我大学同学来长沙找我玩耍,我就顺带着出去浪了浪。又带我进了一次城,见识了大城市的生活。hhhh。三号中午吧,同学上午爬完岳麓山。让我在学校等到下午两点钟,带他逛了逛学校,然后在后街吃了一个羊...

2020-10-31 22:01:24 4751

原创 研究生浑浑噩噩的一天

祝大家国庆中秋都能开开心心,快快乐乐。突然不知道怎么称呼自己。一直想给自己取一个笔名来着,想着一直叫“五角钱的程序员”也不太好把,哈哈哈。绞尽脑汁想想取什么笔名比较好,让我思考一下。要不就叫“向同学”把,就以姓来称呼。先这样叫着吧,也没想到什么好的称呼。等以后想到好的了,再换一个,嘿嘿嘿。​最近放假,也不知道写点什么,要不今天就水一篇文章。写写我在学校的一天把。在以后的写作当中我也多写一点自己的一些生活,经历,感想等方面的文章。每篇都是干货也有些许枯燥。时光如梭,转眼都已经研二...

2020-10-31 21:52:20 7397

转载 无论大厂小厂面试官想问的HashMap,都在这一篇里面了!

一、HashMap的数据结构HashMap<String,String> map=new HashMap();map.put("1","Kobe");这两行代码表示数据已经在HashMap中存储完成。 而这也引发了一个问题,数据如何才能在HashMap中高效地存储?从这个问题出发,我们首先应该了解HashMap的底层数据结构。HashMap: 数组+链表[单向链表]+红黑树 JDK1.8我们都知道的是HashMap是存储键值对(key,value)的容器,那么从上图来看在每个小格

2020-10-25 21:13:43 10050 2

原创 服创大赛-僵尸企业画像及分类(自己的一些心得与感悟)

        刚开始选择这个看到这个题目的时候其实自己是一脸懵逼的,特别是看到僵尸两个字,就让我想起了小时候看的林正英的僵尸大片。还有画像二字,也是很懵逼的,画像,画什么像,画一个僵尸吗。选完题目之后,后面就组队,不得不说我们的团队还是配合的相当的不错,师姐,师兄,师妹,个个都很给力,通过我们的团队合作,可以说是相当的完美了。不管结果如何,我觉得我都应该写一份心得体会。来记录这几个月从一个小白什么都不懂,到后面完美的完成比赛。

2020-10-16 19:23:59 13269 1

原创 猜生日 Java小游戏

猜生日 Java小游戏最近看到一个很有趣的小游戏:询问朋友5个问题,找到他出生在一个月的哪一天。每个问题都是询问他的生日是否是5个数字集合中的一个。这5个集合分别是:set1:1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31set2:2 3 6 7 10 11 14 15 18 19 22 23 26 27 30 31set3:4 5 6 7 12 13 14 15 20 21 22 23 28 29 30 31set4:8 9 10 11 12 13

2020-09-22 23:42:57 5740

转载 贪心算法求解:王者荣耀购买点券最优策略

作者:古阙月地址:http://nxw.so/4iigd前言放了大半年假的我如今开学了,说实话在屋里呆久了还不太愿意来学校。待了两天了,还是觉得屋里安逸,舍不得离开。不过来了学校自己不会像在家里那么懒惰了,每天打卡鞭策自己努力前行,早日达到毕业条件。言归正传下面开始描述问题: 本人平时比较喜欢玩王者荣耀,最近玩韩信比较多,打野飕飕的,虽然很坑,就想买一个韩信街头霸王的皮肤。 但是在购买点券的过程中发现这样一个问题我竟然不能够随心所欲的购买点券数量,只能按照腾讯规定的数量...

2020-09-09 20:18:40 6385

原创 Java List.addAll()方法:添加所有元素到列表中

Java List.addAll()方法:添加所有元素到列表中Java 集合类的 List.addAll() 方法用于将指定 collection 中的所有元素添加到列表。语法1用于将指定 collection 中的所有元素添加到列表的尾部。如果 List 集合对象由于调用 addAll 方法而发生更改,则返回 true。addAll(Collection<?extends E>c)参数说明:c:用于指定要将全部元素添加到列表中的 collection。示例本示例使

2020-09-03 17:07:33 26669

原创 Java List.add()方法:向集合列表中添加对象

Java List.add()方法:向集合列表中添加对象Java 集合类中的 List.add() 方法用于向集合列表中添加对象。语法1用于在列表的尾部插入指定元素。如果 List 集合对象由于调用 add 方法而发生更改,则返回 true;否则返回 false。 add(E e)参数说明:e:要添加到列表中的元素。示例本示例使用 List 接口的实现类 ArrayList 初始化一个列表对象,然后调用 add 方法向该列表中添加数据。 public static&nb

2020-09-02 22:25:39 23164

转载 最新Spring整合MyBatis详解教程

作者:Baret H ~地址:http://i8n.cn/e4aXqM 首先新建一个空的maven项目1、导入相关jar包1. junit<dependency>    <groupId>junit</groupId>    <artifactId>junit</artifactId>    <ver...

2020-09-01 23:22:59 4304

转载 int 和 integer :装箱和拆包的过程,会用到什么方法,你觉得这个会对性能有影响吗,原因是什么(百度一面)

参考:https://www.cnblogs.com/cn-chy-com/p/10816565.html自动拆装箱(int,Integer)1、包装类型Java语言是一个面向对象的语言,但是Java中的基本数据类型却是不面向对象的,这在实际使用时存在很多的不便,为了解决这个不足,在设计类时为每个基本数据类型设计了一个对应的类进行代表,这样八个和基本数据类型对应的类统称为包装类(Wrapper Class)。包装类均位于java.lang包,包装类和基本数据类型的对应关系如下表所示在这八个类名..

2020-08-31 01:16:14 10271

原创 Java基本数据类型和引用类型的区别

背景新语言Kotlin已经抛弃了Java里的基本数据类型,而是采用引用类型去声明一个变量,那么怎么区分基本数据类型和引用类型呢?文字概念基本数据类型:byte、short、int、long、float、double、char、boolean引用类型:类(class)、接口(interface)、数组(array)基本类型保存的值,引用类型保存了是对象的地址,所有基本类型赋值是按值传递(拷贝赋值),引用类型赋值是按引用传递。图与代码解析参考:知乎作者:Intopass一:搞清楚 基本类型 和 引用

2020-08-27 23:30:52 5643 2

转载 (建议收藏)Java基础知识笔记(详细)

1.集成开发环境IDEA是一个专门针对Java的集成开发工具(IDE),由Java语言编写。所以,需要有JRE运行环境并配置好环境变量。它可以极大地提升我们的开发效率。可以自动编译,检查错误。2.创建项目创建项目-创建模块-创建包-创建类(1)创建一个工程(2)jdk版本我这里是1.7的(3)我命名为java_Web(4)创建一个Module我命名为day01(5)创建包和类...

2020-08-27 14:59:34 10410

原创 Hadoop序列化

1 序列化概述1.1 什么是序列化序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储到磁盘(持久化)和网络传输。反序列化就是将收到字节序列(或其他数据传输协议)或者是磁盘的持久化数据,转换成内存中的对象。1.2 为什么要序列化一般来说,“活的”对象只生存在内存里,关机断电就没有了。而且“活的”对象只能由本地的进程使用,不能被发送到网络上的另外一台计算机。 然而序列化可以存储“活的”对象,可以将“活的”对象发送到远程计算机。1.3 为什么不用Java的序列化Java的序列化

2020-08-18 17:46:25 4603

原创 WordCount案例实操

1.需求在给定的文本文件中统计输出每一个单词出现的总次数(1)输入数据(2)期望输出数据1lin 1shi 2wo 2xiang 1xinyue 22.需求分析按照MapReduce编程规范,分别编写Mapper,Reducer,Driver,如图所示。3.环境准备(1)创建maven工程(2)在pom.xml文件中添加如下依赖<dependencies> <dependency> <groupId>junit<

2020-08-18 01:54:43 5397

原创 快照管理

1. 快照相当于对目录做一个备份。并不会立即复制所有文件,而是记录文件变化。(1)hdfs dfsadmin -allowSnapshot 路径 (功能描述:开启指定目录的快照功能)(2)hdfs dfsadmin -disallowSnapshot 路径 (功能描述:禁用指定目录的快照功能,默认是禁用)(3)hdfs dfs -createSnapshot 路径 (功能描述:对目录创建快照)(4)hdfs dfs -createSnapshot 路径 名称 (功能描

2020-08-17 17:59:14 4700

原创 回收站

开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。1.回收站参数设置及工作机制一、开启回收站功能参数说明:1、默认值fs.trash.interval=0,0表示禁用回收站;其他值表示设置文件的存活时间。2、默认值fs.trash.checkpoint.interval=0,检查回收站的间隔时间。如果该值为0,则该值设置和fs.trash.interval的参数值相等。3、要求fs.trash.checkpoint.interval<=fs.trash

2020-08-17 17:05:18 4450

原创 小文件存档

1、HDFS存储小文件弊端每个文件均按块存储,每个块的元数据存储在NameNode的内存中,因此HDFS存储小文件会非常低效。因为大量的小文件会耗尽NameNode中的大部分内存。但注意,存储小文件所需要的磁盘容量和数据块的大小无关。例如,一个1MB的文件设置为128MB的块存储,实际使用的是1MB的磁盘空间,而不是128MB。2、解决存储小文件办法之一HDFS存档文件或HAR文件,是一个更高效的文件存档工具,它将文件存入HDFS块,在减少NameNode内存使用的同时,允许对文件进行透明的访问。具体

2020-08-17 16:07:20 9928

原创 集群间数据拷贝

1.scp实现两个远程主机之间的文件复制scp -r hello.txt root@hadoop103:/user/atguigu/hello.txt // 推 pushscp -r root@hadoop103:/user/atguigu/hello.txt hello.txt // 拉 pullscp -r root@hadoop103:/user/atguigu/hello.txt root@hadoop104:/user/atguigu //是通过本地主机中转实现两个远程主机的文件复

2020-08-17 15:42:30 4573

原创 怎么查看占 cpu 最多的线程(美团java一面)

前言:某些线上服务,一段时间之内占用CPU特别高,如何确认这是否属于正常情况还是代码中出现了异常导致占用CPU特高呢?如何定位确认是哪个线程导致的?如何确认下是哪部分代码导致的CPU使用率偏高呢?当然CPU使用高,并不一定意味着是有问题的,下面的方法仅用于排插问题的时候使用,例子也仅作为参考。(PS下面最终查询出来的具体代码使用CPU高是正常情况,这个需根据具体的业务场景去确认)1. 使用top命令确认是哪个进程占用CPU高。[hadoop@hadoop102 ~]$ top如下图,我们发现P.

2020-08-17 15:30:06 4578

原创 Datanode多目录配置

参考尚硅谷hadoop 教程链接:http://i8n.cn/U4sxdjDataNode也可以配置成多个目录,每个目录存储的数据不一样。即:数据不是副本2.具体配置如下hdfs-site.xml<property> <name>dfs.datanode.data.dir</name><value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/df.

2020-08-17 00:19:11 4702

原创 退役旧数据节点

参考尚硅谷hadoop 教程链接:http://i8n.cn/U4sxdj添加白名单添加到白名单的主机节点,都允许访问NameNode,不在白名单的主机节点,都会被退出。配置白名单的具体步骤如下:(1)在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件[hadoop@hadoop102 hadoop]$ pwd/opt/module/hadoop-2.7.2/etc/hadoop[atghadoopigu@hado.

2020-08-17 00:12:51 4234

原创 服役新数据节点

参考尚硅谷hadoop 教程链接:http://i8n.cn/U4sxdj需求随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。环境准备(1)在hadoop104主机上再克隆一台hadoop105主机(2)修改IP地址和主机名称(3)删除原来HDFS文件系统留存的文件(/opt/module/hadoop-2.7.2/data和log)服役新节点具体步骤(1)直接启动DataNode,即可关联到集群.

2020-08-17 00:05:21 4260

原创 DataNode工作机制

参考尚硅谷hadoop 教程链接:http://i8n.cn/U4sxdjDataNode工作机制,如图所示。1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。2)DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。3)心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器,或删除某个数据块。如果.

2020-08-16 21:26:42 4315

原创 集群安全模式

概述1、NameNode启动NameNode启动时,首先将镜像文件(Fsimage)载入内存,并执行编辑日志(Edits)中的各项操作。一旦在内存中成功建立文件系统元数据的映像,则创建一个新的Fsimage文件和一个空的编辑日志。此时,NameNode开始监听DataNode请求。这个过程期间,NameNode一直运行在安全模式,即NameNode的文件系统对于客户端来说是只读的。2、DataNode启动系统中的数据块的位置并不是由NameNode维护的,而是以块列表的形式存储在DataNode.

2020-08-16 18:12:59 4500

原创 NameNode故障处理

NameNode故障后,可以采用如下两种方法恢复数据。方法一:将SecondaryNameNode中数据拷贝到NameNode存储数据的目录;kill -9 NameNode 进程[hadoop@hadoop102 hadoop-2.7.2]$ kill -9 11772删除NameNode存储的数据(/opt/module/hadoop-2.7.2/data/tmp/dfs/name)[hadoop@hadoop102 hadoop-2.7.2]$ rm -rf /opt/modu

2020-08-16 17:30:25 4472

原创 CheckPoint时间设置

参考尚硅谷hadoop 教程链接:http://i8n.cn/U4sxdjCheckPoint时间设置(1)通常情况下,SecondaryNameNode每隔一小时执行一次。 [hdfs-default.xml]<property> <name>dfs.namenode.checkpoint.period</name> <value>3600</value></property>(2)一分钟检查一次操作次数,.

2020-08-16 16:34:54 4527

原创 Fsimage和Edits解析

参考尚硅谷hadoop 教程链接:http://i8n.cn/U4sxdj概念NameNode被格式化之后,将在/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current目录中产生如下文件fsimage_0000000000000000000fsimage_0000000000000000000.md5seen_txidVERSION(1)Fsimage文件:HDFS文件系统元数据的一个永久性的检查点,其中包含HDFS文件系统的所有目录和.

2020-08-16 16:20:29 4542

原创 NameNode和Secondary NameNode工作机制

参考尚硅谷hadoop 教程链接:http://i8n.cn/U4sxdj思考:NameNode中的元数据是存储在哪里的?首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新FsImage,就会导致效率过低,但如果不更新,就会发生一致.

2020-08-16 15:34:29 4235

原创 5.6 NameNode多目录配置

NameNode的本地目录可以配置成多个,且每个目录存放内容相同,增加了可靠性具体配置如下(1)在hdfs-site.xml文件中增加如下内容<property> <name>dfs.namenode.name.dir</name><value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2</value></property.

2020-08-16 15:05:54 4230

原创 大数据技术之Hadoop(HDFS)第1章 HDFS概述

1 HDFS产出背景及定义1.1 HDFS产生背景随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。1.2 HDFS定义HDFS (Hadoop Distributed File System),它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。H

2020-08-14 14:35:47 4300

原创 介绍一下java的基本类型; 每种数据类型的位数(答错了,太菜了)

话说干了这么多年的开发,只知道会用,怎么用,用什么,隐约也知道了为什么用,但为啥JAVA总像一个犹抱琵琶半遮面的女子,总让人看不透,看不腻?因该就是基础不扎实了。

2020-08-14 00:57:08 4847 1

原创 HDFS的I/O流操作

上面我们学的API操作HDFS系统都是框架封装好的。那么如果我们想自己实现上述API的操作该怎么实现呢?我们可以采用IO流的方式实现数据的上传和下载。1 HDFS文件上传1.需求:把本地d盘上的xiaoyue.txt文件上传到HDFS根目录2.编写代码//需求:把本地d盘上的xiaoyue.txt文件上传到HDFS根目录@Testpublic void putFileToHDFS() throws URISyntaxException, IOException, InterruptedExce

2020-08-12 16:32:55 4352

原创 HDFS的API操作

HDFS文件上传(测试参数优先级)1.编写源代码//1.文件上传 @Test public void testCopyFromLocalFile() throws URISyntaxException, IOException, InterruptedException { //1.获取fs对象 Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(

2020-08-12 16:31:51 4737

_微软常用运行库合集_2019.07.20_X64.zip

 微软常用运行库合集是采用microsoft visual studio 20xx编写的软件必须使用的公用dll运行库,是目前为止最全最新的运行库集合,相当于程序的字典文件。 某些网上和论坛的部分精简软件没有附带这些公用dll,所以安装这些运行库是系统安装后第一件要做的事情。所有的安装文件全部来自微软官方网站,且为最新数字签名版本。

2020-04-18

泰坦数据.zip泰坦尼克号

影响乘客生还的因素很多,这里只对乘客的性别、年龄、乘客等级、这三个因素感兴趣, 看看这四个因素是否会影响乘客的生还率。 1.性别是否会影响生还率 2.年龄是否会影响生还率 3.乘客等级会否会影响乘客率 4.性别和舱位共同对生还率的影响 5.年纪和性别共同对生还率的影响 6.年纪和等级共同对生还率的影响 这里。乘客的性别、年龄、等级、是三个自变量,生还率是因变量

2020-04-17

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除