2 蓝色小飞鸟

尚未进行身份认证

暂无相关简介

等级
TA的排名 9w+

找工作。。。。

2019年6月毕业本科学校:河南科技学院专业:信息管理与信息系统,计算机科学与技术(双学位)期望职位:Java或者大数据(实习生)薪资:温饱。。。城市:郑州(目前就在这边住,优先考虑)、北京、上海、杭州证书:二级Java、Office、软考程序员掌握技能:Java技能 :1.熟悉Java基础,深刻理解面向对象思想以及具有良好的编码习惯。2.了解并使用Ja...

2019-02-19 10:05:30

hive中的lateral view 与 explode函数的使用

https://blog.csdn.net/guodong2k/article/details/79459282

2019-01-21 15:13:33

MySQL教程之concat、concat_ws、group_concat的用法

Hive中的用法和此相同:https://baijiahao.baidu.com/s?id=1595349117525189591&wfr=spider&for=pc

2019-01-21 14:47:41

阿里云1G服务器玩转Spark——Swap与Memory

博主前一段时间买了1G的阿里云服务器,然后各种折腾下,Hadoop相关生态圈基本给搭建完毕,但用到Spark时候却遇到了重大问题,进程启动一切正常,但进入spark shell客户端时候一直报OOM,到这怎么办?难道升级阿里云服务器的内存,但看了看价格,还是算了。。。办法还是人想出来的,终于经过一番艰难的寻找,终于找到了让我给找到了,下面就是今天准备给大家介绍的主人公:Swap与Memor...

2019-01-18 15:19:59

zookeeper客户端管理命令总结

本着不要重复造轮子的态度,分享一个详细链接:https://www.cnblogs.com/chengxuyuanzhilu/p/6698059.html

2019-01-05 09:45:08

mysql中关于批量插入数据(1万、10万、100万、1000万、1亿级别的数据)二

硬件:windows7+8G内存+i3-4170处理器+4核CPU关于前天写的批量插入数据,还有一种方式,就是通过预先写入文本文件,然后通过mysql的loadinfile命令导入到数据库,今天把这种方式也说一下,首先是main方法调用:解释一下为什么要两个参数:第一个参数是写入几次第二个参数是一次写入多少条,直观来说就是StringBuffer中存储多少条记录(目的为了测试S...

2019-01-04 22:35:00

Lock和synchronized的区别和使用

分享一个很详细的链接:https://www.cnblogs.com/baizhanshi/p/6419268.html

2019-01-03 20:06:48

mysql中关于批量插入数据(1万、10万、100万、1000万、1亿级别的数据)

硬件:windows7+8G内存+i3-4170处理器+4核CPU首先贴上数据库的操作类BaseDao:importjava.sql.Connection;importjava.sql.DriverManager;importjava.sql.PreparedStatement;importjava.sql.ResultSet;importjava.sql.SQLExc...

2019-01-02 19:51:25

Spark Streaming性能调优详解(转)

原文链接:Spark Streaming性能调优详解 Spark Streaming提供了高效便捷的流式处理模式,但是在有些场景下,使用默认的配置达不到最优,甚至无法实时处理来自外部的数据,这时候我们就需要对默认的配置进行相关的修改。由于现实中场景和数据量不一样,所以我们无法设置一些通用的配置(要不然Spark Streaming开发者就不会弄那么多参数,直接写死不得了),我们需要根据数据量,...

2018-12-28 15:46:13

Redis的工具类

import redis.clients.jedis.Jedis;import redis.clients.jedis.JedisPool;import redis.clients.jedis.JedisPoolConfig;import java.io.Serializable;/** * Created by lk on 2018/12/27. */public class...

2018-12-28 09:35:14

scala练习题--Scala基础

1、在Scala REPL中,计算3的平方根,然后再对该值求平方。现在,这个结果与3相差多少? scala> scala.math.sqrt(3)  warning: there were 1 deprecation warnings; re-run with -deprecation for details  res5: Double = 1.7320508075688772...

2018-12-27 09:15:53

scala之集合上常见的函数式风格

"过滤"相关的操作:flter:设定一个判定结果为布尔型的过滤条件,应用到集合的每一个元素上,返回的是集合里所有满足条件的元素构成的一个子集。partition:filter类型操作的一个变种,同样是设定一个判定结果为布尔型的过滤条件,应用到集合的每一个元素上,返回的是第二个元素的Tuple,第一个元素是所有满足条件的元素构成的一个集合,第二个元素是所有不满足条件的元素构成的一个...

2018-12-27 09:07:52

scala中:: , +:, :+ , ::: , ++ 的区别

4种操作符的区别和联系:: 该方法被称为cons,意为构造,向队列的头部追加数据,创造新的列表。用法为 x::list,其中x为加入到头部的元素,无论x是列表与否,它都只将成为新生成列表的第一个元素,也就是说新生成的列表长度为list的长度+1(btw, x::list等价于list.::(x)) :+和+: 两者的区别在于:+方法用于在尾部追加元素,+:方法用于在头部追加元素,和::很类似...

2018-12-27 09:04:07

HBase读数据和写数据流程

Hbase架构图镇楼:HBase读数据的流程:HRegionServer保存着meta表以及表数据,要访问表数据,首先Client先去访问zookeeper,从zookeeper里面获取meta表所在的位置信息,即找到这个meta表在哪个HRegionServer上保存着。 接着Client通过刚才获取到的HRegionServer的IP来访问Meta表所在的HRegionSer...

2018-12-17 15:50:36

Sqoop常用命令及参数

https://blog.csdn.net/liangzelei/article/details/80305988

2018-12-12 15:08:48

Hadoop hive里的视图

原文链接:https://www.cnblogs.com/zlslch/p/6105243.html可以先,从MySQL里的视图概念理解入手        视图是由从数据库的基本表中选取出来的数据组成的逻辑窗口,与基本表不同,它是一个虚表。在数据库中,存放的只是视图的定义,而不存放视图包含的数据项,这些项目仍然存放在原来的基本表结构中。        视图可以被定义为多个表的连接,也可...

2018-12-12 10:52:05

利用分析函数over()--去重数据

提出问题:假如有10条记录,从业务上理解是重复的,只有一个系统自动生成的id号是不同的,怎么去重只剩下一条?业务背景:三张数据表 A B C其中 A表是最大的表,包含 B和C中的数据(部分或全部);同时,B和C之间也可能存在部分重复的数据。实现:需要写一个SQL,查询A B C三张表中的数据,要求是:            1、如果A B C三张表中都有的数据,那么只显示A表中的那...

2018-12-11 19:52:18

Hadoop 设置任务执行的队列以及优先级

作业提交到的队列:mapreduce.job.queuename作业优先级:mapreduce.job.priority优先级默认有5个:low very_low norman(默认) high very_highPig版本:SET mapreduce.job.queuename root.etl.distcp;SET mapreduce.job.priority HIGH;...

2018-12-10 22:05:23

Hadoop参数汇总(各配置文件中参数代表的含义)

https://www.cnblogs.com/shijiaoyun/p/5808052.html

2018-12-08 10:17:27

Hadoop之HDFS基本概念

https://blog.csdn.net/weixin_35353187/article/details/82047892  

2018-12-08 09:39:13

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!