2 Waterkong

尚未进行身份认证

https://kongdada.github.io/

等级
博文 42
排名 9w+

shell中嵌入SQL查询

个人博客https://kongdada.github.io/这两天在做一个hadoop升级的事情。分配到我的任务就是在新的集群测试项目中的脚本,保证能够在新集群跑得通,并产生正确的数据。那么数据正不正确怎么个比较法呢,因为暂时是新旧集群一起运行此项目,项目最后产出的数据量也不大,十万过一点,四五个文件。干脆down下来用beyondCompare这个软件比较一下算了。但在down下来的过程...

2019-01-22 20:31:34

在RedHat5.8上安装jira

个人博客https://kongdada.github.io/在某个抓耳挠腮写不出代码的傍晚,老大那个时常是灰色的头像开始疯狂跳动,正好处于转正前夕。我有点紧张了,点开了对话框。“XX,下周你看一下JIRA,搭建个平台出来,如果需要Linux机器的话,找我要一下。”“想了想,打了好几个字,然后删除,在对话框输入’好的‘,Enter”言归正传,聊一下怎么搭建这个平台,分享一些我的低级失误,...

2019-01-22 20:30:55

Hadoop Streamig 和 Hadoop Distcp的简单介绍

个人博客https://kongdada.github.io/今天总结一下经手的一个项目中用到的Hadoop工具;距离上一篇文章不知不觉快4个月过去了,期间经历了毕业,入职这些事儿。一直想写个求职总结,错过了当初那份激情,现在已经有点淡忘那种真真切切的朝不保夕的感受。看后来有没有心情在更吧。我毕设也挺好玩,挺简单的一个东西,有时间也可以写写。这都是后话。HadoopStreaming...

2019-01-22 20:29:55

在Spring中创建切面,使用AspectJ

个人博客https://kongdada.github.io/看了网上一些AspectJ的例子,大多一塌糊涂。说完这句话有点慌张,如果后续在学习中发现是我错了,再来打脸也不迟。说说我的理解,目前我所学习到的实现AOP(切面)的方式大致可以分为两类,SpringAOP与AspectJ.关于SpringAOP的实现前两篇文章已经写过小例子了,欢迎查看。这篇用AspectJ实现AOP的小例子。代码...

2019-01-22 20:29:18

在Spring中创建切面,通过切面引入新功能-使用配置XML

个人博客https://kongdada.github.io/上一篇博客中记录了使用Java注解方式开发一个切面的小例子,这一篇记录使用XML配置的方式开发一个切面的例子,同时也完成通过配置XML新增功能。实现切面定义特定的方法首先定一个接口packageaopXML;publicinterfacePerformance{voidperform();}...

2019-01-22 20:27:37

在Spring中创建切面,通过切面引入新功能-使用JAVA注解方式

个人博客https://kongdada.github.io/最近在看《Spring实战》,在这儿使用注解完整的实现一个切面的例子,也实现通过注解引入新功能;实现切面关于切面相关概念这篇不提,可以大致理解成,只要调用某个特定的方法,这个调用信息会被切面拦截,然后执行切面定义的逻辑,之后才能顺利的调用该方法。我这个是一个maven项目所有代码写在同一个包下面,测试类除外。关于切面...

2019-01-22 20:26:38

mapreduce进程ruduce端内存溢出,解决方法和探索

个人博客https://kongdada.github.io/昨天碰到一个pig任务执行过程中发生了内存溢出。写点文字记录一下解决过程,顺便整理一下自己的思路。一错误信息2018-08-1505:20:24,102[main]INFOorg.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLa...

2019-01-22 20:25:29

HbaseImportTSV

个人博客https://kongdada.github.io/这个也是最近经手的一个项目中涉及到的一个可以将HDFS上的数据直接导入HBASE表中的命令行工具。这个属于HBASE所以与上一篇Hadoop中的工具分开来写。HbaseimportTsv概述和使用步骤:ImportTsv是Hbase提供的一个命令行工具,可以将存储在HDFS上的自定义分隔符(默认\t)的数据文件,通过一条命...

2019-01-22 20:24:16

一点资讯技术面总结

个人博客地址https://kongdada.github.io/感谢一点资讯给的面试机会;以前文章提到过的不在赘述,记录新的知识点。LinuxLinux命令用法查询网站:Clicktojumpwcwc统计文件里面有多少单词,多少行,多少字符。语法:[root@www~]#wc[-lwm]选项与参数:-l:仅列出行;-w:仅列出多少字(英文单字);-m...

2019-01-22 14:56:33

校招vivo技术面试总结

稀里糊涂过了笔试,很幸运的得到了面试机会,背着我的小书包,挤着地铁就去了西土城面试;自我介绍这部分就不多说了,我说的也不好,大致介绍了一下个人的基本情况;数据结构给100W个区间,不重叠。给出一个数N,求这个数在那个区间。空间复杂度要求我看到了,但估计我太菜了,人家没问;给出想法:把所有区间的右边界,用一个数组存起来;给数组排序;二分查找,找到最后一个区间,返回...

2018-03-30 11:31:03

Get与Post的区别

先说结论:他们的本质区别在语义上,Get是获取资源,Post是处理资源。由此延伸出来的区别就是:Get是安全的,幂等的,可缓存的。Post不安全的,不幂等的,不可缓存的。安全的:是指他不对服务器资源做任何修改,是一个只读请求,对服务器来说这个请求就是安全的。幂等的:执行一次和多次,效果相同,不对服务器上资源做修改。可缓存:这个我不知道怎么解释。至此Get与Post的区别就完了。

2017-12-08 14:37:16

从Hive导出数据到Oracle数据库--Sqoop

始发与个人博客:https://kongdada.github.io/实习老大让我把Hive中的数据导入Oracle数据库。摸索成功后记录如下:首先解释一下各行代码:sqoopexport#指定要导入到Oracle的那张表(通常与hive中的表同名)--tableTABLE_NAME#host_ip:导入oracle库所在的ip:导入的数据库--connec...

2017-12-04 13:28:37

Hive常用命令

始发与:https://kongdada.github.io/Hive常见命令显示所有数据库showdatabases;指定使用某个数据库usedatabase_name;显示所有表showtables;查询表结构desctable_name;显示表的详细信息describeextendedtable_name;显示分区信息showpartition

2017-12-04 13:18:15

hexo+github搭建博客过程

个人理解:简单说一下个人对搭建理解:-github相当于是服务器-hexo替生成漂亮的页面-通过hexo命令将生成的页面部署(就是上传)到github,github替你将这些页面保存起来。有人访问你的博客,github就自己发给他。搭建过程:博客搭建详细教程:神秘链接next主题配置教程:神秘链接搭建过程有上面两个教程就足够了,但是也不妨看看文档。Hexo文档:

2017-12-04 13:15:49

hadoop2.8.0 安装与环境搭建

详细教程这儿有篇宝典,简单有效,相见恨晚:点击打开宝典安装SSH,配置SSH的无密码登录。记得先更新一下APT:sudoapt-getupdate安装个Vim:sudoapt-getinstallvim安装SSH服务:sudoapt-getinstallopenssh-server安装后登陆一下本机:sshlocalhost这时候是需要密码的,然后退出准备配置

2017-12-04 13:10:27

Markdown

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗Ctrl+B斜体Ctrl+I引用Ctrl

2017-11-29 17:32:07

栈的应用,括号匹配,后缀表达式计算,有趣的汉诺塔--python实现

三个例子很简单,都来自数据结构课本上的例子。但简单才好玩嘛。第一个:括号匹配,就是找左括号有没有相匹配的右括号,反之亦然。代码:#-*-coding:utf-8-*-#栈的应用:括号匹配defMatchPairs(str): arr=list(s) stack=[] forxinrange(0,len(arr)): ifarr[x]=="(

2017-10-04 17:12:13

丑数--python实现

笔试的时候遇到这个题,当时没做出来。参考资料:大佬传送门,传送门二。题目:我们把只包含因子2、3和5的数称作丑数(UglyNumber)。例如6、8都是丑数,但14不是,因为它包含因子7。习惯上我们把1当做是第一个丑数。求按从小到大的顺序的第1500个丑数方法一:简单粗暴,分解每一个数,看他的因数是不是只有2,3,5。代码:importtimedeffindugl

2017-10-03 14:08:57

线性筛选素数--python

首先知道:合数一定可以分解为几个素数的积,既然是几个素数,就一定有最小的一个。我们将这个最小素数因子叫最小素因子,          那么是我们可以知道任何一个合数都有唯一的一个最小素因子。我们要做的事就是用素因子筛选出其对应的合数,         然后 标注为合数。筛选出所有的合数,那么剩下的当然是素数。代码如下:#-*-coding:ut

2017-09-29 15:40:59

python3 一些经常使用的数据结构和内置方法。

(一)输出print(a,b,c,sep="$",end="*") #参数sep指定输出分隔符,参数end指定输出结尾,默认是换行。(二)数字int('111',n)  #按照n进制将一个字符串转换为整数。默认十进制。bin()  #转换为二进制oct()  #转换为八进制hex() #转换为十六进制complex(实部,虚部)

2017-09-16 14:58:56
奖章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!