- 博客(36)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Leet Code OJ 8. String to Integer (atoi) [Difficulty: Easy]
题目： Implement atoi to convert a string to an integer.Hint: Carefully consider all possible input cases. If you want a challenge, please do not see below and ask yourself what are the possible input...
2019-02-12 17:33:32
187
原创 Leet Code OJ 1. Two Sum [Difficulty: Easy]
题目： Given an array of integers, return indices of the two numbers such that they add up to a specific target.You may assume that each input would have exactly one solution.Example: Given nums = ...
2019-02-12 15:18:48
167
原创 LeetCode刷题指南
个人做题过程中的一些体会： 1. LeetCode的题库越来越大，对于大多数人来说，没有时间也没有必要把所有题目都做一遍。刷个100题左右应该就差不多了，可以考虑序号为前100多的题目，相对更经典一点。 2. 从AC率高的开始做，难度从简单到中等，先不要做困难的。 3. 尽量不使用IDE，直接在sublime上写代码。 4. 写好代码先不要提交，人工检查一下代码，比如分号是否都有写，ret...
2019-02-12 15:16:06
438
原创 Hive刷分区MSCK
一、介绍我们平时通常是通过alter table add partition方式增加Hive的分区的，但有时候会通过HDFS put/cp命令往表目录下拷贝分区目录，如果目录多，需要执行多条alter语句，非常麻烦。Hive提供了一个"Recover Partition"的功能。具体语法如下： MSCK REPAIR TABLE table_name;原理相当简单，执行后，Hi...
2019-01-08 16:43:49
3799
原创 java 静态代码块和spring @value注解注入执行顺序
java static 静态代码块是最先执行的，然后再是spring 相关注入。静态代码块先加载，项目启动就会报错。我们怎么给静态变量注入，并在静态代码中使用呢？参数配置：application.propertiessc.crm.upDirPath=注入：spring boot 的任意组件都能使用，这里声明了一个简单组件 @Component,该注解通常用来定义一些需要配置的常量或...
2019-01-07 15:30:26
10331
4
原创 java面试题精简版
一、单例模式1. 什么是单例模式因程序需要，有时我们只需要某个类同时保留一个对象，不希望有更多对象，此时，我们则应考虑单例模式的设计。2. 单例模式的特点1. 单例模式只能有一个实例。2. 单例类必须创建自己的唯一实例。3. 单例类必须向其他对象提供这一实例。3. 单例模式VS静态类在知道了什么是单例模式后，我想你一定会想到静态类，“既然只使用一个对象，为何不干脆使用静态类？”，这里我会将单例模式...
2018-07-05 14:13:48
358
转载 java HashMap
摘要HashMap是Java程序员使用频率最高的用于映射(键值对)处理的数据类型。随着JDK（Java Developmet Kit）版本的更新，JDK1.8对HashMap底层的实现进行了优化，例如引入红黑树的数据结构和扩容的优化等。本文结合JDK1.7和JDK1.8的区别，深入探讨HashMap的结构实现和功能原理。简介Java为数据结构中的映射定义了一个接口java.util.Map，此接口...
2018-07-04 11:27:00
270
原创 java合并文件
java Io 将n个文件和并问题import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.File
2015-03-06 18:28:30
729
转载 Spring10种常见异常解决方法
在程序员生涯当中，提到最多的应该就是SSH三大框架了。作为第一大框架的Spring框架，我们经常使用。然而在使用过程中，遇到过很多的常见异常，我在这里总结一下，大家共勉。一、找不到配置文件的异常[plain] view plaincopyorg.springframework.beans.factory.BeanDefinitionStoreExceptio
2015-02-28 14:54:41
119026
8
原创 tomcat部署java web项目的过程
一.安装JDK到http://www.oracle.com/technetwork/java/javase/downloads/index.html下载JavaSE 6 Update 27根据操作系统选择Linux x64 - RPM Installer或Linux x86 - RPM Installer下载jdk-6u27-linux-x64-rpm.bin后放在/home目录中，当
2015-02-10 17:44:06
7963
转载 Hive - hive.groupby.skewindata环境变量与负载均衡
HiveQL 去重操作和SQL一样，HiveQL中同样支持DISTINCT操作，如下示例：(1) SELECT count(DISTINCT uid) FROM log(2) SELECT ip, count(DISTINCT uid) FROM log GROUP BY ip(3) SELECT ip, count(DISTINCT uid, uname) FROMlog G
2013-12-24 11:45:59
9780
转载 基于HIVE文件格式的map reduce代码编写
我们的数据绝大多数都是在HIVE上，对HIVE的SEQUENCEFILE和RCFILE的存储格式都有利用，为了满足HIVE的数据开放，hive client的方式就比较单一，直接访问HIVE生成的HDFS数据也是一种必要途径，所以本文整理测试了如何编写基于TEXTFILE、SEQUENCEFILE、RCFILE的数据的map reduce的代码。以wordcount的逻辑展示3种MR的代码。
2013-12-23 16:08:11
841
转载 hadoop作业调优参数整理及原理
文章出处：http://www.alidata.org/archives/14701 Map side tuning参数1.1 MapTask运行内部原理当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map的性
2013-12-09 13:22:27
722
原创 传递参数到mapreduce中
今天写MapReduce程序遇到一些问题，就是需要生成一个参数并将这个参数的值传递给MapReduce函数，但是不知道如何实现，于是找到了一些参考网站成功实现了，关键点就在于Configuration参数设置于获取以及我的实现是基于新的MapReduce的api实现的。Configuration conf = ServerConfig.getConfiguration();
2013-12-09 12:29:47
7099
原创 mapreduce排序和二次排序以及全排序
自己学习排序和二次排序的知识整理如下。1.Hadoop的序列化格式介绍:Writable2.Hadoop的key排序逻辑3.全排序4.如何自定义自己的Writable类型5.如何实现二次排序1.Hadoop的序列化格式介绍:Writable要了解和编写MR实现排序必须要知道的第一个知识点就是Writable相关的接口和类，这些是HADOOP自己的序列
2013-12-05 12:02:04
17170
1
原创 hive job配置和mapreduce数目控制
开启动态分区：hive.exec.dynamic.partition=true默认值：false描述：是否允许动态分区hive.exec.dynamic.partition.mode=nonstrict默认值：strict描述：strict是避免全分区字段是动态的，必须有至少一个分区字段是指定有值的。读取表的时候可以不指定分区。设置如下参数配置动态分区的使用环境：
2013-11-26 11:19:08
7564
原创 hive merge file
当Hive输入由很多个小文件组成，由于每个小文件都会启动一个map任务，如果文件过小，以至于map任务启动和初始化的时间大于逻辑处理的时间，会造成资源浪费，甚至OOM。为此，当我们启动一个任务，发现输入数据量小但任务数量多时，需要注意在Map前端进行输入合并当然，在我们向一个表写数据时，也需要注意输出文件大小1. Map输入合并小文件对应参数：set mapred.max.
2013-11-26 11:17:37
1068
原创 mapreduce实现对key的排序
最近在学习MapReduce编程遇到很多用MR实现按某一列值排序，或二次排序的类似问题，于是试着用MR实现各种排序问题，最终有点小总结：无需在key对象之外写任何排序函数，MR会完成按key值排序，具体详解如下： 在这之前要先说一下WritableComparable接口。Writable接口大家可能都知道，它是一个实现了序列化协议的序列化对象。在Hadoop中定义一个结构化对象都要实现Wr
2013-11-08 14:38:48
5301
原创 mapreduce实现多文件自定义输出
本人在项目中遇到一个问题，就是在处理日志的时候，需要有多个key，比如一行日志是 domain sip minf h b而我处理的时候需要map输出为 key：domain+minf value h+"|"+b 和key：sip+minf value h+"|"+b，而且还要做逻辑运算，比如相同的key的value要做累加，普通的mr通常情况下，计算结果会以part-000*输出成多个
2013-11-08 14:30:12
7382
原创 Hbase counter
本文是本人在做项目中有一个需求，就是日志分析各字段，我是定时去分析日志，需要记录每个域名+时间戳的hits和bits，但是有一个问题处理起来比较头疼，那就是有的日志会有延迟，比如12点去跑11点的日志，但是发现11点的日志中有10点的日志，所以每次都是先去取出来 ，若存在，则累加，再放入，这效率太低了，之后发现counter正好可以完成该使用场景，即：read+count+write，正好完成，就
2013-11-08 13:51:54
5014
1
原创 mapreduce如何调用第三方jar包
MapReduce程式调用第三方包：我在使用过程中需要用到hbase的jar包，若要使用，常规是添加到每台机器的classpath中，但是通过DistributeCache，在初始化前加入就ok了。解决方法介绍：我们知道，在Hadoop中有一个叫做DistributedCache的东东，它是用来分发应用特定的只读文件和一个jar包的，以供Map-Reduce框架在启动任务和运行的时候使
2013-11-08 13:13:18
6871
1
原创 hive查询优化总结
一、join优化Join查找操作的基本原则：应该将条目少的表/子查询放在 Join 操作符的左边。原因是在 Join 操作的 Reduce 阶段，位于 Join 操作符左边的表的内容会被加载进内存，将条目少的表放在左边，可以有效减少发生内存溢出错误的几率。Join查找操作中如果存在多个join，且所有参与join的表中其参与join的key都相同，则会将所有的join合并到一个mapred
2012-12-04 20:29:27
442
转载 [JAVA]定时任务之-Quartz使用篇
定时任务之-Quartz使用篇 Quartz是OpenSymphony开源组织在Job scheduling领域又一个开源项目,它可以与J2EE与J2SE应用程序相结合也可以单独使用。Quartz可以用来创建简单或为运行十个，百个，甚至是好几万个Jobs这样复杂的日程序表。Jobs可以做成标准的Java组件或 EJBs。官方网站:http://www.opensymphon
2012-12-03 21:37:18
1038
转载 ibatis的一些错误码解释以及解决方法、一些使用心得
Trackback: http://tb.blog.csdn.net/TrackBack.aspx?PostId=6412171. --- Cause: java.sql.SQLException: 无效的列类型; nested exception is com.ibatis.common.jdbc.exception.NestedSQLException: 原因:
2012-11-20 16:57:37
1424
转载 RBAC
引言：本来园子里已经有不少RBAC方面的文章了，而且自己的这个系统也参考了其中一些朋友的思想和创意，考虑是不是还有发表的必要。但感觉虽然是同样的东西，由于每个人的出发点与目标都不相同，所以做出来的东西也不会是一样的。而且有些东西，我现在只是做出了架构设计，具体实现起来会不会很合适，也不太清楚。有园子里的弟兄们给提提建议，也是一件好事。是不是发在首页，也考虑了一下，感觉这篇文章，抛开质量不说，起码从
2012-11-20 16:12:55
824
原创 jquery 打开页面window.location和window.open的区别
window.location = "http://www.xxxxxxxx.net" 跳转后有后退功能 其实应该是 window.location.hrefwindow.location.replace("http://www.xxxxxxxx.net") 跳转后没有后退功能 window.open("http://www.xxxxxxxx.net") 要新的窗口打开链接 这
2012-11-05 14:20:41
1636
原创 fusionchart参数配置
3D饼图属性(Pie3D.swf )animation 是否显示加载图表时的动画palette 内置的图表样式,共5个paletteColors 自定义图表元素颜色(为多个,如过过少会重复)showAboutMenuItem 右键是否显示"关于FusionCharts"aboutMenuItemLabel 右键关于自定义文字aboutMenuItemLink 右键关于自定义
2012-11-05 11:02:52
2635
转载 FusionCharts:横坐标标签较长时显示方式
FusionCharts:横坐标标签较长时显示方式1.wrap方式2.旋转显示3.交错显示4.每隔N个显示一个标签5.截取显示，在tooltip中全显示 1.wrap方式 2.旋转显示 45度旋转或90度旋转labelDisplay='ROTATE'来源：(http://blog.sina.com.cn/s/blog_573a052b01
2012-11-05 10:48:40
724
转载 如何让ie加载特殊的css
如果你读了这篇文章，你会觉得IE浏览器很是让人头疼。但是如果你是一名优秀的前端开发人员的话，你必须得解决这个问题,我认为你可以用很多方法去解决这个问题，当然，hack除外，如果使用了hack,那么你做的网站将变得非常的危险！因为你使用了这些hack，你将不能保证这些暂时显示正常的页面在以后的浏览器中也是正常的，其中有一种很好的方法可以解决这个问题，那就是使用IE的条件注释语句，IE条件注释语句支持
2012-11-02 20:23:01
1058
原创 强制换行 (IE,Chrome,FireFox通用)
做项目时遇到了一个问题，在firefox下可以自动换行，可是在chrome下不可以呢，在td中设置style就可以了总结了一下：{CSS設定}/*自动换行，IE,Chrome通用，FireFox连续英文不换行(遇空格换一行)*/.AutoNewline_break{word-wrap:break-word; word-break:break-all; }.A
2012-11-02 20:06:01
5887
原创 hadoop mapreduce wordcount测试用例
今天第一次完整的测试了一个mr用例，总结一下，也便于以后自己学习；1.首先要对web工程打包：1.1右键点击export，选择JAR file，然后点击next1.2 选择jar 的目标地址，然后点击next1.3 直接next就好了1.4 要选一下主类，也就是mr的main方法打包成功就要上传到集群了1.然后运行 /dat
2012-08-20 17:52:21
1623
原创 java 环境变量JDK的配置
今天重装系统，所以下了JDK1.6，按照提示直接下一步就好了下载地址http://www.java.net/download/jdk6/6u10/promoted/b32/binaries/jdk-6u10-rc2-bin-b32-windows-i586-p-12_sep_2008.exe 1.我的电脑-->属性-->高级-->环境变量.2.配置用户变量:
2012-07-09 21:35:28
501
原创 ie console 未定义
做项目遇到的问题，在firefox下调试没有问题，但在ie下报“console 未定义”，后上网查看相关文档，原来console 只支持在firefox，不支持ie，把它注释掉就可以了。
2012-05-02 11:03:14
4715
原创 jquery AJAX清除IE缓存问题
最近做项目，遇到一个比较变态的bug，就是通过jquery ajax去修改某个字段的内容，再显示出来，结果修改后，前台还是看到之前的内容，但是后台数据库已经改完了，悲催，于是上网找了好久，然后试着尝试修改，终于搞定，下面是例子； $.ajax({ url: "data.txt",
2012-04-21 16:17:08
3116
锋利的jquery示例
2012-11-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人