- 博客(145)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 使用Maven构建多模块项目
在平时的Javaweb项目开发中为了便于后期的维护，我们一般会进行分层开发，最常见的就是分为domain（域模型层）、dao（数据库访问层）、service（业务逻辑层）、web（表现层），这样分层之后，各个层之间的职责会比较明确，后期维护起来也相对比较容易，今天我们就是使用Maven来构建以上的各个层。 项目结构如下： system-parent |----
2016-10-13 16:31:52
604
转载 dependencies与dependencyManagement的区别
在上一个项目中遇到一些jar包冲突的问题，之后还有很多人分不清楚dependencies与dependencyManagement的区别，本篇文章将这些区别总结下来。 1、DepencyManagement应用场景 当我们的项目模块很多的时候，我们使用Maven管理项目非常方便，帮助我们管理构建、文档、报告、依赖、scms、发布、分发的方法。可以方便的编译代
2016-10-13 10:59:19
2731
转载 微信成长
第一章 微信-创世纪微信的成功，让我相信：没有什么是不可能的。2010年后，广研的发展到了一个瓶颈期，邮箱的布局已经相当完善，阅读空间也已到了强弩之末，那年最大的兴奋莫过于邮箱漂流瓶，一个简单的功能，却让邮箱的活跃用户翻了一番。团队要发展，但巧妇难为无米之炊，一时之间不知道可以做什么了，于是那段时间发生了一个不可思议的事情，团队第一次对未来的发展方向做了大的规划，规划很
2016-10-12 17:26:49
755
转载 SVN 中trunk、branches、tags都什么意思？
1.trunk是主分支，是日常开发进行的地方。2.branches是分支。一些阶段性的release版本，这些版本是可以继续进行开发和维护的，则放在branches目录中。又比如为不同用户客制化的版本，也可以放在分支中进行开发。3.tags目录一般是只读的，这里存储阶段性的发布版本，只是作为一个里程碑的版本进行存档。注意：svn并没有明确的规范，更多的还是用户自己的习惯。下面是详细介绍
2016-10-09 20:56:46
536
转载 SVN解决冲突的几种情况
SVN是非常实用也好用的版本管理工具，但不是万能的，有时候还需要你手动解决。一般在你准备提交一个新版本时，首先update一遍，有时候update完之后发现跟本地版本有冲突，这时候，在有冲突文件的地方存在4个文件：1）petgeniusupdatelayer.ccb，这是冲突的文件，也就是你update下来的文件跟本地的文件合并之后存在冲突的文件，这个文件需要你去处理；2）
2016-09-29 11:11:10
13039
原创 java命令行引入不同的Jar包
第一种：java -cp ./mysql-connector-java-5.1.35-bin.jar:./RecommenderJavaClientDemo-1.0.0-SNAPSHOT.jar com.mig.rcmd.loadDb.LoadDB 10.152.21.243 3354第二种：java -Djava.ext.dirs=./lib com.mig.rcmd.loa
2016-09-08 16:57:18
501
转载 Hadoop 新 MapReduce 框架 Yarn 详解
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/#_3.3_hadoop_%20%E5%AE%98%E6%96%B9%E7%AE%80%E4%BB%8BdeveloperWorks 中国技术主题Open source文档库H
2016-06-16 10:23:19
580
转载 ROC曲线
ROC曲线对于0,1两类分类问题,一些分类器得到的结果往往不是0,1这样的标签,如神经网络,得到诸如0.5,0,8这样的分类结果。这时,我们人为取一个阈值,比如0.4,那么小于0.4的为0类,大于等于0.4的为1类,可以得到一个分类结果。同样,这个阈值我们可以取0.1,0.2等等。取不同的阈值,得到的最后的分类情况也就不同。如下面这幅图:蓝色表示原始为负类分类得
2016-04-07 20:25:16
2003
原创 yarn中rescource manager,node manager,application master,container,executor,task的关系
rescource manager,node manager平级application master负责各个的container一个node可以有多个container一个container可以有多个executor每个executor可以有多个task和多个core，每个core每次只是负责一个task一
2016-04-07 17:04:53
2649
2
转载 spark部署
问题导读1.编译spark源文件的过程中，如何防止内存不足？2.spark如果没有自己hadoop或则hive版本对应的预构建版本,该如何编译？3.spark需要将hive-site.xml放入spark目录下的conf文件中，不兼容该如何处理？4.运行spark-sql会报缺少mysql驱动包错误，该如何处理？1、编译spark源文件下载spa
2016-04-06 11:01:44
435
原创 HIVE fields terminated by 与 表在hdfs上的关系
hive显示不随fields terminated by发生变化，但是hdfs随着fields terminated by发生变化。CREATE TABLE `spark_ml_essemble_training_table_space`( `app_lable` double, `imei_gender_man` string, `imei_gender_woman`
2016-04-05 17:13:42
14408
转载 java:使用匿名类直接new接口
java:使用匿名类直接new接口java中的匿名类有一个倍儿神奇的用法，见下面代码示例:1 package contract;2 3 public interface ISay {4 void sayHello();5 }上面是一个简单的接口，下面是如何使用： 1 package jimmy; 2 import contract.
2016-03-31 11:01:40
660
转载 为什么匿名内部类参数必须为final类型
本文由广州疯狂软件java培训分享： 基础语法：如果定义一个匿名内部类，并且希望它使用一个在其外部定的对象，那么编译器会要求其参数引用是final的。 1.匿名内部类肯定是局部内部类(在一个方法里面定义的内部类)，因为在java中，语句必须写在方法里，而匿名内部类其实就是一条特殊的语句; 2.外部给定的对象就是所有外来的对象：外部方法的形参、局部变量、基本类型或自定义类型等。
2016-03-24 15:46:54
2244
转载 yarn
http://baike.baidu.com/link?uyarn 编辑Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
2015-09-06 12:11:16
611
转载 Hive on Spark: Getting Started
Hive on Spark: Getting StartedSkip to end of metadataCreated by Szehon Ho, last modified by Shannon Ladymon on Aug 06, 2015Go to start of metadata
2015-09-06 12:10:21
1821
转载 Spark基础知识学习分享
http://www.tuicool.com/articles/eq2meyf一、Spark基础知识梳理1.Spark是什么？ Spark是一个通用的并行计算框架，由UCBerkeley的AMP实验室开发。Spark基于map reduce 算法模式实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于Hadoop MapReduce的是J
2015-09-06 12:09:46
446
转载 Spark:Yarn-cluster和Yarn-client区别与联系
我们都知道Spark支持在yarn上运行，但是Spark on yarn有分为两种模式yarn-cluster和yarn-client，它们究竟有什么区别与联系？阅读完本文，你将了解。 Spark支持可插拔的集群管理模式(Standalone、Mesos以及YARN )，集群管理负责启动executor进程，编写Spark application 的人根本不需要知道Spark用的是什么集群管
2015-09-02 13:16:49
1645
转载 TPCH
TPCH分类： 个人百科 数据库 面试 有用的东东 新奇技术2013-03-25 16:28 1646人阅读 评论(3) 收藏 举报目录(?)[+] TPC简介事务处理性能委员会（ Transaction Processing Performance Council），是由数10家会员公司创建的非盈利组织，总部设在美国。该组织对全世界
2015-09-02 11:37:47
6022
转载 Ant打可执行jar包指南
http://blog.csdn.net/telnetor/article/details/7015935 笔者以前在项目中使用的最多的打包工具要数fatjar了。打包的时候习惯于先指定可执行类，然后将所有引用的jar包以及源码生成的class一起打到一个包里面，运行程序的时候直接运行命令：java –jar jarname.jar。看似很方便。但是，这样做有两个缺点：1.将所有jar包都
2015-08-28 13:43:36
1454
转载 suspend() 和 resume() 方法，notify()和wait()方法区别
suspend() 和 resume() 方法：两个方法配套使用，suspend()使得线程进入阻塞状态，并且不会自动恢复，必须其对应的 resume() 被调用，才能使得线程重新进入可执行状态。典型地，suspend() 和 resume() 被用在等待另一个线程产生的结果的情 形：测试发现结果还没有产生后，让线程阻塞，另一个线程产生了结果后，调用 resume() 使其恢复。但suspend(
2015-06-04 21:00:48
2589
转载 Java中变量赋值的问题
一个变量作为类成员使用的时候，如果没有被初始化，java会为其分配默认值：Boolean falseChar '\u0000'(null)byte (byte)0short (short)0int 0long 0Lfloat 0.0fdouble 0.0d如果在一个方法中定义一个变量，java不会给其分配默认值，就必须我们来给他初始化，否则将得到编译错误的提示；所以一
2015-06-04 13:22:14
996
转载 HADOOP全排序
1、1TB（或1分钟）排序的冠军 作为分布式数据处理的框架，集群的数据处理能力究竟有多快？或许1TB排序可以作为衡量的标准之一。 1TB排序，就是对1TB（1024GB，大约100亿行数据）的数据进行排序。2008年，Hadoop赢得1TB排序基准评估第一名，排序1TB数据耗时209秒。后来，1TB排序被1分钟排序所取代，1分钟排序指的是在一分钟内尽可能多的排序。2009年，在一个14
2015-06-01 21:17:07
897
转载 JAVA中类的加载顺序
有规律的，你这还不算复杂，如果包含父类以及内部类（非静态）就更复查，但是万变不离其宗。规律一、初始化构造时，先父后子；只有在父类所有都构造完后子类才被初始化规律二、类加载先是静态、后非静态、最后是构造函数静态构造块、静态类属性按出现在类定义里面的先后顺序初始化，同理非静态的也是一样的，只是静态的只在加载字节码是执行一次，不管你new多少次，非静态会在new多少次就执行多少次
2015-05-31 20:28:07
600
转载 MR实现Join
前阵子把MapReduce实现join操作的算法设想清楚了，但一直没有在代码层面落地。今天终于费了些功夫把整个流程走了一遭，期间经历了诸多麻烦并最终得以将其一一搞定，再次深切体会到，什么叫从计算模型到算法实现还有很多路要走。数据准备首先是准备好数据。这个倒已经是一个熟练的过程，所要做的是把示例数据准备好，记住路径和字段分隔符。准备好下面两张表：（1）m_ys_lab
2015-05-27 16:19:22
2669
转载 MAPJOIN来解决实际的问题
最近开发中遇到几种应用，刚好使用MAPJOIN来解决实际的问题。应用共同点如下：1: 有一个极小的表行2: 需要做不等值join操作（a.x 或者 a.x like b.y等）这种操作如果直接使用join的话语法不支持不等于操作，hive语法解析会直接抛出错误如果把不等于写到where里会造成笛卡尔积，数据异常增大，速度会很慢。甚至会任务无法跑成功~
2015-05-26 23:53:44
6475
转载 MAPJOIN来解决实际的问题
最近开发中遇到几种应用，刚好使用MAPJOIN来解决实际的问题。应用共同点如下：1: 有一个极小的表行2: 需要做不等值join操作（a.x 或者 a.x like b.y等）这种操作如果直接使用join的话语法不支持不等于操作，hive语法解析会直接抛出错误如果把不等于写到where里会造成笛卡尔积，数据异常增大，速度会很慢。甚至会任务无法跑成功~根据mapjoin的
2015-05-26 23:45:03
1432
转载 网易游戏测试工程师面试小记
问题：1、C++里虚函数的作用 虚函数好像一直问的比较多，这里小总结一下： 函数可以分为：类的成员函数（非静态成员函数、静态成员函数），非类的成员函数（普通的函数、虚函数）。根据这种函数的分类，就知道了函数绝对是不能同时为虚函数以及静态成员函数的。 虚函数还可以继续细分为纯虚函数和普通的虚函数。普通的虚函数必须要有函数的实现，必须有一个关键字来修饰：virtual，
2015-05-26 13:05:43
887
转载 网易游戏测试工程师面试小记
问题：1、C++里虚函数的作用 虚函数好像一直问的比较多，这里小总结一下： 函数可以分为：类的成员函数（非静态成员函数、静态成员函数），非类的成员函数（普通的函数、虚函数）。根据这种函数的分类，就知道了函数绝对是不能同时为虚函数以及静态成员函数的。 虚函数还可以继续细分为纯虚函数和普通的虚函数。普通的虚函数必须要有函数的实现，必须有一个关键字来修饰：virtual，
2015-05-26 13:05:27
1558
转载 最大子数组和
下面说一下由DP而导出的另一种O(N)的实现方式，该方法直观明了，个人比较喜欢，所以后续问题的求解也是基于这种实现方式来的。仔细看上面DP方案的代码，End[i] = max{arr[i]，End[i-1]+arr[i]}，如果End[i-1]什么意思？End[i]表示以i元素为结尾的子数组和，如果某一位置使得它小于0了，那么就自当前的arr[i]从新开始，且End[i]最初是从arr[0
2015-05-25 19:11:56
277
转载 快速排序的非递归实现
快速排序的非递归实现首先说明一下快速排序是对冒泡排序的改进。为什么这么说呢？想一下冒泡排序，它把序列分成了两部分，前半部分无序，后半部分升序排列，并且后半部分的数都大于前半部的数。由此可得到快速排序和冒泡排序的一些共同点：都要经历n趟排序每趟排序要经历O(n)次比较都是后半部分元素比前半部大而不同之处就在于冒泡排序的交换操作发生相邻的元素之间，即一趟排序可以要经过多次交
2015-05-25 17:42:09
424
转载 24点经典算法
24点经典算法1、概述 给定4个整数，其中每个数字只能使用一次；任意使用 + - * / ( ) ，构造出一个表达式，使得最终结果为24，这就是常见的算24点的游戏。这方面的程序很多，一般都是穷举求解。本文介绍一种典型的算24点的程序算法，并给出两个具体的算24点的程序：一个是面向过程的C实现，一个是面向对象的java实现。 2、基本原理 基本原理是穷举4
2015-05-25 16:47:44
2460
转载 2013年10月，网易游戏，游戏研发工程师----
五、2013年10月，网易游戏，游戏研发工程师------------------------------1)笔试，这个要提下，总共三个小时的题量，而且题目都不简单，前面30题的基础题，每题一分，都不是好搞的。后面6个算法题，涉及数组灵活遍历，算法非递归实现，BNF，链表，图，布隆过滤器等。大多是写了一小问，难~（其实后面想想还是自己对知识的灵活运用能力不足吧）2)一面，开始做的矩阵乘
2015-05-25 15:18:26
743
转载 2014网易游戏测试工程师面试题
http://www.51testing.com/html/86/n-866586.html 1、返回两个有序数组合并后的第K个的数。 思路：折半查找法 分别找两个数组中的第K/2的位置的元素（假设数组中的元素下标从1开始），然后进行比较，较小的则前K/2个元素可舍弃，不用考虑（因为他们必定比第K个数小），接下来在剩余的元素中找第（K-K/2）
2015-05-25 14:56:30
4047
转载 证明洗牌算法的随机性
证明洗牌算法的随机性问题背景：有一副牌假设有N张，请设计一个随机洗牌算法。解决方案：这里只给出一个可以使用数学证明每张牌出现在任何位置概率为1/N的算法。Poker[N]for (i = 0; i {k = rand() % ( i + 1)if (i != k){switch(Poker[k], Poker[
2015-05-25 14:03:09
2258
转载 一步一步写算法（之洗牌算法）
扑克牌洗牌是我们生活中比较喜欢玩的一个游戏。那么我们有没有什么办法自己设计一个扑克牌洗牌的方法呢？在c运行库当中有一个随机函数rand，它可以生成0~32767之间的任意数。那么有没有可能利用这么一个函数对我们扑克牌进行随即洗牌呢？ 在这里我抛砖引玉一下，谈一谈自己目前已经看到的两个算法。欢迎朋友们谈一谈其他的方法。 （1）全局洗牌法 步骤如下所示：
2015-05-25 12:53:58
624
转载 海量数据寻找中位数
海量数据寻找中位数分析： 既然要找中位数，很简单就是排序的想法。那么基于字节的桶排序是一个可行的方法 （请见《桶排序 》）：思想：将整形的每1byte作为一个关键字，也就是说一个整形可以拆成4个keys，而且最高位的keys越大，整数越大。如果高位keys相同，则比较次高位的keys。整个比较过程类似于字符串的字典序。第一步:把10G整数每2G读入一次内存，然后一次遍历这5
2015-05-25 12:48:13
501
转载 网易商业智能研究员笔试——算法题
网易商业智能研究员笔试——算法题1. 二叉树的中序遍历非递归实现void InOrderTraverse1(BiTree T) // 中序遍历的非递归{ if(!T) return ; BiTree curr = T; // 指向当前要检查的节点 stack
2015-05-24 19:34:30
732
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人