- 博客(45)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Spark Streaming 流计算优化记录(6)-GC优化与shuffle service
关于Spark Streaming优化的各种叽里呱啦记录, 这一次是从跑不动, 一直优化到能每秒解决6万条输入消息以及3G数据的Inner Join. 大数据,流计算,spark,kafka,hadoop
2015-07-27 14:43:20
4732
原创 Spark Streaming 流计算优化记录(5)-分区与内存的优化
关于Spark Streaming优化的各种叽里呱啦记录, 这一次是从跑不动, 一直优化到能每秒解决6万条输入消息以及3G数据的Inner Join. 大数据,流计算,spark,kafka,hadoop
2015-07-27 14:38:13
3819
1
原创 Spark Streaming 流计算优化记录(4)-时间都去哪儿了,关于调度与空转
关于Spark Streaming优化的各种叽里呱啦记录, 这一次是从跑不动, 一直优化到能每秒解决6万条输入消息以及3G数据的Inner Join. 大数据,流计算,spark,kafka,hadoop
2015-07-27 14:17:40
3908
2
原创 Spark Streaming 流计算优化记录(3)-控制流量与join的地点
关于Spark Streaming优化的各种叽里呱啦记录, 这一次是从跑不动, 一直优化到能每秒解决6万条输入消息以及3G数据的Inner Join. 大数据,流计算,spark,kafka,hadoop
2015-07-27 14:00:13
4511
2
原创 Spark Streaming 流计算优化记录(2)-不同时间片数据流的Join
关于Spark Streaming优化的各种叽里呱啦记录, 这一次是从跑不动, 一直优化到能每秒解决6万条输入消息以及3G数据的Inner Join. 大数据,流计算,spark,kafka,hadoop
2015-07-27 13:41:14
9923
7
原创 Spark Streaming 流计算优化记录(1)-背景介绍
关于Spark Streaming优化的各种叽里呱啦记录, 这一次是从跑不动, 一直优化到能每秒解决6万条输入消息以及3G数据的Inner Join
2015-07-27 13:30:49
4078
原创 HDP-Hive在Ambari打开Nagios情况下OutOfMemory的问题
简述: Ambari的Nagios会不断发信息到hiveserver2的10000端口,以做健康监测,但hiveserver2的thrift会将其信息错误解读而导致OOM问题发现: 在hiveserver2所在的节点,查看/var/log/hive/hive-server2.log 发现hiveserver2会莫名其妙不断OutOfMemory: Java heap space问题排查...
2014-11-06 21:07:10
256
原创 spring.data.jap调用接口时实际上做了些啥
通过AOP调用 org.springframework.data.jpa.repository.support.SimpleJpaRepositoryAOP需要经过如下interceptor[org.springframework.aop.interceptor.ExposeInvocationInterceptor, INSTANCE, (class org.springframe...
2013-02-11 11:34:24
129
原创 Maven杂七杂八
Maven优缺点: http://soft.zdnet.com.cn/software_zone/2009/1217/1562475.shtml http://elstage.iteye.com/blog/278832 Build:http://maven.apache.org/shared/maven-filtering/http://maven.apache....
2011-12-14 15:36:21
117
原创 在windows下面的Hadoop 环境搭建 wordcount
1,参考 http://hadoop.apache.org/common/docs/stable/single_node_setup.html 2,装 'Cygwin '记得安装openssh,最好干脆全部安装3,在Cygwin中的JAVA_HOME是和window的环境变量一致的,不必在CYGWIN_HOME/etc/profile中再次配置4,在HADOOP_HOME/conf/h...
2011-11-28 14:08:39
176
JSF知识集合
About the Validation in JSF:ONE:http://stackoverflow.com/questions/6642242/how-can-i-populate-a-text-field-using-primefaces-ajax-after-validation-errors-occKeyWords:Primefaces, ajax, validat...
2011-08-19 08:20:51
190
原创 Godaddy创始人：成就亿万富翁的10条规则
今天，Bob Parsons有一个新的标签：亿万富翁。 私募基金KKR& Co. （Kohlberg Kravis Roberts）和银湖合伙人（ Silver Lake Partners）可能以20亿美金收购他的美国域名服务公司GoDaddy，这将使他成为最近的提供网络业务的亿万富翁。他所拥有的这家公司价值多少并不清楚。因为它是一个持股公司，并没有做太多的资金集资，它的估值可能仅...
2011-06-27 20:30:02
84
何谓架构师
首先，何谓系统架构师？ IBM工程师的说明是： 架构师的主要责任是提供开发人员和项目经理之间的共用沟通媒体。他们负责让业务规则及需求与工程实践及限制相适应，以确保成功 中文Wiki上的说明是： 系统架构师负责设计系统整体架构，从需求到设计的每个细节都要考虑到，把握整个项目，使设计的项目尽量效率高，开发容易，维护方便，升级简单 这两个解释，加起来基本说明了系统架构师的定义。...
2010-03-31 11:29:03
133
原创 深入探讨Oracle函数索引
http://database.51cto.com/art/200911/164250.htmOracle还是比较常用的，于是我研究了一下Oracle函数索引，在这里拿出来和大家分享一下，希望对大家有用。1.Oracle函数索引的好处: Exp: function(column1) 如果表中有1000行，即便column1列上建有索引，索引在此时也不被使用，function会执行100...
2010-02-23 16:20:03
85
原创 Bugzilla与JIRA的对比
Bugzilla与JIRA的对比Judy ShenJIRA是澳大利亚Atlassian公司开发的一款不错的商业问题跟踪工具，包括bug、需求变更、评审记录等均可以在这个软件中进行管理。而Bugzilla则是一款开源免费的bug跟踪工具。在本文，我将Bugzilla和JIRA进行了对比。对比项BugzillaJIRA版权...
2009-08-07 11:28:51
362
GUICE 的 singleton 模式写法
public class Singleton { static class SingletonHolder { static Singleton instance = new Singleton(); } public static Singleton getInstance() { return SingletonH...
2009-04-18 17:12:54
426
原创 开源数据库 Sharding 技术 (Share Nothing)
注：此文首发于 《程序员》杂志 2008 年 7 月刊。从 Shard 到 Sharding"Shard" 这个词英文的意思是"碎片"，而作为数据库相关的技术用语，似乎最早见于大型多人在线角色扮演游戏(MMORPG)中。"Sharding" 姑且称之为"分片"。Sharding 不是一门新技术，而是一个相对简朴的软件理念。如您所知，MySQL 5 之后才有了数据表分区功能，那么在此...
2009-02-20 17:44:36
118
原创 关于TDD的文摘
如何实施和推广TDD：http://www.infoq.com/cn/articles/Dealing-with-legacy-code to_readhttp://www.infoq.com/cn/news/2008/03/tdd-smellshttp://www.infoq.com/cn/articles/levison-TDD-adoption-strategyhtt...
2009-02-16 00:17:47
149
梦君心
梦君心浅草芳岸牵爱马, 细柳春花迷将军. 独自丛中寻丽影, 邀月静夜梦君心. //----------------------------------------------------- N久前的事情了........ 没可能了吧,唏嘘ing, 唉,像我这种老男人,在冬天还发春,受不了,呵呵...
2008-12-25 08:33:24
91
原创 Spring事务的传播行为和隔离级别
Spring事务的传播行为和隔离级别关键字: 数据库事务的传播行为和隔离级别[transaction behavior and isolated level]Spring中事务的定义：一、Propagation ： key属性确定代理应该给哪个方法增加事务行为。这样的属性最重要的部份是传播行为。有以下选项可供使用：PROPAGATION_REQUIRED--支持当前事务，如果当...
2008-11-21 11:03:05
88
原创 Hibernate的increment主键生成机制带来的问题
在网站运行在apache和tomcat的负载均衡之后，总是出现一些奇怪的问题。开始有一些Duplicate entry的错误，但没在意。今天又看了程序运行的错误信息，发现几乎都是Duplicate entry错误，集中出现在insert数据库的时候，insertuser，insert message。看了Message类的主键生成是increment类型，看了看Hibernate的源代码，...
2008-10-19 13:26:12
113
原创 Twitter的技术给我们的启发
Twitter的水平扩展的一些关键点，虽然它是个RoR应用，但是这些建议绝对是放之四海而皆准的，非常好的总结。 因为年初Twitter曾经遇到了性能瓶颈，而且几乎束手无策。当初很多人开始怀疑Ruby的性能问题，而后Twitter站起来了 ^__^ 有时间的朋友看看这个slide：http://www.slideshare.net/Blaine/scaling-twitter，http...
2008-10-19 08:03:54
170
原创 一位公司老板的公司理念
宜配的理念 1.我们宜配，是一个学习型组织，我们并不是要求你一来，就一定具备多高的水平，但是随企业的发展，你必须与时俱进。我们股东中都是搞技术出身的，但并不妨碍我们在未来成为管理型的人才，只要是企业发展需要，我们可以去学习任何东西。而这个学习是主动的，不是我压迫你去学什么。如果你指望长期滥竽充数，对不起，这里恐怕容不了你，不要说宜配，恐怕这个社会都要淘汰你 ...
2008-10-15 12:33:24
243
原创 华为IT总监告别华为时的话
一位华为IT总监离职时给大家写了一封告别信。信中表现出的职业素养和华为人的品质让人信服和感动，这似乎与时下广为散布的“狼性文化”唱了反调，华为内部到底什么样，对我们这些大门以外的人来说，始终是个迷。我摘取了那封信中的两部分：一是总结的职场经验，二是感恩的心情。以下就是这两部分的内容。 第一部分职场经验总结： 一、“从小事做起，学会吃亏，与他人合作。 ...
2008-10-15 12:32:39
217
原创 打败你的十五个坏习惯
第一，拖延成性。让他十点钟来，他准保十点半。三天的工作总要四天半完成。不知是工作能力问题，还是时间观念太淡薄。这样的人生活多半没目标，晃一天算一天，不知不觉就晃到了日落西山时。 第二，表现成癖。学问不大，还总喜欢表现自己。有一次一位老兄在静悄悄的车上大放厥词，说什么英国英语美国英语没有差别。闻听此言，半车人都笑了，因为车上有若干英语科班出身的人，这不是贻笑大方吗？其实，...
2008-10-15 12:31:50
82
spring配置的最佳实践
Spring是一个强有力的java程序框架，其被广泛应用于java的程序中。它用POJO提供了企业级服务。Spring利用依赖注入可以获得简单而有效的测试能力。Spring beans，依赖关系，以及服务所需要的bean都将在配置文件中予以描述，配置文件一般采用XML格式。然而XML配置文件冗长而不易使用，在你进行一个使用了大量bean的大项目中它将变得难以阅读和控制。在这篇文章中我将给你展示...
2008-06-25 10:34:37
88
SSH一些出错小结
Spring Hibernate在AOP方面的配置冲突Spring2.0 Hibernate3.1.x/Hibernate3.2在使用Spring的AOP编程时，会用到这几个lib：asm-2.2.2.jarasm-commons-2.2.2.jarasm-util-2.2.2.jarHibernate如果使用lib：asm.jarasm-attrs.jar其中asm-2.2.2.jar与asm....
2008-06-25 08:31:03
158
ORACLE 中ROWNUM用法总结
对于 Oracle 的 rownum 问题，很多资料都说不支持>,>=,=,between...and，只能用以上符号(<、<=、!=)，并非说用>,>=,=,between..and 时会提示SQL语法错误，而是经常是查不出一条记录来，还会出现似乎是莫名其妙的结果来，其实您只要理解好了这个 rownum 伪列的意义就不应该感到惊奇，同样是伪列，rownum 与...
2008-06-20 14:52:42
60
用JAVA实现精确的四舍五入
public static void main(String[] args) { double num = About.halfUpDouble(12.3425, 3); System.out.println(num); } public static double halfUpDouble(double num, int scale) { //注意,下面的Double必须先...
2008-06-04 10:49:24
103
ORA-01034错误的解决办法
问题描述=======在试图启动数据库的时候,Oracle报告下列错误：ERROR:ORA-27101 Shared memory realm does not exist ORA-01034 ORACLE not available 基本解释=======Error: ORA-27101 Text: shared memory realm does not exist ----------...
2008-04-23 11:28:54
364
敏捷软件开发模型--SCRUM
一 什么是Scrum?Scrum (英式橄榄球争球队), 软件开发模型是敏捷开发的一种，在最近的一两年内逐渐流行起来。Scrum的基本假设是：开发软件就像开发新产品，无法一开始就能定义软件产品最终的规程，过程中需要研发、创意、尝试错误，所以没有一种固定的流程可以保证专案成功。Scrum 将软件开发团队比拟成橄榄球队，有明确的最高目标，熟悉开发流程中所需具备的最佳典范与技术，具有高度自主权，紧密地...
2008-04-16 19:44:26
1210
winXpHome 下dbconsole无法启动的解决方法
1,设置dbconsole并启动Cocuments and SettingsAdministrator>emctl start dbconsoleEnvironment variable ORACLE_SID not defined. Please define it.Cocuments and SettingsAdministrator>set ORACLE_SID=...
2008-04-02 14:35:38
80
windows 下oracle 10g oem 访问的问题解决
1、windows下登陆的时候输入正确的操作系统用户也不能登陆提示如下"RemoteOperationException: ERROR: Wrong password for user"错误 解决方案 解决的方法就是在用户策略里面将你需要使用的用户授予Logon as a Batch Job的权限。1. Click on START => Programs => Adminis...
2008-04-02 13:01:16
142
spring 配置文件中的 classpath*
0,There is special support for retrieving multiple class path resources with the same name, via the "classpath*" prefix. For example, "classpath*:/beans.xml" will find all beans.xml files in the cla...
2008-04-02 11:13:40
123
Freemarker - 几个比较实用的例子
用Freemarker做模本语言有一段时间了，列出几个和JSP或者Velocity相比起来比较方便的用途，目的是引诱更多的人跳上Freemarker这个贼船， 1. String内置的JavaScript转换： js_string 用途：用于JavaScript转义，转换',",换行等特殊字符 模板: ...
2008-03-04 16:39:50
308
导出word和excel_1
注意是如何区分视图的[code="java"]利用javascript将当前网页内容导出到新建的word文档function OpenWord(){Layer1.style.border=0ExcelSheet = new ActiveXObject('Word.Application');ExcelSheet.Application.Visible = true;...
2008-01-13 09:48:19
104
Javascript中得到中英文混合字符串的长度
在javascript中如何得到中英文混合字符串的长度。用的是正则表达式。var str = ”坦克是tank的音译”; var len = str.match(/[^ -~]/g) == null ? str.length : str.length + str.match(/[^ -~]/g).length ;我查了一下书，有点明白了：西文常用字符集由空格...
2008-01-02 20:59:29
147
union一例，oracle上的union会自动把重复的列去掉
[code]--当该人是选案人员时select qt.ajbh, qt.lrajbh, nsr.nsrsbh, nsr.nsrmc, jg.swjg_mc, zt.jczt_mc, qt.sflafrom ctais2wg.t03_qtajxx qt ,ctais2wg.t03_ayxsqc ay ,ctais2wg.dm_jczt zt ,ctai...
2007-12-23 18:12:31
1397
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人