- 博客(57)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 使用Scala开发Apache Kafka应用入门
Kafka由LinkedIn公司开源，现属于Apacha开源项目，框架使用Scala语言编写；但是在官网找不到Scala编写的Producer和Consumer例子。
2015-07-24 16:14:21
648
转载 一致性哈希算法介绍，及java实现
应用场景在做服务器负载均衡时候可供选择的负载均衡的算法有很多，包括： 轮循算法（Round Robin）、哈希算法（HASH）、最少连接算法（Least Connection）、响应速度算法（Response Time）、加权法（Weighted ）等。其中哈希算法是最为常用的算法.典型的应用场景是： 有N台服务器提供缓存服务，需要对服务器进行负载均衡，将请求平均分发到每台服务器上
2015-03-04 11:26:26
446
转载 scala隐式参数(implicit)
SBinary 和 Scalacheck的一部分库，广泛使用了隐式参数。让人联想起了Haskell(一种函数式编程语言)的编程风格，我真心的希望在Scala中这种编程风格更加广泛。这是一种非常有用的技术。作为开始如下多重入参（柯里化）的例子：scala -> def foo(x: Int)(y: Int) = x+yfoo: (x: Int)(y: Int) Int
2014-12-10 18:18:49
3974
原创 Spark MLlib之线性回归源码分析
线性回归(Linear Regression)问题属于监督学习（Supervised Learning）范畴，又称分类（Classification）或归纳学习(Inductive Learning);这类分析中训练数据集中给出的数据类标是确定的；机器学习的目标是，对于给定的一个训练数据集，通过不断的分析和学习产生一个联系属性集合和类标集合的分类函数(Classification Function)或预测函数(Prediction Function),这个函数称为分类模型(Classification Mo
2014-06-24 01:22:29
5599
原创 scala akka 修炼之路6(scala函数式柯里化风格应用场景分析)
scala的函数式和面向对象风格，可以让想想随时发生；如果你是画家，使用scala写出来的代码更像一幅充满诗意的风景画。如果你是作家，写出的将是一个扣人心弦的跌宕起伏的大篇。scala给不同类型的程序员不同的体验和感受。而使用scala函数式柯里化风格，可以编写出更加抽象，功能化和高效的函数式代码。
2014-06-14 13:08:15
4399
3
原创 scala akka 修炼之路5(scala特质应用场景分析)
scala中特质(trait)是一个很有用的特性，在程序设计中可以 更好的抽象现实，使程序更关注各自功能和更好的将程序拆分成多个特质模块，使程序具有更强的扩展性。
2014-06-12 21:07:07
1713
原创 scala akka 修炼之路3(基于java nio的socket编程)
scala调用java NIO中selector模式实现客户端和服务器端通信
2014-06-04 20:21:15
3060
原创 scala akka 修炼之路2(文件操作)
scala中两种文件操作方式；1.scala内置函数不支持二进制文件读取，使用java库函数实现；2.使用scala库函数实现文本文件读取
2014-06-03 22:31:22
1211
原创 scala akka 修炼之路1(使用actor实现一个job的并发计算和task失败重启)
package cn.yangg.scala.akka.initimport akka.actor.Actorimport akka.actor.Propsimport akka.actor.ActorRefimport akka.actor.Terminatedimport akka.event.Loggingimport akka.a
2014-05-29 12:42:36
2127
转载 mac ox jni 编程
mac os x编译jni动态库和linux类似，但是有些地方不太一样，下面简单的介绍一下。1. 编写java文件public class HelloWorld{ public native String printHelloWorld(); static{ System.loadLibrary
2014-04-28 13:54:52
624
原创 使用反射机制深入理解AOP机制并自定义AOP管理模块
先说说spring AOP使用上的一些限制:1.如果切点函数有重载时，定义的通知类中方法不能实现方法重载2.spring AOP只支持方法层面的切口定义，当然这个也是spring的基本原则如spring mvc 与struts2的区别之一就是spring mvc是基于方法的设计struts2是基于类的设计；3.spring aop 不支持参数级的切口定义，如有时候需要对传入切口的参数进行安全性，规范性、合法性处理的时候是不支持的。当然对参数处理涉及到解析参数类型获取、参数类型判断，对于使用反射机制获取
2014-01-20 20:56:35
2010
原创 总结过去展望未来
全年做了项目大大小小也很多，仔细回味做过项目，很有意思，对于我来说没做一个项目就是学习一种新知识，新模式的过程，对于喜欢新鲜事物的我来说，其实也是一个不断提高的过程；去年对我来说，最大的成果主要是:深入学习了linux/c socket套接字编程及linux kernel socket 22个接口中5个接口源代码分析，从关系数据库思维模式到NOSQL思维模式的转变和结合传统关系数据库和NOSQL应
2014-01-19 23:34:19
1036
原创 mvn 常用命令
mvn archetype:create -DgroupId=com.dbc.hadoopproject -DartifactId=servicemvn archetype:create -DgroupId=com.dbc.hadoopproject -DartifactId=persistmvn archetype:create -DgroupId=com.dbc.yangg.hadoo
2014-01-19 21:54:44
518
原创 斐波那契数列的3种java程序实现
先说说为什么写这个吧,这个完全是由去阿里巴巴面试引起的一次惨目忍睹的血案。去面试的时候，由于面试前天晚上11点钟才到阿里巴巴指定面试城市，找到旅馆住下基本都1点多，加上晚上完全没有睡好，直接导致第二天面试效果很不好(对于那些正在找工作的大虾们不要向小虾一下悲剧，提前做好准备还是很重要滴)，面试大概进行了一个多小时(面试结束回去的时候基本走路都快睡着了，悲催！！)，面试快结束的时候面试官问的我问题就
2014-01-10 22:25:24
2912
原创 eclipse 自动注释模板及使用
个人比较喜欢的使用的注释模板模板(配置方式：Window->Preference->Java->Code Style->Code Template>Import)/** * @return ${bare_field_name}*//** * @param ${param} = ${bare_field_name}*//** * Title: * Description:
2014-01-09 19:13:39
610
转载 centos install oracle11gR2(环境配置与启动设置)
操作系统：CentOS 5.10 64位数据库:Oracle 11G R2（版本号为11.02）安装操作系统的时候，注意交换分区的大小不得低于2G1.同步时钟及修改/etc/hostsyum -y install ntpntpdate time.nist.govecho "* */2 * * * /sbin/ntpdate time.nist.gov" >>
2014-01-09 18:36:08
591
转载 centos 5.10 install oracle11gR2(step by step install)
http://blog.itrunc.com/2013/12/30/install-oracle-11g-release2-in-centos-x64/
2014-01-09 18:33:27
862
转载 CentOS5.10系统如何安装Nginx+PHP+MySQL(安装篇)
系统环境：Centos5.4 X86 (VPS 内存128M)发现很多VPS用LNMP一键安装包都失败,又不能排错,唯有给出教程,一步一步教你安装,所谓授人于鱼不如授人于渔嘛,本文是在CentOS5.4操作系统下测试通过的,用的是32位系统,为什么要用32位系统?就是为了节省内存,VPS内存都不是很多的,纯32位系统比X86_X64兼用32位系统更省内存.安装步骤:1,升级系统和安装相
2014-01-08 20:43:43
1131
转载 实战Nginx+mysql+PHP（FastCGI）的安装、配置与优化（原理篇）
一、什么是 FastCGIFastCGI是一个可伸缩地、高速地在HTTP server和动态脚本语言间通信的接口。多数流行的HTTP server都支持FastCGI，包括Apache、Nginx和lighttpd等，同时，FastCGI也被许多脚本语言所支持，其中就有PHP。FastCGI是从CGI发展改进而来的。传统CGI接口方式的主要缺点是性能很差，因为每次HTTP服务器遇到动态程序
2014-01-08 20:42:36
697
原创 java 利用泛性和反射机制实现collections.sort排序模板
~~~~~~~~~~~~~生命不止，折腾不休~~~~~~~~~~~~~~~废话不多说，直接上代码第一步 排序通用类定义package com.dbc.yangg.reflect;import java.lang.reflect.InvocationTargetException;import java.lang.reflect.Method;import java.util.Col
2013-12-23 22:04:07
813
原创 java使用collections.sort排序模板
做java应用开发常常需要对集合进行升降序操作，习惯了C#中LINQ对java中集合操作实在不感冒（PS:不得不吐槽一下，java更新速度太慢了 C#在3.0就加上了LINQ，lamba等新特性，到现在java这些特性还不是标准）第一步定义一个对象类personpackage com.dbc.yangg.main.test;import java.lang.reflect.Meth
2013-12-22 22:34:22
764
原创 linux 常用命令
1.chkconfigchkconfig命令主要用来更新（启动或停止）和查询系统服务的运行级信息。谨记chkconfig不是立即自动禁止或激活一个服务，它只是简单的改变了符号连接。使用语法：chkconfig [--add][--del][--list][系统服务] 或 chkconfig [--level ][系统服务][on/off/reset]chkconfi
2013-12-22 01:05:49
543
转载 hadoop Secondary NameNode作用
光从字面上来理解，很容易让一些初学者先入为主的认为：SecondaryNameNode（snn）就是NameNode（nn）的热备进程。其 实不是。snn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间。对于hadoop进程中 ，要配置好并正确的使用 sn
2013-12-21 17:17:08
1032
原创 ubuntu 13 编译hadoop 2.2.0源码出现问题及解决方法
1.[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.5.1:testCompile (default-testCompile) on project hadoop-auth: Compilation failure: Compilation failure:[ERROR] /home
2013-12-12 20:48:54
1004
转载 linux内核分析笔记---中断实现
那么什么叫中断呢， 中断还是打断，这样一说你就不明白了。唉，中断还真是有点像打断。我们知道linux管理所有的硬件设备，要做的第一件事先是通信。然后，我们天天在说一句话：处理器的速度跟外围硬件设备的速度往往不在一个数量级上，甚至几个数量级的差别，这时咋办，你总不能让处理器在那里傻等着你硬件做好了告诉我一声吧。这很容易就和日常生活联系起来了，这样效率太低，不如我处理器做别的事情，你硬件设备准备好了，
2013-12-05 18:07:35
749
转载 安全增强 Linux (SELinux) 剖析（socket套接字创建源码分析）
架构和实现Linux® 一直被认为是最安全的操作系统之一，但是通过引入安全增强 Linux（Security-Enhanced Linux，SELinux），National Security Agency (NSA) 将 Linux 的安全性提升到了新的高度。SELinux 通过对内核和用户空间进行修改，对现有的 GNU/Linux 操作系统进行了扩展，从而使其变得坚不可摧。
2013-12-05 16:55:50
3214
1
转载 linux security model (LSM)加载实现顺序
Linux Security Module的注册层次 ===================================================作者：ietf AT doit.com.cn所有源文件来自于linux kernel 2.6.20请在GNU Library General Public License下参考。引用请注明出处。
2013-12-05 16:27:35
1563
转载 在eclipse下编译hadoop2.0源码
Hadoop是一个分布式系统基础架构，由apache基金会维护并更新。官网地址: http://hadoop.apache.org/Hadoop项目主要包括以下4个模块:Hadoop Common: 为其他Hadoop模块提供基础设施。Hadoop HDFS: 一个高高靠、高吞吐量的分布式文件系统。Hadoop MapReduce: 一个分布式的计算框架，包括任务调度和集群资源
2013-12-04 21:34:05
752
转载 EPOLL两种模式详解
linux异步IO浅析http://hi.baidu.com/_kouu/blog/item/e225f67b337841f42f73b341.htmlepoll有两种模式,Edge Triggered(简称ET) 和 Level Triggered(简称LT).在采用这两种模式时要注意的是,如果采用ET模式,那么仅当状态发生变化时才会通知,而采用LT模式类似于原来的select/po
2013-11-27 17:03:29
1657
转载 EAGAIN、EWOULDBLOCK、EINTR与非阻塞 长连接
EAGAIN、EWOULDBLOCK、EINTR与非阻塞 长连接EWOULDBLOCK用于非阻塞模式，不需要重新读或者写EINTR指操作被中断唤醒，需要重新读/写在Linux环境下开发经常会碰到很多错误(设置errno)，其中EAGAIN是其中比较常见的一个错误(比如用在非阻塞操作中)。从字面上来看，是提示再试一次。这个错误经常出现在当应用程序进行一些非阻塞(non
2013-11-18 15:04:56
1176
转载 socket通信中EPIPE 错误
The send() function shall fail if:[EPIPE] The socket is shut down for writing, or the socket is connection-mode and is no longer connected. In the latter case, and if the socket is of type SOCK_STRE
2013-11-18 12:17:02
5993
转载 错误：UNIX 程序中的错误代码
引言UNIX® 开发人员常常忽视进行适当的错误检测和恢复。缺乏 C 语言的异常和标准 C 库的基本错误机制确实会导致出现此种情况。通过本文，您将熟悉标准 C 库中的 UNIX 错误报告，并且有望以用户友好的方式报告和处理错误。现在就开始学习本文吧！回页首开始之前如果想随同本文一起学习代码示例，将需要下载源代码存档（除非您想亲自键入它）。我将使用
2013-11-18 12:01:46
1130
转载 使用popen遭遇ENOMEM (Cannot allocate memory)的问题
遇到一个popen遭遇ENOMEM (Cannot allocate memory)的问题，记录一下我需要在程序里获取标准输出的内容，于是在一个模块里使用了popen这个函数，本来一直运行着都没，但是最近这个模块老是出问题，最后定位到是popen调用出错。返回的errno是ENOMEM (Cannot allocate memory)，查看popen的文档并没有ENOMEM 相关的说明
2013-11-18 11:15:41
2713
转载 Linux中的EAGAIN含义
在Linux环境下开发经常会碰到很多错误(设置errno)，其中EAGAIN是其中比较常见的一个错误(比如用在非阻塞操作中)。 从字面上来看，是提示再试一次。这个错误经常出现在当应用程序进行一些非阻塞(non-blocking)操作(对文件或socket)的时候。例如，以 O_NONBLOCK的标志打开文件/socket/FIFO，如果你连续做read操作而没有数据可读。此时程序不会阻塞
2013-11-18 11:11:27
793
转载 Linux下system()函数返错，errno是ECHILD
转载自：http://my.oschina.net/renhc/blog/54582今天，一个运行了近一年的程序突然挂掉了，问题定位到是system()函数出的问题，关于该函数的简单使用在我上篇文章做过介绍：http://my.oschina.net/renhc/blog/53580先看一下问题简单封装了一下system()函数：[cpp
2013-11-18 11:06:25
963
原创 linux c socket 实现http get/post请求
文件 getHtml.c#include #include #include #include #include #include int create_tcp_socket();char *get_ip(char *host);char *build_get_query(char *host,char *page);void usage();#define HOST
2013-11-03 17:01:01
8490
2
原创 python简单实现hadoop map reduce统计功能
#!/usr/bin/env pythondef hadoopMap(fd): lines={} for line in fd: if lines.has_key(line): lines[line]+=1 else: lines[line]=1 return lines
2013-10-11 15:30:58
907
原创 js 实现table自动排序
//使用说明将YG_TableSort()函数绑定到需要排序的table的单击或双击事件中varisAsc=truefunction YG_TableSort(tableID){var tdEvent=event.srcElement;if(tdEvent.tagName=="TD"){var cellIndex=tdEvent.cellIndex;var my
2013-08-27 18:22:41
977
linux无亲缘关系进程间通信(互斥锁+条件变量+共享内存)
2013-07-07
opendwg_autoCAD
2013-07-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人