- 博客(42)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 Spark 1.3.1 部署
参考：http://my.oschina.net/leejun2005/blog/3949281 安装环境Spark 1.3.1需要JDK1.6或更高版本，我们这里采用jdk 1.7.0_67Spark 1.3.1需要Scala 2.10或更高版本，我们这里采用scala 2.11.62 部署HadoopSpark目前支持多种分布式部署方式：1、Standa
2015-05-25 15:48:35
482
1
原创 Python字符串操作
去空格及特殊符号s.strip().lstrip().rstrip(',')复制字符串#strcpy(sStr1,sStr2)sStr1 = 'strcpy'sStr2 = sStr1sStr1 = 'strcpy2'print sStr2连接字符串#strcat(sStr1,sStr2)sStr1 = 'strcat'sStr2 = 'append
2014-09-18 10:23:05
399
TCP三次握手、四次挥手
转自：http://blog.csdn.net/bird67/article/details/4871541TCP(Transmission Control Protocol) 传输控制协议TCP是主机对主机层的传输控制协议，提供可靠的连接服务，采用三次握手确认建立一个连接:位码即tcp标志位,有6种标示:SYN(synchronous建立联机)...
2014-09-17 17:45:00
70
转载 free命令详解
转载：http://www.cnblogs.com/coldplayerest/archive/2010/02/20/1669949.html
2014-09-16 17:02:15
1134
原创 CentOS6.5编译部署64位Hadoop2.2.0
1、root用户，建立haoop用户useradd -g root hadoop 2、下载jdk、maven、hadoop-src（64位hadoop需要自己编译）环境变量：sudo vim /etc/profileJAVA_HOME=/usr/local/jdk1.7.0_25JRE_HOME=$JAVA_HOME/jreCLASSPATH=.:$JAVA_HOME/
2014-07-07 22:41:05
856
转载 Shallow heap & Retained heap
zhuan所有包含Heap Profling功能的工具（MAT, Yourkit, JProfiler, TPTP等）都会使用到两个名词，一个是Shallow Size，另一个是 Retained Size. 这是两个在平时不太常见的名词，本文会对这两个名词做一个详细的解释。 Shallow Size 对象自身占用的内存大小，不包括它引用的对象。 针对非数组类型的对象，它的
2014-05-29 16:55:31
495
HTTP状态码列表
状态码状态码英文名称中文描述100Continue继续。客户端应继续其请求101Switching Protocols切换协议。服务器根据客户端的请求切换协议。只能切换到更高级的协议，例如，切换到HTTP的新版本协议20...
2014-05-07 09:23:00
89
转载 Singleton（二）
0)Eager initialization如果程序一开始就需要某个单例，并且创建这个单例并不那么费时，我们可以考虑用这种方式：123456789public class Singleton { private static final Singleton INSTANCE = new Singleton(); p
2014-05-06 00:56:16
494
sleep和wait
1、这两个方法来自不同的类分别是，sleep来自Thread类，和wait来自Object类。sleep是Thread的静态类方法，谁调用的谁去睡觉，即使在a线程里调用了b的sleep方法，实际上还是a去睡觉，要让b线程睡觉要在b的代码中调用sleep。2、最主要是sleep方法没有释放锁，而wait方法释放了锁，使得其他线程可以使用同步控制块或者方法。sleep不出让系统资源；w...
2014-05-05 23:12:00
69
转载 显示适配
function a(){ document.write( "屏幕分辨率为："+screen.width+"*"+screen.height +""+ "屏幕可用大小："+screen.availWidth+"*"+screen.availHeight +""+ "屏幕分辨率的高："
2014-04-24 21:32:08
455
synchronized
概述synchronized 关键字，代表这个方法加锁,相当于不管哪一个线程（例如线程A），运行到这个方法时,都要检查有没有其它线程B（或者C、 D等）正在用这个方法，有的话要等正在使用synchronized方法的线程B（或者C 、D）运行完这个方法后再运行此线程A,没有的话,直接运行。它包括两种用法：synchronized 方法和 synchronized 块。synchronize...
2014-04-23 15:22:00
78
Linux环境变量
环境变量的设置echo JAVA_HOME=/usr/local/jdk1.7.0_21export设置只对当前的bash登录session有效，注销后失效。这是存在内存里面的。也可以写入一般的文件，之后source它。或者写到/etc/profile 等文件里，不同的地方效果不同。系统设置相关的文件/etc/profile：此文件为系统的每个用户设置环境信息,当用户第一次登录...
2014-04-21 18:40:00
61
VMWare
VMWare安装Ubuntu 12开启虚拟机的Unity Mode模式终端中输入：sudo add-apt-repository ppa:gnome3-team/gnome3sudo apt-get updatesudo apt-get install gnome-shell更新完成后，注销，选择 Gnome Classic - No Effects桌面，就可以进入Unity模...
2014-04-13 11:08:00
85
转载 Java集合类说明及区别
Collection├List│├LinkedList│├ArrayList│└Vector│ └Stack└SetMap├Hashtable├HashMap└WeakHashMapCollection接口 Collection是最基本的集合接口，一个Collection代表一组Object，即Collection的元素（Elements）。一
2013-09-10 18:50:09
707
转载 Java hashcode 与 equals 的关系
先来看能表明hashcode和equals的关系的几句话：equals()相等的两个对象，hashcode()一定相等；equals()不相等的两个对象，却并不能证明他们的hashcode()不相等。反过来：hashcode()不等，一定能推出equals()也不等；hashcode()相等，equals()可能相等，也可能不等。我觉得这样表达两者之
2013-09-10 18:25:30
399
什么是项目与项目管理
什么是项目与项目管理一、 什么是项目 所谓项目，简单地说，就是在既定的资源和要求的约束下，为实现某种目的而相互联系的一次性工作任务。一般来说，项目具有如下的基本特征：1、 明确的目标其结果只可能是一种期望的产品，也可能是一种所希望得到的服务。2、 独特的性质每一个项目都是唯一的。3、 资源成本的约束性每一项目都需要运用各种资源来实施，而资源是有限的。4、 项目实施的一次性项目不能重复。5、 项目的...
2013-08-27 19:36:00
97
原创 Java基本数据类型及长度
Java语言提供了八种基本类型。六种数字类型（四个整数型，两个浮点型），一种字符类型，还有一种布尔型。 1、整数：包括int,short,byte,long 2、浮点型：float,double 3、字符：char 4、布尔：boolean基本型别大小最小值最大值char16-bitUnicode 0Unicode 2^1
2013-08-16 17:58:16
468
转载 Java Singleton（一）
概念：在Java应用程序中，一个类Class只有一个实例存在运用：1）系统资源，如文件路径，数据库链接，系统常量等2）全局状态化类，类似AutomicInteger的使用优缺点：1）节省内存有利于垃圾回收2）只能使用在特定的环境下,受限制于JVM和容器 单例作用范围的前提是在一个ClassLoad下。所以像分布式应用EJB就要
2013-08-07 18:06:57
462
转载 MySQL中的insert ignore into, replace into等的一些用法总结
在MySQL中进行条件插入数据时，可能会用到以下语句，现小结一下。我们先建一个简单的表来作为测试：CREATE TABLE `books` ( `id` INT(11) NOT NULL AUTO_INCREMENT, `name` VARCHAR(200) NOT NULL, PRIMARY KEY (`id`), UNIQUE KEY `NewI
2013-08-02 12:24:10
552
转载 7个示例科普CPU Cache
大多数读者都知道cache是一种快速小型的内存，用以存储最近访问内存位置。这种描述合理而准确，但是更多地了解一些处理器缓存工作中的“烦人”细节对于理解程序运行性能有很大帮助。在这篇博客中，我将运用代码示例来详解cache工作的方方面面，以及对现实世界中程序运行产生的影响。下面的例子都是用C#写的，但语言的选择同程序运行状况以及得出的结论几乎没什么影响。示例1：内存访问和运行
2013-07-31 17:02:12
533
转载 JDK5.0的11个主要新特征
1 泛型(Generic) 1.1 说明 增强了java的类型安全，可以在编译期间对容器内的对象进行类型检查，在运行期不必进行类型的转换。而在j2se5之前必须在运行期动态进行容器内对象的检查及转换 减少含糊的容器，可以定义什么类型的数据放入容器ArrayList listOfIntegers; // is new to the syntaxInteg
2013-07-26 01:56:00
471
原创 Java String\StringBuffer\Stringbuilder
String是final不可变的，对String类的任何改变，都是返回一个新的String类对象。把String类的引用传递给一个方法，该方法对String的任何改变，对原引用指向的对象没有任何影响，这一点和基本数据类型相似。StringBuffer是字符串变量，它的对象是可以扩充和修改的，所以StringBuffer在进行字符串处理时，不生成新的对象，在内存使用上要优于String。Stri
2013-07-26 01:49:07
307
原创 Spring3.0任务调度
nameSpace引入xmlns:task="http://www.springframework.org/schema/task"xsi:schemaLocation引入http://www.springframework.org/schema/task http://www.springframework.org/schema/task/spring-task-3.0.xsd
2013-07-25 20:10:56
419
Maven使用教程
Maven介绍什么是maven相信很多人都已经对它已经有了或多或少的了解，这里给一个专业的定义：Maven是标准、存储格式以及一些软件用以管理和描述项目。它为构建、测试、部署项目定义了一个标准的生命周期。它提供了一个框架，允许遵循Maven标准的所有项目，方便的重用公用的构建逻辑。Maven项目存在的Apache软件基金会，是一个开源社区，它开发的软件工具，基于一个通用的软件对象模型（...
2013-07-17 12:00:00
106
转载 REST设计原则
简介REST (REpresentation State Transfer，表述性状态转移) 。REST 指的是一组架构约束条件和原则。满足这些约束条件和原则的应用程序或设计就是RESTful。REST 定义了一组体系架构原则，您可以根据这些原则设计以系统资源为中心的 Web 服务，包括使用不同语言编写的客户端如何通过 HTTP 处理和传输资源状态。 如果考虑使用它的 Web 服务
2013-07-04 17:43:32
1447
原创 JVM学习之二：内存管理
内存管理机制内存空间划分为：Sun JDK在实现时遵照JVM规范，将内存空间划分为堆、JVM方法栈、方法区、本地方法栈、PC寄存器。 堆：堆用于存储对象实例及数组值，可以认为Java中所有通过new创建的对象的内存都在此分配，Heap中对象所占用的内存由GC进行回收，在32位操作系统上最大为2GB，在64位操作系统上则没有限制，其大小可通过-Xms和-Xmx来控制，-Xms为
2013-06-19 00:38:50
443
原创 JVM学习之一：内存组成
堆(Heap)和非堆(Non-Heap) 内存按照官方的说法：“Java 虚拟机具有一个堆，堆是运行时数据区域，所有类实例和数组的内存均从此处分配。堆是在 Java 虚拟机启动时创建的。”“在JVM中堆(Heap memory)之外的内存称为非堆内存(Non-heap memory)”。可以看出JVM主要管理两种类型的内存：堆和非堆。简单来说堆就是Java代码可及的内存，是留给开
2013-06-19 00:02:09
471
原创 jstat命令
1. jstat -gc pid可以显示gc的信息，查看gc的次数，及时间。其中最后五项，分别是young gc的次数，young gc的时间，full gc的次数，full gc的时间，gc的总时间。2.jstat -gccapacity pid可以显示，VM内存中三代（young,old,perm）对象的使用和占用大小，如：PGCMN显示的是最小perm的内存使用量，PGC
2013-06-18 17:02:17
339
原创 Strom配置
Storm的配置文件一般存放在$STORM_HOME/conf下，通常名为storm.yaml，它符合yaml格式要求。配置详解以下是从storm的backtype.storm.Config类中搜集的所有storm支持的配置项(Based storm 0.6.0)：配置项配置说明storm.zookeeper.port
2013-05-23 11:13:31
1627
原创 Strom命令
关闭nimbus相关进程kill `ps aux | egrep '(daemon\.nimbus)|(storm\.ui\.core)' | fgrep -v egrep | awk '{print $2}'` 关闭supervisor上的所有storm进程kill `ps aux | fgrep storm | fgrep -v 'fgrep' | awk '{print
2013-05-23 10:50:33
625
转载 ZooKeeper典型应用场景一览
ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的介绍。值得注意的是，ZK并非天生就是为这些应用场景设计的，都是后来众多开发者根据其框架的特性
2013-05-20 18:47:16
363
转载 Storm入门教程 第五章 一致性事务
Storm是一个分布式的流处理系统，利用anchor和ack机制保证所有tuple都被成功处理。如果tuple出错，则可以被重传，但是如何保证出错的tuple只被处理一次呢？Storm提供了一套事务性组件Transaction Topology，用来解决这个问题。Transactional Topology目前已经不再维护，由Trident来实现事务性topology，但是原理相同
2013-05-14 10:44:13
469
转载 Storm入门教程 第四章 消息的可靠处理
4.1 简介storm可以确保spout发送出来的每个消息都会被完整的处理。本章将会描述storm体系是如何达到这个目标的，并将会详述开发者应该如何使用storm的这些机制来实现数据的可靠处理。4.2 理解消息被完整处理一个消息(tuple)从spout发送出来，可能会导致成百上千的消息基于此消息被创建。我们来思考一下流式的“单词统计”的例子：sto
2013-05-14 10:43:30
514
原创 Storm入门教程 第三章 Storm安装部署步骤
3.1 Storm集群组件Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应的角色如下：1. 主控节点（Master Node）上运行一个被称为Nimbus的后台程序，它负责在Storm集群内分发代码，分配任务给工作机器，并且负责监控集群运行状态。Nimbus的作用类似于Hadoop中JobTracker的角色。2.
2013-05-14 10:31:16
1083
转载 Storm入门教程 第二章 构建Topology
在运行一个Storm任务之前，需要了解一些概念：TopologiesStreamsSpoutsBoltsStream groupingsReliabilityTasksWorkersConfigurationStorm集群和Hadoop集群表面上看很类似。但是Hadoop上运行的是MapReduce jobs，而在Storm上运行的是拓扑（topology），这两者之间是非
2013-05-14 10:26:36
540
转载 Storm入门教程 第一章 前言
1.1 实时流计算互联网从诞生的第一时间起，对世界的最大的改变就是让信息能够实时交互，从而大大加速了各个环节的效率。正因为大家对信息实时响应、实时交互的需求，软件行业除了个人操作系统之外，数据库（更精确的说是关系型数据库）应该是软件行业发展最快、收益最为丰厚的产品了。记得十年前，很多银行别说实时转账，连实时查询都做不到，但是数据库和高速网络改变了这个情况。随着互联网的更进一步发
2013-05-14 10:23:50
492
Storm入门教程 第一章 前言
1.1 实时流计算互联网从诞生的第一时间起，对世界的最大的改变就是让信息能够实时交互，从而大大加速了各个环节的效率。正因为大家对信息实时响应、实时交互的需求，软件行业除了个人操作系统之外，数据库（更精确的说是关系型数据库）应该是软件行业发展最快、收益最为丰厚的产品了。记得十年前，很多银行别说实时转账，连实时查询都做不到，但是数据库和高速网络改变了这个情况。随着互联网的更进一步发展，...
2013-05-14 10:23:00
61
原创 eclipse
MyEclipse速度优化1、关闭自动更新 Window > Preferences > Myeclipse > Maven4Myeclipse > Maven > 禁用Download repository index updates on startup。 2 、关闭validation validation有一堆，什么xml、jsp、jsf、
2013-04-19 17:23:59
685
原创 Lucene
1. 全文检索的基本原理Lucene 是一个高效的，基于Java 的全文检索库。所以在了解Lucene之前要费一番工夫了解一下全文检索。什么叫做全文检索呢？这要从我们生活中的数据说起。我们生活中的数据总体分为两种：结构化数据和非结构化数据 。结构化数据： 指具有固定格式或有限长度的数据，如数据库，元数据等。 非结构化数据： 指不定长或无固定格式的数据，如邮件，word文档等。
2013-04-18 16:47:35
435
CASIA语音情感语料库
2022-03-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人