sinat_16596967-CSDN博客

原创（TopkOnJstorm）终期报告

经过两个月的工作，在商之狄老师的指导下，基本完成预期的任务，

2014-09-12 14:09:32 637

原创（TopkOnJstorm）第九周工作报告：2014-09-01~2014-09-07

本周工作分三个部分一：改善Rest APIh

2014-09-12 13:56:19 545

原创（TopkOnJstorm）第八周工作报告：2014-08-25~2014-08-31

本周工作分四个部分

2014-09-12 11:27:33 542

原创（TopkOnJstorm）中期报告（第一个月）（补）

本文内容为中期检查报告：1. 完成了对Azure的了解和Storage API的应用。2. 完成了对JStorm的了解和使用。3. 在实验室集群搭建了JStorm的集群，并测试成功。4. 完成了topk算法的初步实现，并能够在JStorm上使用。5. 完成了对REST API的使用和测试。6. 完成了对Azure资源的申请。商老师通过了对我的中期考核。

2014-09-08 14:32:29 486

原创（TopkOnJstorm）第六、七周工作报告：2014-08-11~2014-08-24

本周工作分两个部分一：配合中期检查二：研究Azure虚拟机的使用三：

2014-08-24 00:21:44 558

原创（TopkOnJstorm）第五周工作报告：2014-08-4~2014-08-10

本周的工作主要分两个部分：

2014-08-23 21:32:11 486

原创（TopkOnJstorm）第三、四周工作报告：2014-07-21~2014-08-03

两周工作分五个部分一：申请微软Azure资源通过和导师数次邮件沟通，申请下了世纪互联运营的 Windows Azure beta 试用。账号为[email protected]二：研究Azure虚拟机和存储服务的使用虚拟机的使用在下一周周报中描述。存储服务的使用：如第一周的周报所述，Az

2014-08-05 16:03:07 889 2

原创（TopkOnJstorm）第二周工作报告：2014-07-14~2014-07~20

一：搭建JStorm环境（三个机器组成的集群）1. 搭建Zookeeper集群2. 安装java1.7和python 2.6，因为JStorm是由大量的java和python编写。3. 安装JStorm-0.9.3.1。4. JStorm需要tomcat来展现UI，所以需要安装tomcat。二：写完TopK_on_JStorm的第一个版本（项目地址），整个项目提供一个简单的topk计算流程，由并发度为1的ScoreProduceSpout提供随机数数据（id，score），并发度为4的ComputeBolt

2014-07-22 02:29:44 1086

转载 Java之七：HashMap的实现原理

1. HashMap概述： HashMap是基于哈希表的Map接口的非同步实现。此实现提供所有可选的映射操作，并允许使用null值和null键。此类不保证映射的顺序，特别是它不保证该顺序恒久不变。 2. HashMap的数据结构：在java编程语言中，最基本的结构就是两种，一个是数组，另外一个是模拟指针（引用），所有的数据结构都可以用这两个基本

2014-07-20 02:25:10 705

原创分布式系统之五：进程/线程

本博文主要讲诉核心操作系统的进程、线程等进程：一个进程由一个执行环境和一个或多个线程组成。执行环境资源管理的基本单位，它是一个进程的线程所能访问的由本地内核管理的资源集合，可以提供保护而不被外部线程访问。包含：一个地址空间：是一组虚拟内存的集合，由内核提供，包含一个固定的、包含程序代码的不可更改的正文区域；一个堆，能向高位扩展；一个栈，能向地位扩展。线程同步和通信资源，

2014-07-19 14:19:09 1251

原创分布式系统之四：间接通信

本博文主要讲诉间接通信技术，包括组通信、发布-订阅系统、消息队列、分布式共享内存等间接通信：间接通信被定义为在分布式系统中实体通过中介者进行通信，没有发送者和接收者之间的直接耦合。间接通信技术：组通信：在组通信中，通信通过一个抽象的组进行，发送者不知道接收者的身份。发布-订阅系统：代表一类方法，这类方法的共同特点是通过中介者将事件分发给多个接收者。消息队列

2014-07-19 14:19:07 3848

原创 Java之六：Java Reflection

本博文主要讲诉Java Reflection的定义、相关类以及主要用途Java Reflection：我们可以于运行时加载、探知、使用编译期间完全未知的classes。换句话说，是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意一个方法和属性；这种动态获取的信息以及动态调用对象的方法的功能称为java语言的反射机制。Java Ref

2014-07-19 14:19:05 613

原创 Java之五：Java实例化类的方法

本博文主要讲诉Java类的实例化方法Java类的实例化方法：使用new操作符调用Class对象的newInstance()方法调用clone()方法，对现有实例的拷贝通过ObjectInputStream的readObject()方法反序列化类实例：使用类import java.io.Serializable; public class Calcula

2014-07-19 14:19:03 545

原创 Java之四：类的加载器ClassLoader

本博文主要讲诉java中类的加载器的使用类在jvm中的形式：在JAVA的运行时环境中（Java runtime），每一个类都有一个以第一类（first-class）的Java对象所表示出现的代码，即java.lang.Class的实例。其表现形式可以表示为：java.lang.Class class = Myclass.class;一旦一个类被载入JVM中，同一个类就不会再次载入了

2014-07-19 14:19:00 453

原创 Java之三：Java类的装载、链接和初始化

本博文主要讲述Java类的装载、链接和初始化Java类执行的一般过程：一般的Java应用开发过程：开发人员编写的是Java源代码文件（.java），IDE会负责调用Java的编译器把Java源代码编译成平台无关的字节代码（byte code），以类文件的形式保存在磁盘上（.class）。Java虚拟机（JVM）会负责把Java字节代码加载并执行。Java通过这种方式来实现其“W

2014-07-19 14:18:58 536

原创 Java之二：工厂模式

本博文主要介绍工厂模式的三种模式：简单工厂模式、工厂方法模式、抽象工厂模式工厂模式：在Java程序系统中，工厂模式是我们最常用的模式。因为工厂模式就相当于创建实例对象的new，我们经常使用的A a=new A()可以用工厂模式创建实例对象来代替。虽然这样做，可能多做一些工作，但会给系统带来更大的可扩展性和尽量少的修改量。根据Java面向对象的原则中封装(Encapsulation)和分

2014-07-19 14:18:56 430

原创 Java之一：Serialization（序列化…

本博文主要介绍Java Serialization（序列化）的定义、实现、特点、接口、算法和实例Java序列化的定义： Java Serialization（序列化）是将对象或者对象树的状态转化为Byte流，经过网络传播或者存储，最后被其他地方读取并重新构造一个相同的对象的过程。目的是为了解决对对象流进行读写操作时所引发的问题。Java序列化的实现：将需要被序列化的

2014-07-19 14:18:54 708

原创分布式系统之三：CAP定理的实践

本博文主要介绍CAP定理的现状、与延迟的关系、实践本博文内容主要摘自Computer杂志，由InfoQ和IEEE提供的中文版，可能比较枯燥，但是极其有趣，如果您读完此文，会对CAP定理乃至整个分布式系统有个更深入的理解CAP定理的基础知识《分布式系统之二：CAP定理》CAP定理的现状 CAP定理的表述很好地服务了它的目的，即开阔设计师的思路，在多样化的

2014-07-19 14:18:52 1821

原创分布式系统之二：CAP定理

本博文主要介绍CAP定理的起源、定义、意义与影响，以及ACID模型和BASE模型CAP定理 CAP定理（Consistency，Availability，Partition Tolerance ），说的是在一个分布式计算机系统中，一致性，可用性和分区容错性这三种保证无法同时得到满足，最多满足两个。这个定理起源于柏克莱加州大学（University of California,

2014-07-19 14:18:49 1256 1

原创 RPC/RMI之三：JSONRPC

本博文主要介绍JSON以及JSONRPC的使用RPC的原理和设计框架请看《RPC/RMI之一：RPC简介》JSON：JavaScriptObject Notation，是一种轻量级的数据交换格式，它采用完全独立于语言的文本格式，成为一种理想的数据交换语言。基础结构：对象和数组，通过这两种结构可以表示各种复杂的结语法：数据在名称/值对中；数据由逗号分隔；花括号保存对象；方括号保存数组

2014-07-19 14:18:47 853

原创 RPC/RMI之二：XMLRPC

本博文主要介绍XML以及XMLRPC的使用RPC的原理和设计框架请看《RPC/RMI之一：RPC简介》XML，名为可扩展标记语言，它是外部数据表示的一种（外部数据表示会在其他章节讲诉），它与josn一样是一种数据交换格式。详细可见XML百科，在其他章节会讲述如何解析XML，这里讲诉它的特征：1、XML是HTML的补充，目的是为了存储和传输数据，而HTML是为了展示数据2、标签没有被预

2014-07-19 14:18:45 788

原创 RPC/RMI之一：RPC简介

本博文主要介绍RPC的介绍、框架和应用场景远程过程调用（RPC）将过程调用的通用编程抽象扩展到了分布式环境，如此，一个调用过程可以像调用本地节点上的过程那样去调用一个远程结点上的过程，实现了高级的分布透明性，即一个底层的RPC系统隐藏了包括对参数和结果的编码和解码、消息的传递以及保留过程调用要求的语义。从设计问题上讲，有三个概念尤为重要1、接口编程：重要在于如何使接口和实现相分离，接口

2014-07-19 14:18:43 899

原创分布式系统之一：分布式系统的挑战

本博文主要介绍分布式系统的特征、应用与挑战（参考DistributedSystems Concepts and Design）博主曾经在国内某电子商务公司的终面里面遇到了关于分布式系统的问题（因为我的简历上写明了我熟悉分布式系统），于是面试官很慈祥的问了我什么是分布式系统、cap理论、应用场景等。从面试官的言情看得出来他很不满意，博主也很是失望。只想告诫大家：一个项目并不代表你对着一个方向

2014-07-19 14:18:40 4519 1

原创网络编程之三：java.net包的DatagramSocket和DatagramPacket

本博文主要简述TCP/UDP的比较和应用场景，继而java.net包下基于DatagramSocket/DatagramPacket的编程和源码分析TCP与UDP作为传输层两个重要的协议，得到广泛的使用TCP1、面向连接，速度较慢，证明：连接双方的一方主动断开连接之后，另一方的recieve（）会立即作出响应2、面向字节流，虽然应用程序和TCP的交互是一次一个数据块（大小不等），但TC

2014-07-19 14:18:38 2872

原创网络编程之二：java.net包的Socket和SocketServer

本博文简要阐述java.net包下的基于TCP/IP的Socket编程以及其源码分析写网络编程这一章，初衷是为了讲诉HttpClient、Jetty、Netty的使用心得，NIO和BIO的比较，Thrift和Avro等，无奈今天被合作伙伴鄙视了，他看到我用了Apache的Httpclient（C)+Jetty（S），说：你只不过是传一些数据，用Socket多简单迅速，我们的量一天十几T，难

2014-07-19 14:18:36 2874

原创网络编程之一：网络编程的大门

本博文简要阐述当今网络世界的OSI参考模型，以及如何开启网络编程的大门socket和大门背后的秘密ISO/OSI参考模型，是ISO（国际标准化组织）在1985年研究的网络互联模型，该体系结构标准定义了网络互连的七层框架（物理层、数据链路层、网络层、传输层、会话层、表示层和应用层）。它定义了一种层次结构，层次之间的互相关系以及各层所提供的服务，并不涉及具体的实现。请参考ISO/OSI参考模型

2014-07-19 14:18:34 520

原创（TopkOnJstorm）第一周工作报告（2014-07-07~2014-07-13）

本周工作主要分四个部分：

2014-07-13 20:10:51 557

Evan的开源之旅