原创 配置hadoop各个节点之间免密码登录实践笔记

前言：         最近在搭建Hadoop环境需要设置无密码登陆，所谓无密码登陆其实是指通过证书认证的方式登陆，使用一种被称为"公私钥"认证的方式来进行ssh登录。在linux系统中,ssh是远程登录的默认工具,因为该工具的协议使用了RSA/DSA的加密算法.该工具做linux系统的远程管理是非常安全的。telnet,因为其不安全性,在linux系统中被搁置使用了。

转载 转：人生比努力更重要的是选择，与时俱进是成功的源泉。

如果有一天你隔壁开火锅店的张三，卖手机卖得比你好，你不用觉得惊讶。因为，这是一个跨界的时代，每一个行业都在整合，都在交叉，都在相互渗透。移动互联网改变生活未来我们的生活会是什么样子呢？我们设想一下，晚上带着家人去吃饭，拿出手机点击附近餐厅，看完餐厅介绍，对比之后，挑一家评价好的、好吃又实惠的餐厅，在手机上领取一张会员卡，定好座位，等时间到了，点击导航，直接去吃饭

转载 转：笔记本电脑开机密码忘记的解决方法

相信有很多人为了电脑数据的安全或者出于保护自己隐私种种原因，都会对自己的电脑设置的开机密码，这样能够防止别人乱动你的电脑。我们设置好开机登录密码后，在开机或者解锁计算机的时候都要输入正确的密码才能进入电脑系统，这样就保证了电脑的安全，可是有的时候时间久了，电脑开机密码忘记了怎么办呢?接下来就和大家分享下忘记电脑开机密码的几种解决办法　　一、电脑已经登录到系统，但是忘记了密　　1、对

原创 hadoop中各个名词的用途

NameNode:元数据服务器Secondary NameNode:辅助元数据服务器JobTracker:任务调度器DataNodes:块存储TaskTrackers:任务执行

原创 JavaScript中没有块级作用域程序举例例证

var i = 10; function a(){ alert(i); } //a();//output:10   var i = 10; function a(){ var i = 2;//在alert上可以输出2 alert(i); //var i = 2;//在alert下因为未赋值所以输出undefined:不明确的变量

原创 JavaScript中声明全局变量的三种方式(包括显示和隐式)

声明方式一：使用var（关键字）+变量名(标识符)的方式在function外部声明，即为全局变量，否则在function声明的是局部变量。 var test = 5;//全局变量 function a(){ var a = 3;//局部变量 alert(a); } function b(){ alert(test); } //a();//调用a方

原创 上班挤公交

今天挤公交，那是相当的挤( ⊙ o ⊙ )啊！

原创 oracle创建主键生成序列

主键生成序列create sequence seq_pcwang_emp start with 1 increment by 1

转载 转:svn和git的区别，maven是什么

鉴于本吧多新人，新人又需要多交流才能进步，今天就给新人们讲讲git和maven的必要性，因为，他们的重要性，远远超过很多没用过的人的想象。很多人应该用过svn cvs之类的代码版本管理工具，git也是其中之一。svn和git最大的几个区别要点，svn必须要有服务端，网络能连上服务端才能提交和更新，git不需要，每一台装了git的电脑都是服务端，各台电脑之间可以相互同步和推送，而提交

原创 为Firefox安装样式

第一步：https://addons.mozilla.org/zh-CN/firefox/addon/stylish/，安装Stylish插件第二步：下载stylish.sqlite，把它放在：C:\Users\wpc\AppData\Roaming\Mozilla\Firefox\Profiles\fak3j0m9.default下面即可这样显示如下效果：

原创 JavaScript中创建对象的几种方式

无标题文档 var Cat={};//JSON Cat.name="风恋绝尘、";//添加属性并赋值 Cat.age=22; Cat.sayHello=function(){ alert("hello"+Cat.name+",今年"+Cat["age"]+"岁了");//可以使用"."的方式访问属性，也可以使用HashMap的方式访问 } Cat.say

原创 String StringBuffer StringBuilder之间的区别

相信大家看到过很多比较String和StringBuffer区别的文章，也明白这两者的区别，然而自从Java 5.0发布以后，我们的比较列表上将多出一个对象了，这就是StringBuilder类。String类是不可变类，任何对String的改变都会引发新的String对象的生成；而StringBuffer则是可变类，任何对它所指代的字符串的改变都不会产生新的对象，可变和不可变类这一对对象已经齐全

原创 父类子类之间的一个经典题目(有关成员变量何时赋值和在哪里赋值的问题)

父类：package cn.edu.lstc.extend;public class Base { private String baseName = "base"; public Base() {// baseName = "base";//默认成员变量在构造方法里这样赋值 callName(); } public void callName() { Syst

转载 转：Nutch学习笔记--抓取过程简析

在上篇学习笔记中http://www.cnblogs.com/huligong1234/p/3464371.html 主要记录Nutch安装及简单运行的过程。笔记中 通过配置抓取地址http://blog.tianya.cn 并执行抓取命令 nohup ./bin/nutch crawl urls -dir data -threads 100 -depth 3 &进行了抓取。本次笔

原创 hadoop学习笔记之分布式计算框架

分布式计算框架：移动计算而不是移动数据，移动计算就是把你写好的计算程序拷贝到不同的计算节点上运行MapReduce适合做离线计算Storm适合做流失计算Spark适合做内存计算框架从HDFS上存储的数据作为我们MapReduce的一个输入，首先把一个文件切成片，然后map计算 接着shuffle,接着reduce,最终把结果存储在HDFS文件系统上面。

转载 RPC协议、http协议、tcp/ip协议、udp协议、socket协议以及soap协议都有什么相同点和不同点

HTTP与RPC的区别:人们常常错误地将HTTP称作一种远程过程调用（RPC）[23]机制，仅仅是因为它包括了请求和响应。   调用远程机器上的一个过程（procedure）的观念，是RPC与其他形式的基于网络的应用通信的区别在。 RPC的协议识别出过程并且传递给它固定的一组参数，然后等待在使用相同接口返回的一个消息中提供的回答。远程方法调用（RMI）也是类似的，除了过程被标识为一个｛对象

原创 在eclipse中进行nutch1.7二次开发通过ant编译build.xml出现Class not found javac1.8

把nutch1.7通过svn导入到本地后打算进行二次开发却在开始用ant进行build.xml构建的时候出现Class not found javac1.8暂且不管哪个sonar没有找到的问题，我们先把那个Class not found :javac1.8的问题：多半是因为Ant版本太低，低于1.9，无法和java1.8兼容,因为我的java运行环境是1.8的，Ant版本也是1.8，所

转载 转：Google大数据三篇著名论文中文版

Google File System中文版Google MapReduce中文版Google Bigtable中文版

原创 abstract的method是否可同时是static,是否可同时是native，是否可同时是synchronized

1，abstract的method是否可同时是static,是否可同时是native，是否可同时是synchronized都不可以，因为abstract申明的方法是要求子类去实现的，abstract只是告诉你有这样一个接口，你要去实现，至于你的具体实现可以是native和synchronized，也可以不是，抽象方法是不关心这些事的，所以写这两个是没有意义的。然后，static方法是不会被

原创 java面试题：res初值为0，接着for循环10次后，res+=res++？最后res等于多少

++单目运算符优先级高于+=赋值运算符优先级res1+=res1++等价于 res1=res1++;res1是先使用后自增，则res1=0,然后res1=res1+res1,结果res1仍是0package com.lstc.mianshi;public class Test1 { public static void main(String[] args) { int res1

原创 执行./nutch 命令后出现的nutch脚本用法解读

Usage: nutch COMMAND  where COMMAND is one of:  inject        inject new urls into the database  ：注入新的url到数据库中hostinject    creates or updates an existing host table from a text file ：从一个文本文件中创建

原创 ./在Linux下的含义解读

./在Linux下的含义：         当前目录的意思，如果你想运行当前目录的aaa，可以使用./aaa来运行，表示执行在当前目录下面的aaa，如果你只打上aaa，那么系统会在默认的系统程序目录里面寻找aaa，多半情况是找不到无法运行了 在这里表示的是当前目录，就像 .. 表示上级目录一样。这个 / 表示的是目录级别的分隔符，他之前的就是目录名，./aaa/ 表明的就是 . （

转载 转：Nutch-2.2.1脚本分析

为了对Nutch进行定制化，需要看懂Nutch的源码。 版本：2.2.1   最新版本 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~· ?123我们知道执行nutch时，会敲入./bin/nutch通过查看nutch的内容，我们知道这是一个shell脚本  ?

转载 转：Cygwin下VI命令使用

在安装了cgywin之后，在里面会经常用到VI命令，在进行VLC编译时会用到VI的创建文件、修改文件等命令，如果你嫌麻烦，则可以在windows下直接对文件进行操作，如果想学下VI使用，下面的教程非常好。从一开始我也不习惯在cygwin下用VI，要修改个东西麻烦死了，后来了解了VI命令之后，慢慢就习惯了。【Vi编辑器的基本使用方法】转摘自 http://linux.chinaunix.

转载 转：cygwin简单应用及Nutch之Crawler工作流程

cygwin简单应用：cygwin home 目录：ls /                   -- 根目录ls /cygdrive            -- 查看本地操作系统的盘符，如c盘、d盘pwd                    -- 当前位置路径/home/zf               -- 对应目录在 \cygwin\home\zf，cygwin的安

转载 转：网页爬取页面去重策略

网上搜集到的网页去重策略：1.通过MD5生成电子指纹来判断页面是否改变2.nutch去重策略：nutch中digest是对采集的每一个网页内容的32位哈希值，如果两个网页内容完全一样，它们的digest值肯定会一样，但哪怕其中之一多或少一个空格，它们的digest值就会不一样。所以，我认为，用digest做id是一个非常不错的选择。    如果nutch在两次不同的时间抓某个网页，例如

原创 选择器的基本分类和扩展选择器

div：行级标签  2个div之间会换行span：块级标签p:行级标签：2个p之间会换行，且有个空行

原创 Java实现快速排序

package com.lstc.sort;/** * 快速排序算法实现： * 时间效率：快速排序算法的运行时间依赖于划分是否平衡，即根据枢轴元素 pivot * 将序列划分为两个子序列中的元素个数，而划分是否平衡又依赖于所使用的枢轴元素。下面我们 在不同的情况下来分析快速排序的渐进时间复杂度。 * * 快速排序的最坏情况是每次进行划分时，在所得到的两个子序列中有一个子序列为空。O

原创 WEB服务器、应用服务器、Tomcat、Servlet

Web服务器：专门处理HTTP请求，提供WEB信息浏览服务应用服务器：可解析运行后台代码，为应用服务器提供商业逻辑Servlet：是一种运行在支持Java语言的服务器上的组件Tomcat是一个Servlet容器，也是具备WEB服务器能力的轻量级的应用服务器

原创 cvs、svn、git、github

原创 Hive定义、Hive与HBase关系、Hive与RDBMS的关系、数据库与数据仓库的区别

1、Hive定义Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reduc

原创 路由器和交换机有什么区别

首先说交换机（又名交换式集线器）作用可以简单的理解为将一些机器连接起来组成一个局域网。而路由器与交换机有明显区别，它的作用在于连接不同的网段并且找到网络中数据传输最合适的路径 ，可以说一般情况下个人用户需求不大。路由器是产生于交换机之后，就像交换机产生于集线器之后，所以路由器与交换机也有一定联系，并不是完全独立的两种设备。路由器主要克服了交换机不能路由转发数据包的不足。随着社会的发展，

原创 NAT介绍，防火墙介绍

NAT（Network Address Translation，网络地址转换）是1994年提出的。当在专用网内部的一些主机本来已经分配到了本地IP地址（即仅在本专用网内使用的专用地址），但现在又想和因特网上的主机通信（并不需要加密）时，可使用NAT方法。这种方法需要在专用网连接到因特网的路由器上安装NAT软件。装有NAT软件的路由器叫做NAT路由器，它至少有一个有效的外部全球IP地址。这样，所

原创 有8个一样的球，其中有一个要重一些。有一个天平，怎么称，才能2次就把重的球找出来？

分别拿3个球放在天平的两边，如果天平平衡，则再称剩余的两个球；如果天平不平衡，则把重的一边的3个球中任选2个球放在天平两边，若天平平衡，则剩余的那个球是比较重的那个，若不平衡，则天平下沉的一端是那个重一些的球

转载 转载：通过Java API编程实现Nutch Crawler抓取数据存储到MySQL数据库

Nutch Crawler抓取数据并存储到MySQLApache Nutch是在Java平台上开发的开源网络爬虫工具。按照Nutch官方网站给出的向导，通过使用Nutch命令，可以比较容易地抓取指定种子网站的数据。不过，若是要通过它提供的Java API，以编程方式抓取数据，并存储到指定的数据存储，如MySQL，则有一些技巧或者说秘诀需要注意。经过这几天抽空进行的试验，并查询了相关资料，完

原创 Hive简介

Hive是构建在Hadoop HDFS上的一个数据仓库，本质就是一个数据库Hadoop和hive都是基于Linux操作系统构建的Hive可以用来进行数据提取转化加载(ETL)Hive定义了简单的类似SQL查询语言，称之为HQL，它允许熟悉SQL的用户查询数据Hive是HQL解析引擎，他将SQL语句转移成M/R Job然后在Hadoop执行hive的表其实就是HDFS

原创 hibernate对数据库进行CRUD操作

package com.hibernate.test;import java.util.List;import org.hibernate.Session;import org.hibernate.SessionFactory;import org.hibernate.Transaction;import org.hibernate.cfg.Configuration;import

原创 hibernate中的sessionFactory接口讲解

* 1 在sessionFactory中存放这配置文件和所有的映射文件信息 * 2 sessionFactory是一个重量级的类（接口） * 3、一个数据库只能有一个sessionFactory * 4、一个配置文件只能连接一个数据库 * 5、只要创建了sessionFactory,表就创建完毕了 * 6、sessionFactory中存放的数据是共享数据，但是这个类本身是线程

原创 使用json来定义函数,在里面可以定义多个函数

//普通方法 function add(a,b){ return a+b; } add(3,4); //使用json来定义函数,在里面可以定义多个函数 var method={ add:function(a,b){ return a+b; }, add2:function(a,b

原创 java多态的实现主要体现在哪些方面

thinking in java3中的多态People are often confused by other, non-object-oriented features of Java, like method overloading, which are sometimes presented as object-oriented. Don’t be fooled: If it isn’t