- 博客(37)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 hadoop的分布式安装过程
1.hadoop的分布式安装过程1.1 分布结构 主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker1.2 各节点重新产生ssh加密文件1.3 编辑各个节点的/etc/hosts，在该文件中含有所有节点的ip与hos
2014-03-15 12:01:22
572
原创 hadoop伪分布式配置
hadoop的伪分布安装(虚拟机配置为host-only连接)1.1 设置ip地址执行命令 service network restart验证: ifconfig1.2 关闭防火墙(如果没关闭防火墙，从windows下不能用浏览器访问)执行命令 service iptables stop验证: service iptables status1
2014-03-15 11:59:44
486
转载 计算机广告学目录
网易公开课地址http://study.163.com/course/courseLearn.htm?courseId=321007#/learn/video?lessonId=435061&courseId=3210071、第一周：广告的基本知识。 介绍了广告的目的和广告的有效性模型；介绍了在线广告的特点（技术和计算导向，可衡量性，标准化）；引出了计算广告核心问题：
2014-03-15 00:19:46
974
原创 flume指南
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点3.agent里面包含3个核心组件：source、channel、sink3.1 source组件是专用于收集日志的，可以处理各种类型各种格式的日志数据,包括avro、thrif
2014-03-15 00:14:40
566
原创 zookeeper配置
1. ZooKeeper1.1 zk可以用来保证数据在zk集群之间的数据的事务性一致。2. 如何搭建ZooKeeper服务器集群2.1 zk服务器集群规模不小于3个节点，要求各服务器之间系统时间要保持一致。2.2 在hadoop0的/usr/local目录下，解压缩zk....tar.gz，设置环境变量2.3 在conf目录下，修改文件 vi z
2014-03-15 00:11:22
420
原创 pig指南
1.Pig是基于hadoop的一个数据处理的框架。MapReduce是使用java进行开发的，Pig有一套自己的数据处理语言，Pig的数据处理过程要转化为MR来运行。Pig在Hadoop基础上运行。2.Pig的数据处理语言是数据流方式的3.Pig基本数据类型：int、long、float、double、chararry、bytearray
2014-03-15 00:10:08
615
原创 hive指南
1.Hive1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。hive有一套映射工具，可以把SQL转换为MapReduce中的job，可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件
2014-03-15 00:08:17
390
原创 Hbase指南
1.HBase的数据模型1.1 表(table)1.2 行键(row key)，类似于MySQL中的主键 行键是HBase表天然自带的。1.3 列族(column family)，列的集合 HBase中列族是需要在定义表时指定的，列是在插入记录时动态增加的。HBase表中的数据，每个列族单独一个文件。1.4 时间戳(times
2014-03-15 00:01:44
528
原创 通过Nutch-655和urlmeta学习如何使用nutch插件
这个patch的目的是把metadata信息注入到crawldb中1. 我们要这样配置url，每个字段之间用tab键隔开http://www.ibm.com/developerworks/cn/java/j-lo-nutchplugin/ key=nutch security=publichttp://www.ibm.com/developerworks/c
2014-03-12 19:51:46
779
原创 nutch插件配置
1. 介绍参考官方文档http://wiki.apache.org/nutch/PluginCentral参考杨尚川的博客，我补充些可能遇到的问题http://yangshangchuan.iteye.com/blog/2028590http://yangshangchuan.iteye.com/blog/20285932. 插件组成2.1 ja
2014-03-12 16:31:13
3910
原创 通用乱码解决方案
通用：添加page编码 page language="java" contentType="text/html; charset=UTF-8" pageEncoding="UTF-8"%>添加meta编码meta charset="UTF-8">1. get方式使用tomcat的话，修改server.xml如下Connector connecti
2014-03-10 17:00:19
524
原创 Mysql笔记
1. 安装1.1 解压mysql安装包，并添加环境变量1.2. 修改my.ini1、将mysql目录下的其中一个my-xx.ini重命名为my.ini2、打开my.ini，在该文件中的[mysqld]下面增加两个配置信息basedir=指向mysql的目录，datadir指向mysql的数据库存储目录1.3. 安装服务1、进入命令
2014-03-09 09:15:58
467
原创 centos虚拟机网络配置
使用桥接1、修改VirtualBox Host-Only Network的ip和掩码如果你的网卡ip为192.168.1.200，那么这里配置一个同网段的ip，例如192.168.1.201，掩码配置与网卡相同2、修改VirtualBox软件中网卡配置与第一步配置的ip相同3、修改Centos配置文件1）修改ip vi /etc/sysconfig/network-script
2014-02-12 16:54:07
616
原创 使用h2进行debug
1、搭建一个普通环境，引入activiti，h2等jar包public class MyBusinessProcessTest { @Rule public ActivitiRule activitiRule = new ActivitiRule(); @Test @Deployment public void ruleUsageExample() {
2014-01-21 17:00:38
852
1
原创 github page搭建手册
1、安装ruby2、安装gem3、安装jekyll参考以下文字http://www.madhur.co.in/blog/2011/09/01/runningjekyllwindows.html4、安装python（高亮显示）5、创建webjekyll new blog6、发布到github问题：github文件删除问题在本地删除文
2014-01-20 16:22:42
522
原创 windows下安装jekyll的常见问题
1、cannot close fd before spawngem uninstall pygments.rb --version "=0.5.1"gem install pygments.rb --version "=0.5.0"2、 jekyll serve后显示mkdir错误卸载1.43，安装1.4.2gem uninstall jekyllgem i
2014-01-20 13:40:21
641
原创 重置mysql root 密码
1、关闭mysql服务net stop mysql52、启动不检查权限的mysql服务mysqld -nt --skip-grant-tables3、修改user表的root密码use mysqlupdate user set password=password("new_pass") where user="root";flush privileges;4
2014-01-20 09:54:36
435
原创 git创建项目
1、在网页创建一个项目，名字为hellourl为：https://github.com/yourname/hello2、在本地一个目录，使用git clone 得到这个项目git clone https://github.com/yourname/hello3、进入这个目录，添加文件git add .git commit -m "hello"4、添加remotegi
2014-01-19 16:34:21
442
原创 github连接被拒绝的问题
1、更具网上的教程，生成ssh key，并在自己的github中设置key，测试结果显示没有权限，如下：ssh -vT [email protected] denied (publickey).2、问题其实可以参考回显：debug1: identity file /.ssh/id_rsa type -1debug1: identity file /.ssh
2014-01-19 16:17:33
10836
原创 不能解析el表达式的问题
需要修改web.xml为以下形式：<web-app xmlns="http://java.sun.com/xml/ns/javaee" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/x
2014-01-18 20:05:42
551
原创 git常用命令
在当前目录初始化gitgit init添加一个octocat.txt文件git add octocat.txt提交（含注释）git commit -m "add cute octocat"添加多个txtgit add '*.txt'查看loggit log在remote添加origingit remote add origin https://githu
2014-01-16 15:14:51
547
原创 开始activiti
activit是属于apache基金会的一个工作流项目1、下载路径http://www.activiti.org/2、帮助文档http://www.activiti.org/userguide/3、eclipise插件更新地址http://activiti.org/designer/update
2014-01-15 17:46:27
398
原创 eclipse新建maven项目，自动选择jdk版本
1、修改setting.xml 1.7 1.7 1.7 1.7 或者在每个项目中，添加： activiti org.apache.maven.plug
2014-01-14 10:00:31
707
原创 maven设置依赖version属性
在pom.xml文件中：1、加入profiles spring.version 4.0.0.RELEASE 2、version处用${name}替代 org.springframework spring-context ${spring.version}
2014-01-14 09:42:46
1481
原创 mysql插入注册日期的方案
1、用户类添加Date regiesterDate属性，注意是java.util.Date。2、数据库表添加timestamp列。3、DAO中，使用ps.setTimestamp(5,new java.sql.Timestamp(user.getRegisterDate().getTime()));设置时间。注意：此处也可以使用new java.sql.Date，但是这样插入的数据没有
2013-12-24 16:49:34
440
原创 mysql中文乱码解决方案
两种方案，推荐第一种。方案一：修改my.ini文件[mysqld]character_set_server=utf8[mysql]default-character-set=utf8注意：5.5之前版本，[mysqld]下的参数名是default-character-set（未测试）方案二：进入mysql后，使用以下命令修改：set name
2013-12-21 22:45:48
429
原创 freemarker一页书
收集freemarker的实战经验1、宏文章列表模板MODULE：版块LIST：内容wordLength：名字最大长度contentNum：每块的内容clickUrl：点击的链接class：css类subClass：css类flag:预留判断，用于扩展-->
2013-10-23 09:26:04
529
原创 java对象初始化顺序
1、先父类，后子类2、先静态，后动态静态只执行一次，只有当new时，才调用构造函数，从父类到子类开始构造对象销毁是先销毁子类，后销毁父类，正好相反
2013-10-05 20:03:18
519
原创 equals, hashCode, clone的tips
equals, hashCode, clone都是针对对象的地址进行操作，而不是针对对象的具体值equals返回true或falsehashCode返回对象的hash值，为int类型clone返回一个Object对象如果希望自己定义的对象，例如一个Point对象，可以用equals判断相等，需要重写equals和hashCode方法
2013-10-05 19:42:50
487
原创 java的内存分析之一
内存分为四块：heap（堆）、stack（栈）、data section 、code section所有new出来的对象，都存在heap里。局部变量保存在stack中，如果是引用型数据，值指向heap的对象。所有静态数据储存在data section。所有代码存在code section，所有对象共用方法代码。String s = new S
2013-05-08 11:29:52
456
转载 在Eclipse中查看JDK源码的设置
设置： 1.点 “window”-> "Preferences" -> "Java" -> "Installed JRES"2.此时"Installed JRES"右边是列表窗格，列出了系统中的 JRE 环境，选择你的JRE，然后点边上的 "Edit..."， 会出现一个窗口(Edit JRE)3.点rt.jar文件左边的“+” 号4.展开后，可以看到“Source Attac
2013-05-08 11:17:43
590
原创 Java使用System.out.print()输出中文成乱码的问题
网上关于这个的说法挺多，大多集中在jsp部分，也就是和网络有关系。但有些同学其实就是普通的程序，就成乱码了，开始以为和自己安装的MySQL有关，其实没有。经过参考这篇文章：http://luzefengoo.blog.163.com/blog/static/1403593882012754428536/有了很大的启发。先摆个示例程序：class TestPrint { public sta
2013-04-09 12:23:16
26253
原创 PHP学习笔记002——php5.2.6有关fetch_assoc()的bug
Luke Welling的《PHP和MySQL Web开发》，202页有关php从MySQL获取数据的例子。里面用到$result->fetch_assoc()大致程序如下：$db = new mysqli('localhost','root','hello','card');if(mysqli_connect_error()) { echo "connect error!
2013-04-06 10:09:21
844
原创 php学习笔记001——环境引发的问题
LAMP环境是最流行的网站架设组合，包括Linux，Apache，MySQL和PHP。一般对职业程序员，他们都是在Linux上使用这套环境，但再牛的程序员，也是从菜鸟走过来的，而大多数菜鸟都用windows，本文就说说windows下安装环境遇到的问题。 其实，相对于Linux，windows安装十分简单，顺序就是先Apache，再PHP，最后MySQL。（当然最后可以装其他辅助工具）
2013-04-06 09:31:04
840
原创 深入理解计算机系统（第二章学习笔记）
<br />2.1节<br />二进制，八进制，十进制，十六进制<br />数据大小<br />小端，大端<br />逻辑，移位等运算符<br />2.2节<br />整数：补码，反码，原码。<br />2.3节<br />整数运算<br />2.4节<br />浮点数<br /> <br /><br />
2011-05-20 11:01:00
308
原创 深入理解计算机系统（第一章学习笔记）
这本书的作者是Randal E. Bryant和David R. O’Hallaron，刚开始看，讲的很基础很明白，不愧是计算机的经典教材之一。计算机可以理解的语言是0，1编码，但是这种编码太麻烦，人们就设计了ASCⅡ码，这好像就是个map，里面一个符号都对应一个数字，那么二进制的代码就对应成了现实中的符号，例如#对应35，d对应100等。在Unix系统中，一个源程序到可执行文件经历了：预处理，编译，汇编，链接介绍下GNU项目，stallman开启的，项目的目的就是开发出一个类Unix的系统，可以不受限制的
2011-05-20 10:20:00
327
D3-Debugging NNs.pptx
2018-06-24
housing data 数据集
2017-09-26
Wiley.The.Data.Warehouse.Toolkit.3rd.Edition.
2015-02-25
经典 Professional.Java.Development.with.the.Spring.Framework
2014-10-08
很好的web常见漏洞示例
2013-08-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人