mustbesomebody-CSDN博客

转载启动hadoop 2.6遇到的datanode启动不了

查看日志如下:2014-12-22 12:08:27,264 INFO org.mortbay.log: Started [email protected]:500752014-12-22 12:08:27,692 INFO org.apache.hadoop.hdfs.server.datanode.Da

2017-10-29 14:50:13 457

原创 Ubuntu下搜狗拼音输入法安装的问题

突然不好用了，尝试了无数方法，重装无数次后，通过这个解决 ^.^cd ~/.configrm -rf sogou*rm -rf Sogou*

2017-04-02 15:09:46 594

转载 idea使用maven配置下载镜像（解决依赖文件下载不动的问题）

转载自 http://blog.csdn.net/sky19891212/article/details/43924831?locationNum=7&fps=1，亲测好用～设置方法，可以通过右键项目找到maven选项，open setting.xml选项进行时修改配置文件。xml version="1.0" encoding="UTF-8"?>xmlns="ht

2017-04-01 22:46:19 2105

转载 mongoDB 3.0 安全权限访问控制

本文转载自：http://ibruce.info/2015/03/03/mongodb3-auth/MongoDB3.0权限，啥都不说了，谷歌百度出来的全是错的。先安装好盲沟，简单的没法说。首先，不使用 —auth 参数，启动 MongoDB：mongodb-linux-i686-3.0.0/bin/mongod -f mongodb-lin

2017-03-31 11:38:23 360

原创 Storm wordcount

前言：1个Spout得到数据源2个bolt,其中一个用来把获取到的数据进行切分为单词，另一个bolt用来统计词频创建java工程，导入storm lib包下的jar 或者通过maven方式进行包管理Spout代码:package com.storm.stu01;import java.util.Map;import java.util.Random;impor

2017-03-30 13:52:37 711

原创 Storm 1.0.3版本分布式安装

前言：安装在3台ubuntu14.04虚拟机上，nimbus 192.168.0.180supervisor 192.168.0.181supervisor 192.168.0.1821.安装JDK1.6+#SET JDKexport JAVA_HOME=/home/hadoop/software/jdk1.7.0_76export JRE_HOME=$J

2017-03-30 13:37:19 546

原创 Flume NG 例子

flmue NG 应用案例：==========================1 hello world例子(netcat)=================编写配置文件, 如 conf/flume-conf.properties文件：# The configuration file needs to define the sources, the channels and the

2017-03-21 22:09:14 477 2

转载 Flume NG 入门

转载自： http://my.oschina.net/leejun2005/blog/288136Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合

2017-03-20 16:09:31 386

原创 Hive UDF开发

======================1 转换小写==========================hive> select * from student;OK2 BEBETTER1 HUANGPENGTime taken: 0.149 seconds, Fetched: 2 row(s)hive> desc student;OKid i

2017-03-19 01:45:20 411

转载开启hive数据表的update delete

转载自:http://blog.csdn.net/suijiarui/article/details/51174406之前介绍了Hive的安装，hive安装后可以修改建表及查询操作，在执行修改操作时遇到了如下问题。[html] view plain copy update student set name='zhangsan' whe

2017-03-18 18:02:01 763

原创 Hive Join的几种方式

下面实验几种hive中常用到的join操作首先创建两个文件用于导入表中hadoop@master:~/17$ cat data11,a2,b3,c4,d5,e8,u9,rhadoop@master:~/17$ cat data21,aa2,gg7,www19,ee实验步骤:1.创建hive表create table a(id int, na

2017-03-18 15:33:35 1657

转载 Ubuntu下Protobuf2.4+安装

转载自：http://www.cnblogs.com/javaee6/p/4849051.html1 下载protobuf https://github.com/google/protobuf/releases/download/v2.6.1/protobuf-2.6.1.tar.gz2 进入下载文件的目录1 tar -zxvf protobuf-2

2016-12-22 14:31:39 957

原创 MR之wc数据写入Hbase

import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.HBaseConfiguration;

2016-12-19 01:21:13 592

原创 Hbase Java编程基本操作

import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.

2016-12-18 23:01:13 450

原创剑指Offer_2题

题目：实现单例模式java版本:package stu1;public class SingleTon { private volatile static SingleTon instance; private SingleTon() { }; public static SingleTon getInstance() { if (instance == null) {

2016-12-12 00:36:28 394

原创 Ubuntu虚拟机固定ip地址

环境为VirtualBox+Ubuntu Server1.修改/etc/network/interface# This file describes the network interfaces available on your system# and how to activate them. For more information, see interfaces(5).

2016-12-05 09:02:43 945

转载 HIVE 2.1.0安装

环境：CentOS7Hadoop-2.6.4，配置两个节点：master、slave1mysql-server过程：下载、解压hive-2.1.0到/usr/hadoop-2.6.4/thirdparty$ tar zxvf apache-hive-2.1.0-bin.tar.gz设置 Hive环境变量编辑 /etc/pr

2016-11-13 16:23:39 385

原创 MySQL的时候提示Access denied for user 'root'@'localhost' (using password: YES)

解决办法：1.在终端上进入数据库的命令行：mysql -u root -p 在输入密码后进入mysql的命令行2.接着输入命令下面两条命令：grant all privileges on *.* to 'root'@'localhost' identified by '密码' with grant option;flush privileges;

2016-11-08 22:03:10 412

转载 Hive metastore database is not initialized. Please use schematool（...） to create the schema.

同样遇见问题，这篇文章解决了 http://blog.csdn.net/xiaoshunzi111/article/details/51906049一：问题：Exception in thread “main” java.lang.RuntimeException: Hive metastore database is not initialized. Please use schem

2016-10-31 00:34:34 619

转载 hive 配置 mysql时的问题（Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D

这篇文章解决了问题，转载自:http://blog.csdn.net/lanchunhui/article/details/50858092因为 Hive 的映射工具——metastore，默认存放在 derby 中，而derby数据库的一大缺陷在于其不支持并发访问（早期的hive是这样）。当我们使用MySQL 作为其远程仓库时，自然需要修改相关配置文件。（其实所谓的默认配置，即是配置

2016-10-31 00:33:03 456

原创 Hadoop 2.x 多表关联

需求是将这样的两个文件关联起来文件address:addressID addressname1 Beijing2 Guangzhou3 Shenzhen4 Xian文件factory:factoryname addresseIDBejing Red Star 1Shenzhen Thunder 3Guangzhou Honda 2Beijing Rising 1G

2016-10-16 23:36:59 448

原创 Hadoop 2.x 单表关联

需求是:从下面的文本文件中，得到grandchild--grandparent的关系child parentTom JackTom LilyJack LileiLilei SomeLucy Somehuangpeng zhouaiqiongzhouaiqiong

2016-10-06 13:16:17 371

思路：文本文件也是一行一个单词这样的，那排序的不同在于，默认的shuffer阶段的排序是根据map阶段传入的key值进行排序，整形那就升序排序，字符串就按位比较acsll码大小，那这样在这里是不行的，因为每个reduce上进行的是自己的排序，而无法保证全局上的排序。所以在分配给reduce的前，需要自定义partition类，将同一个数据区间的key传入到同一个reduce中，那么每个reduce

2016-10-06 00:25:08 357

原创 Hadoop2.x 数据去重

数据是这样的文本文件，一行为一个单词如: words.txtaaaaabxxxsvwords2.txt:aabbaaabbbdddddd代码和单词计数没有太大差别，例如map阶段传入的key为行标,value为这一行所对应的单词, 只要将单词作为key传入下一步骤（shuffle阶段，此阶段默认做了数据排序，分类，combiler的工作), value可以随

2016-10-06 00:13:30 424

原创 Hadoop 2.x完全分布式安装

最近将虚拟机上的hadoop1.x删除了,装上了2.x，这是安装教程转载自:http://www.tuicool.com/articles/aIzUV3一、环境我的是在Linux环境下进行安装的。对于想在windows系统上学习的同学，可以采用虚拟机方式或通过cygwin模拟linux环境方式进行学习。现在有三台服务器，分配如下：10.0.1.10

2016-10-04 17:41:35 391

原创 Hadoop WordCount

版本一：默认使用Split类方法去做，这样做就是默认一行一行去解析，map阶段 key传入的为行标，value传入的为这一行的值这种情况只适合于有超多行，但每一行不太长的情况下面贴代码:文本文件words.txtaaa bbbccc ddd eee fff文本文件words2.txtaabb aaaa aaaccc casdasd 11 23 11 222 3

2016-10-04 16:04:03 269

转载 hive启动报错 java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7B

今天遇见的hive启动问题，这篇文章解决了，非常感谢！原文地址：http://blog.csdn.net/fhg12225/article/details/45817477启动hive报错：[root@master conf]# hiveLogging initialized using configuration in file:/usr/local/hi

2016-09-29 00:44:15 3236

转载【转】解决ubuntu设置里分辨率不支持的问题

转载自:http://blog.csdn.net/u013120098/article/details/51250967最近升级了ubuntu到16.04但是显示设置里没有2560x1080的分辨率，显示器是21:9的，这篇文章解决了大问题最后.profile加入的设置为cvt 2560 1080xrandr --newmode "2560x1080_60.00" 230.00

2016-08-27 23:37:32 1765

原创 Centos 技巧学习记录

1.替换Centos yum更新源 cd /etc/yum.repos.d 将CentOS-Base.repo替换成163镜像上的源即可源下载地址为：wget http://mirrors.163.com/.help/CentOS7-Base-163.repo2.查看centos发行版本号 [root@localhost yum.repos.d]# ca

2016-08-23 00:24:47 381

转载 nginx配置location总结及rewrite规则写法

写的很好很详细,转载自:http://seanlook.com/2015/05/17/nginx-location-rewrite/1. location正则写法一个示例：123456789101112131415161718192021222324252627282930313233

2016-07-26 11:41:09 378

转载简单配置nginx使之支持pathinfo

亲测可用，转载自http://www.thinkphp.cn/topic/3228.html一共三处修改location ~ \.php { #去掉$ root H:/PHPServer/WWW; fastcgi_pass 127.0.0.1:9000; fastcgi_index index.php; fastcg

2016-04-01 16:55:15 402

转载 Nginx升级

转载，亲测可用，目前刚从1.4+升级到1.8+，之前的nginx使用apt-get安装的，不知道还有一种方法可不可行，就是直接apt-get update后upgrade，回去有机会也试试这种，下面的升级方法是收到下载编译并升级的.转载自:http://www.cnblogs.com/terrysun/archive/2012/11/22/2782472.html 感谢博主，好文！

2016-03-21 15:42:59 507

原创 Nginx学习安装命令 server配置

【注意】：以下内容是基于旧版nginx,配置信息位置和文件目录和最新版不一致，但依葫芦画瓢是一样的nginx 的安装下载地址: http://nginx.org/download/nginx-1.4.2.tar.gz安装准备: nginx依赖于pcre库,要先安装pcreyum install pcre pcre-devel cd /usr/local/src/ wg

2016-03-08 15:18:12 354

转载 [转] ubuntu+php+nginx 安装

[转载] http://blog.csdn.net/hursing 系统环境：Ubuntu 13、14 和 Linux Mint 15、16、17都通过。默认安装的是nginx 1.2.5，php5.4.9先安装：sudo apt-get install nginx php5-fpm我是在新安装的Ubuntu13上测试通过的，真的只安装这两个东西就够了。然

2016-03-07 13:59:17 293

原创 Android Tab实现之ViewPager+FragmentActivity

1.界面需要extends FragmentActivity2. 使用的是v4版本的Fragment3.viewpager设置的adapter是FragmentPagerAdapter<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" xmlns:tools="http://s

2016-01-18 17:54:45 411

转载 Python os.walk()和os.path.walk()

一、os.walk()函数声明：os.walk(top,topdown=True,onerror=None)(1)参数top表示需要遍历的顶级目录的路径。(2)参数topdown的默认值是“True”表示首先返回顶级目录下的文件，然后再遍历子目录中的文件。当topdown的值为"False"时，表示先遍历子目录中的文件，然后再返回顶级目录下的文件。(3)参数oner

2016-01-18 15:19:46 378

原创 Android 使用Xutils报的一个Http类API过时问题

错误: 无法访问HttpRequestBase 找不到org.apache.http.client.methods.HttpRequestBase的类文件解决方法：http://www.360doc.com/content/16/0105/21/20175734_525753645.shtml原因：API过时

2016-01-15 15:21:36 538

原创 Android Tab实现之Viewpager+ViewpagerIndicator

仿网易新闻客户端，用到了开源框架ViewpagerIndicator1.首先导入Viewdicator2.布局文件<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" android:layout_width="match_parent" android:layout_

2016-01-13 17:05:13 390

原创 python 一个比较好的讲解beanstalkc模块的网站

http://beanstalkc.readthedocs.org/en/latest/tutorial.html

2016-01-05 17:18:10 1423

原创 Android Tab实现之FragmentManager+Fragment

这种实现方法主要是1.在布局中使用FrameLayout，不2.同的页面继承Fragment父类，重写onCreateView()方法，在此方法中定义需要返回的View对象3.使用Fragment Manager去管理主页面布局:<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"

2016-01-03 00:12:35 998

html5编程PDF版本

html5编程.pdf

2013-03-06

离散数学 2000题解

很详细的离散数学书，我自己在用

2012-11-21

MFC教程.chm

MFC (Microsoft Foundation Class Library)中的各种类结合起来构成了一个应用程序框架，它的目的就是让程序员在此基础上来建立Windows下的应用程序，这是一种相对SDK来说更为简单的方法。因为总体上，MFC框架定义了应用程序的轮廓，并提供了用户接口的标准实现方法，程序员所要做的就是通过预定义的接口把具体应用程序特有的东西填入这个轮廓。Microsoft Visual C++提供了相应的工具来完成这个工作：AppWizard可以用来生成初步的框架文件（代码和资源等）；资源编辑器用于帮助直观地设计用户接口；ClassWizard用来协助添加代码到框架文件；最后，编译，则通过类库实现了应用程序特定的逻辑。

2012-09-21

汇编程序设计教程.chm

《汇编语言》(Assembly Language)是计算机专业中一门重要的基础课程，是一种面向机器的低级语言。它依赖于硬件，能通过巧妙的程序设计充分发挥硬件的潜力。汇编语言程序产生的代码运行效率高。因此，到目前为止，许多软件系统(例如操作系统等)的核心部分仍然用汇编语言来编写。计算机专业所培养的学生，不应仅仅满足于利用他人已开发出来的软件和软件工具来解决实际问题，还应具备有分析、研究原有软件系统，改进、完善、提高原有系统功能供广大用户使用的能力。汇编语言程序设计将使学生受到更严密、更系统的程序设计及其思维方法的训练，为深入分析、研究、开发新的软件系统打下良好的训练基础。本课程的教学目的是使学生进一步了解计算机的基本组成，汇编指令的格式和使用方法，以及用汇编语言进行程序设计的基本思想和方法。于此同时，希望学生能了解用汇编语言程序来充分发挥计算机性能的基本思想。本课程的学习也将为后续课程(如操作系统、接口与通信、计算机外围设备等)的学习提供必要的前期知识。

2012-09-21

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人