9 翔飞天宇

尚未进行身份认证

资料共享,相互学习,共同进步

等级
TA的排名 8k+

hbase集群中的从节点的Hregionserver进程出现闪退现象解决办法

2018-01-16 13:23:38,879 INFO  [main] ipc.SimpleRpcScheduler: Using default user call queue, count=202018-01-16 13:23:38,890 ERROR [main] regionserver.HRegionServerCommandLine: Region server exiting

2018-01-16 13:37:26

java.io.IOException: No space left on device

java.io.IOException: No space left on device 错误今天碰到比较奇怪的问题: INFO util.Utils: Fetching http://192.168.31.160:33039/jars/spark_study_java-0.0.1-SNAPSHOT-jar-with-dependencies.jar to /tmp/spark-4

2017-09-14 15:30:32

HBase scan setBatch和setCaching的区别

HBase的查询实现只提供两种方式:1、按指定RowKey获取唯一一条记录,get方法(org.apache.hadoop.hbase.client.Get)2、按指定的条件获取一批记录,scan方法(org.apache.Hadoop.Hbase.client.Scan)实现条件查询功能使用的就是scan方式,scan在使用时有以下几点值得注意:1、scan可以通过s

2017-08-30 16:58:34

[转]关于PreparedStatement.addBatch()方法

Statement和PreparedStatement的区别就不多废话了,直接说PreparedStatement最重要的addbatch()结构的使用.1.建立链接,(打电话拨号 )       Connection    connection =getConnection();2.不自动 Commit (瓜子不是一个一个吃,全部剥开放桌子上,然后一口舔了)//         

2017-08-30 13:21:29

[转]Spark与Pandas中DataFrame对比(详细)

PandasSpark工作方式单机single machine tool,没有并行机制parallelism不支持Hadoop,处理大量数据有瓶颈分布式并行计算框架,内建并行机制parallelism,所有的数据和操作自动并行分布在各个集群结点上。以处理in-memory数据的方式处理distributed数据。支持Hadoop,能处理大量数据延迟机制

2017-08-29 15:24:52

spark 基础知识- spark SQL专题

一、简介  Spark SQL是Spark中处理结构化数据的模块。与基础的Spark RDD API不同,Spark SQL的接口提供了更多关于数据的结构信息和计算任务的运行时信息。在Spark内部,Spark SQL会能够用于做优化的信息比RDD API更多一些。Spark SQL如今有了三种不同的API:SQL语句、DataFrame API和最新的Dataset API。不过真正运行计算

2017-07-18 14:49:34

hbase bulk load相关源码简析之PutSortReducer、KeyValueSortReducer

转载请注明出处: http://blog.csdn.net/lonelytrooper/article/details/17040895PutSortReducer:[java] view plain copy // 对map阶段传递过来的puts中的KVs做排序,并将有序的KVs写到输出流(最终写的类是HFileWriterV1或HFileWriterV2

2017-07-10 18:55:12

hbase bulk load相关源码简析之HFileOutputFormat、LoadIncrementalHFiles

转载请注明出处: http://blog.csdn.net/lonelytrooper/article/details/17040895PutSortReducer:[java] view plain copy // 对map阶段传递过来的puts中的KVs做排序,并将有序的KVs写到输出流(最终写的类是HFileWriterV1或HFileWriterV2

2017-07-10 18:53:49

hbase bulk load 小实践及一些总结

转载请注明出处:http://blog.csdn.net/lonelytrooper/article/details/17042391很早就知道bulkload这个东西,也大致都清楚怎么回事,居然直到前几天才第一次实践... 这篇文章大致分为三个部分:1.使用Hbase自带的importtsv工具2.自己实现写mr生成hfile并加载3.bulkload本身及对依赖的

2017-07-10 18:52:22

HBase性能优化方法总结

本文主要是从Hbase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关hbase系统配置级别的优化,这里涉及的不多,这部分可以参考:淘宝Ken Wu同学的博客。1. 表的设计1.1 Pre-Creating Regions默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据,直

2017-07-07 18:03:23

MapReduce生成HFile入库到HBase

一、这种方式有很多的优点:1. 如果我们一次性入库hbase巨量数据,处理速度慢不说,还特别占用Region资源, 一个比较高效便捷的方法就是使用 “Bulk Loading”方法,即HBase提供的HFileOutputFormat类。2. 它是利用hbase的数据信息按照特定格式存储在hdfs内这一原理,直接生成这种hdfs内存储的数据格式文件,然后上传至合适位置,即完成巨量数据快速入

2017-07-06 20:30:30

java clone方法使用详解

Java语言的一个优点就是取消了指针的概念,但也导致了许多程序员在编程中常常忽略了对象与引用的区别,特别是先学c、c++后学java的程序员。并且由于Java不能通过简单的赋值来解决对象复制的问题,在开发过程中,也常常要要应用clone()方法来复制对象。比如函数参数类型是自定义的类时,此时便是引用传递而不是值传递。以下是一个小例子:Java代码  public class

2017-07-06 20:21:19

Spark创建DataFrame和读取CSV数据文件

之前写的程序中,有些API在Spark SQLContext没有,我计算的结果先保存在rdd中,最后在使用RDD转换成dataframe进行保存,话不多说下面是代码.//一个StruceField你可以把它当成一个特征列。分别用列的名称和数据类型初始化 val structFields = List(StructField("age",DoubleType),StructField("h

2017-06-20 20:07:52

Spark DataFrames入门指南:创建和操作DataFrame

一、从csv文件创建DataFrame  本文将介绍如何从csv文件创建DataFrame。如何做?  从csv文件创建DataFrame主要包括以下几步骤:  1、在build.sbt文件里面添加spark-csv支持库;  2、创建SparkConf对象,其中包括Spark运行所有的环境信息;  3、创建SparkContext对象,它是进入Spark的核心切入点,

2017-06-20 17:32:16

Spark Streaming中的操作函数分析

根据Spark官方文档中的描述,在Spark Streaming应用中,一个DStream对象可以调用多种操作,主要分为以下几类TransformationsWindow OperationsJoin OperationsOutput Operations一、Transformations1、map(func)  map操作需要传入一个函数当做参数,具体调用形式为val b

2017-06-20 15:53:06

浅析Apache Spark Caching和Checkpointing

Apache Spark应用开发中,内存管理是最重要的人物之一,但cacheing和checkpointing之间的差异可能会导致混乱。这2种操作是都是用来防止rdd(弹性分布式数据集)每次被引用时被重复计算带来的时间和空间上不必要的损失。然而他们之间的区别是什么呢?fengmian.pngCachingcache 机制保证了需要访问重复数据的应用(如迭代型算法

2017-06-16 18:11:36

Spark多文件输出(MultipleTextOutputFormat)

因为Spark内部写文件方式其实调用的都是Hadoop那一套东西,所以我们也可以通过Spark实现多文件输出。不过遗憾的是,Spark内部没有多文件输出的函数供大家直接调用,值得欣慰的是,我们自己实现这个功能也是很简单的。我们可以通过调用saveAsHadoopFile函数并自定义一个OutputFormat类即可,代码如下:[plain] view plain copy

2017-06-16 18:10:29

Java实现正则匹配出script标签中字符串包含某个几个单词的所有行,以及编码转换

/*取得script下面的JS变量*/          Elements scriptinfo = document.getElementsByTag("script").eq(21);          List list=new ArrayList();         Map PopWindowInfo = new LinkedHashMap();        /*循环遍

2017-03-24 16:53:17

Java实现Unicode码转为中文

java里如何把\u8BA8\u8BBA\u533A这种编码转换成中文package com.util.prop;public class Unicode2CN { /** * @Author:HaoMing(郝明) * @Project_name:checkface * @Full_path:com.util.prop.Unicode2CN.java * @Date:@201

2017-03-24 16:49:09

万能的林萧说:一篇文章教会你,如何做到招聘要求中的“要有扎实的Java基础”。

来历    本文来自于一次和群里猿友的交流,具体的情况且听LZ慢慢道来。  一日,LZ在群里发话,“招人啦。”  然某群友曰,“群主,俺想去。”  LZ回之,“你年几何?”  群友曰,“两年也。”  LZ憾言之,“惜了,三至五为佳。然如汝有扎实之基础,且附一技之长,倒也并非不可呀。”  群友惑,问之,“何为一技之长?”  LZ抚须答曰,“皆可,吾之一技即为写。”

2017-03-24 16:46:00

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!