9 XiaoGuang-Xu

尚未进行身份认证

主要从事hadoop Spark,数据挖掘和机器学方向

等级
TA的排名 5k+

CentOS7 使用无线WiFi连接并设置为开机启动

CentOS7 使用无线WiFi连接并设置为开机启动转载:https://blog.mrabit.com/details/25废旧笔记本装上了CentOS7准备拿来练手,由于笔记本有线网孔坏了需要配合WiFi联网使用第一步,查看笔记本WiFi网卡名称:ip addr其中"wlp8s0"则是我的无线网卡口名称下面是用到的命令:#将无线网口wls1开启ip...

2019-05-07 23:39:03

Centos 7 配置 WPA-PSK无线上网

本文内容修改自 http://www.itnose.net/detail/6249611.htmlcentos7无线wifi连接2015-04-18 15:14一:所用命令dmesg | grep firmware(看看有没有来自无线网卡的固件请求)iw: iw dev(查找无线网卡口) iw wls1 link(查看wls1网口无线网络连接情况)...

2019-05-06 13:07:09

Oozie部署spark、hadoop、hive、shell和java程序举例

一、oozie执行shell脚本(执行mr任务,实现合并增量数据)参考:http://gethue.com/use-the-shell-action-in-oozie/1、点击创建、拖动到上面 2、添加命令:bash,当然也可以是linux的其他可执行的命令  3、添加参数:注意---》参数名称是shell脚本的全称(run-mr-compact.sh)  ...

2018-08-24 09:47:24

CDH HBASE使用Solr创建二级索引,更新删除索引

CDH HBASE使用solr创建二级索引,更新删除索引转载: https://blog.csdn.net/u010936936/article/details/78064148?locationNum=10&fps=1关于为什么要创建hbase二级索引,这里不再赘述,直接开始安装配置 1.环境准备          ①安装HBASE,solr, Key-Value S...

2018-08-17 15:16:53

HDFS原理解析(整体架构,读写操作流程及源代码查看等)

HDFS原理解析(整体架构,读写操作流程及源代码查看等)前言HDFS 是一个能够面向大规模数据使用的。可进行扩展的文件存储与传递系统。是一种同意文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间。让实际上是通过网络来訪问文件的动作。由程序与用户看来,就像是訪问本地的磁盘一般。即使系统中有某些节点脱机,总体来说系统仍然能够持续运作而不会有数据损失。 一...

2018-08-16 17:17:46

Spark读取Hbase报错总结

1 : 发生空指针异常,但是最终任务还是运行成功。java.lang.RuntimeException: java.lang.NullPointerException at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithoutRetries(RpcRetryingCaller.java:208) at org.apache.had...

2018-06-21 10:41:30

集群中RegionServer hadoopserver03 的GC日志分析

 集群中RegionServer hadoopserver03 的GC日志分析Java HotSpot(TM) 64-Bit Server VM (25.71-b15) for linux-amd64 JRE (1.8.0_71-b15), built on Dec 22 2015 18:21:33 by "java_re" with gcc 4.3.0 20080428 (Red Hat 4.3...

2018-05-30 13:54:59

Spark使用newAPIHadoopRDD 直接读取Hbase遇到的问题

Spark使用newAPIHadoopRDD  直接读取Hbase遇到的问题数据表数据量大概:1.8TJavaPairRDD<ImmutableBytesWritable, Result> hbaseRDD =              jsctx.newAPIHadoopRDD(conf, TableInputFormat.class,ImmutableBytesWritable...

2018-04-21 09:36:35

Linux 下挂载新硬盘方法

Linux的硬盘识别:一般使用”fdisk -l”命令可以列出系统中当前连接的硬盘设备和分区信息.新硬盘没有分区信息,则只显示硬盘大小信息.1.关闭服务器加上新硬盘2.启动服务器,以root用户登录3.查看硬盘信息#fdisk -l[cpp] view plain copyDisk /dev/sda: 42.9 GB, 42949672960 bytes  255 heads, 63 sector...

2018-04-19 18:01:30

Java7/8 中的 HashMap 和 ConcurrentHashMap 全解析

Java7/8 中的 HashMap 和 ConcurrentHashMap 全解析原文地址:https://javadoop.com/post/hashmap今天发一篇"水文",可能很多读者都会表示不理解,不过我想把它作为并发序列文章中不可缺少的一块来介绍。本来以为花不了多少时间的,不过最终还是投入了挺多时间来完成这篇文章的。网上关于 HashMap 和 ConcurrentHashMap 的文...

2018-03-21 21:15:50

使用SparkSQL 读取Phoenix4.5.2出现下面的问题

 使用SparkSQL 读取Phoenix4.5.2出现下面的问题18/03/09 15:07:43 INFO DAGScheduler: Submitting 1 missing tasks from ResultStage 0 (MapPartitionsRDD[10] at show at SparkOpPhoenix.scala:20)18/03/09 15:07:43 INFO Task...

2018-03-09 16:38:29

Phoenix(SQL On HBase)安装和使用报告

Phoenix(SQL On HBase)安装和使用报告http://www.cnblogs.com/kekukekro/p/6339587.html#wiz_toc_29一、为什么使用Phoenix二、安装Phoenix2.1 兼容问题?2.2 编译CDH版本的Phoenix2.3 安装Phoenix到CDH环境中三、Phoenix的使用3.1 phoenix的4种调用方式3.1.1 批处理方式...

2018-03-09 16:27:25

JDK1.8 十大新特性详解

JAVA8 十大新特性详解2017-01-06 C语言三人行+“Java is still not dead—and people are starting to figure that out.”本教程将用带注释的简单代码来描述新特性,你将看不到大片吓人的文字。一、接口的默认方法Java 8允许我们给接口添加一个非抽象的方法实现,只需要使用 default关键字即可,这个特征又叫做扩展方法,示例...

2018-03-02 17:50:04

WebSocket与消息推送

WebSocket与消息推送 https://www.cnblogs.com/best/archive/2016/09/12/5695570.html目录一、Socket简介二、WebSocket简介与消息推送三、WebSocket客户端四、WebSocket服务器端五、测试运行六、小结与消息推送框架6.1、开源Java消息推送框架 Pushlet6.2、开源DotNet消息推送框架SignalR...

2018-03-02 17:29:53

JVM垃圾回收二:分代垃圾回收

JVM垃圾回收二:分代垃圾回收导语不论是引用计数还是可达性分析(gcroot),都是垃圾回收的一种策略,不同的是这两个都不能直接被用于jvm,都有他们的缺点。其实这个更多的是告诉我们java中的对象引用的一些原理,为现在执行的分代垃圾回收做铺垫,了解其原理即可,多谢@不知道和@Echo的留言为什么要分代分代的垃圾回收策略,是基于这样一个事实:不同的对象的生命周期是不一样的。因此,不同生命周期的对象...

2018-03-01 09:53:13

如何成为一名自然语言处理工程师

作者 | 兰红云责编 | 何永灿自然语言处理和大部分的机器学习或者人工智能领域的技术一样,是一个涉及到多个技能、技术和领域的综合体。所以自然语言处理工程师会有各种各样的背景,大部分都是在工作中自学或者是跟着项目一起学习的,这其中也不乏很多有科班背景的专业人才,因为技术的发展实在是日新月异,所以时刻要保持着一种强烈的学习欲望,让自己跟上时代和技术发展的步伐。本文作

2018-02-03 11:24:44

Hadoop错误总结

P1: vWARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  问题:源代码编译问题,可能是32为,你的机器是64位,需要重新编译   p2: 2015-01-

2018-02-02 16:29:46

卷积神经网络(CNN)学习笔记2:模型训练

上篇博文主要对CNN的基本网络结构及连接方式做了简单的介绍,还介绍了一个界内经典的LeNet-5模型。下面重点介绍CNN模型的训练过程/参数学习,在阅读本文之前,最好需要有以下方面的预备知识:神经网络基础(网络结构,前向/后向传播方式,激活函数等);基础的最优化求解方法(梯度法,牛顿法等);机器学习基础神经网络模型常用于处理有监督学习的问题,例如分类问题,CNN也不例外。模型需

2018-01-08 15:09:13

卷积神经网络(CNN)学习笔记1:基础入门

概述卷积神经网络(Convolutional Neural Network, CNN)是深度学习技术中极具代表的网络结构之一,在图像处理领域取得了很大的成功,在国际标准的ImageNet数据集上,许多成功的模型都是基于CNN的。CNN相较于传统的图像处理算法的优点之一在于,避免了对图像复杂的前期预处理过程(提取人工特征等),可以直接输入原始图像。图像处理中,往往会将图像看成是一个或

2018-01-08 14:30:04

TensorFlow学习笔记2:构建CNN模型

上篇博文主要是TensorFlow的一个简单入门,并介绍了如何实现Softmax Regression模型,来对MNIST数据集中的数字手写体进行识别。然而,由于Softmax Regression模型相对简单,所以最终的识别准确率并不高。下面将针对MNIST数据集构建更加复杂精巧的模型,以进一步提高识别准确率。深度学习模型TensorFlow很适合用来进行大规模的

2018-01-08 14:12:44

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!