4 王者的路注定孤独

尚未进行身份认证

我要认证

是雄鹰就应搏击长空,是男儿就应纵横沙场。

等级
TA的排名 1w+

linux操作当前分区磁盘容量升级

1. 需求目的因当前/home目录所在分区,磁盘容量饱和,需要进行分区扩容,使服务器正常运行。2. 升级步骤1)创建目录mkdir -p /media/home2)把/dev/sdb挂载到/media/homemount /dev/sdb /media/home3)同步/home到/media/home,同步时间根据数据量大小决定,建议在系统空闲时操作rsync -aXS /home/. /media/home/.4)同步完成后删除/homeumount -lf /h

2020-10-24 22:53:53

MySQL通过远程方式上传数据

1. 用户授权create user 'test'@'%' identified by 'test123456';grant all privileges on testdb.* to test@'%';flush privileges;2. 远程上传授权查询远程上传是否开启:show global variables like 'local_infile';远程上传授权:set global local_infile='ON';3. 远程登录启用mysql --lo

2020-10-24 22:38:53

大数据Hadoop系列之Map-ETL实战开发

1. 输入数据122.245.205.218^A1450572279.254^Ahadoop-master.volitation.com^A/BEIfeng.gif?u_nu=1&u_sd=DFBFABA3-9F0B-451F-B47C-782EDBFB5D90&c_time=1450572272695&ver=1&en=e_l&p...

2020-04-03 18:37:03

大数据Impala系列之初识Impala

一、impala 概述1、什么是Impala?Impala是用于处理存储在Hadoop集群中的大量数据的MPP(大规模并行处理)SQL查询引擎。 它是一个用C ++和Java编写的开源软件。 与其他Hadoop的SQL引擎相比,它提供了高性能和低延迟。2、为什么选择Impala?使用Impala,与其他SQL引擎(如Hive)相比,用户可以使用SQL查询以更快的方式与HDFS或HBa...

2020-04-03 18:13:14

大数据Spark系列之Spark基本概念解析

1)Application用户在 spark 上构建的程序,包含了 driver 程序以及在集群上运行的程序代码,物理机器上涉及了 driver,master,worker 三个节点。2)Driver Program创建 sc ,定义 udf 函数,定义一个 spark 应用程序所需要的三大步骤的逻辑:加载数据集,处理数据,结果展示。3)Cluster Manager集群...

2020-04-03 17:41:43

大数据Spark系列之Spark单机环境搭建

1. 下载spark与scalaSpark下载地址http://mirrors.hust.edu.cn/apache/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgzScala下载地址http://www.scala-lang.org/files/archive/scala-2.10.4.tgz2. 解压安装$ tar ...

2020-04-03 17:23:33

大数据Kafka系列之Kafka监听方式实现消费者

1. kafka监听接口MessageListener接口:使用MessageListener接口实现时,当消费者拉取消息之后,消费完成会自动提交offset,即enable.auto.commit为true时,适合使用此接口; AcknowledgingMessageListener接口:使用AcknowledgeMessageListener时,当消费者消费一条消息之后,不会自动提交o...

2020-04-02 15:50:29

Linux系列之Nginx安装

1. 下载nginx本次安装采用nginx-1.15.6版:http://nginx.org/download/nginx-1.15.6.tar.gz2. 安装依赖yum install -y pcre pcre-develyum install -y zlib zlib-develyum install -y openssl openssl-devel3. 解压安装包...

2018-11-26 21:58:35

Linux系统DB2数据库安装手册

1. 下载网址http://happyqing.iteye.com/blog/20823052. 安装DB22.1 下载解压安装包wget ftp://public.dhe.ibm.com/software/hk/cobra/db2exc_970_LNX_x86_64.tar.gzmkdir -p /home/db2tar -zxvf db2exc_970_LNX_x86_...

2018-11-22 15:52:04

大数据Hadoop系列之Hadoop Web控制台添加身份验证

1. 背景介绍本文档介绍如何配置Hadoop HTTP Web控制台以要求用户身份验证。 默认情况下,Hadoop HTTP Web控制台(ResourceManager,NameNode,NodeManagers和DataNodes)允许访问而无需任何形式的身份验证。 可以将Hadoop HTTP Web控制台配置为使用HTTP SPNEGO协议(Firefox和Internet Exp...

2018-11-08 17:00:32

大数据Hive系列之Hive性能优化(全面)

一、介绍首先,我们来看看Hadoop的计算框架特性,在此特性下会衍生哪些问题?数据量大不是问题,数据倾斜是个问题。 jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产生十几个jobs,耗时很长。原因是map reduce作业初始化的时间是比较长的。 sum,count,max,min等UDAF,不怕数据倾斜问题,hadoop在map端的汇总合并优...

2018-11-07 12:08:46

大数据HBase系列之HBase基本操作

1.  hbase命令版本查看hbase version连接Zookeeper客户端hbase zkcli连接HBase客户端hbase shell2.  CRUD2.1  创建表-- 语法:create '表名','列族名'create 'student','info'2.2  显示所有表-- 语法:list 或 list '表名'lis...

2018-11-01 18:04:52

大数据Zookeeper系列之Zookeeper服务开机自启动配置

1.  编写运行脚本$ sudo cd /etc/init.d$ sudo vi zookeeper#!/bin/bash#chkconfig:2345 20 90#description:zookeeper#processname:zookeepersu - hadoop <<!case $1 instart)sh /opt/apache/zookeep...

2018-10-31 15:10:35

大数据Hadoop系列之Hadoop服务开机自启动配置

1.  编写运行脚本$ sudo cd /etc/init.d$ sudo vi hadoop#!/bin/bash#chkconfig:35 95 1#description:script to start/stop hadoopsu - hadoop <<!case $1 instart)sh /opt/apache/hadoop/hadoop-2.7....

2018-10-30 20:22:40

Zabbix监控系统(二):Zabbix管理之自动发现服务

1. 创建自动发现配置->自动发现->创建发现规则设置名称 配置IP范围 设置延迟时间 设置IP地址为唯一性准则 启用发现规则2. 创建动作配置->动作->创建动作2.1 设置执行动作基本信息设置名称 启用动作2.2 设置动作的执行条件配置动作执行条件 配置触发条件2.3 配置具体的执行动作将发现的主机添加至...

2018-10-25 15:25:08

Zabbix监控系统(一):初识Zabbix

一、Zabbix简介Zabbix 是由 Alexei Vladishev 开发的一种网络监视、管理系统,基于 Server-Client 架构。可用于监视各种网络服务、服务器和网络机器等状态。使用各种 Database-end 如 MySQL, PostgreSQL, SQLite, Oracle 或 IBM DB2 储存资料。Server 端基于 C语言、Web 管理端 frontend...

2018-10-23 13:28:30

MySQL JDBC

 一、连接MySQL数据库1.  MySQL JDBC四大参数private static String driver = "com.mysql.jdbc.Driver";private static String url = "jdbc:mysql://127.0.0.1:3306/local_test?characterEncoding=UTF-8&useSSL=false...

2018-09-19 19:32:27

大数据HBase系列之HBase分布式数据库部署

一、部署准备1. 依赖框架大数据Hadoop系列之Hadoop分布式集群部署:https://blog.csdn.net/volitationLong/article/details/80285123 大数据Zookeeper系列之Zookeeper集群部署:https://blog.csdn.net/volitationLong/article/details/827062102. ...

2018-09-17 15:09:01

大数据Zookeeper系列之Zookeeper分布式协调服务部署

一、部署准备1. 安装介质zookeeper-3.4.13:http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz2. 主机规划192.168.233.134 host14 192.168.233.133 host15192.168.233.136 host16二、...

2018-09-14 17:27:04

Java实现获取随机字符串

1.  代码块import java.util.Random;/** * 随机字符串工具 * * @author volitation * */public class RandomString { /** * 获取指定长度随机字符串 * * @param length * @return */ public static String getR...

2018-09-13 10:23:07

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。