3 zhuzuwei

尚未进行身份认证

暂无相关简介

等级
TA的排名 9k+

linux安装python3及使用pip安装第三方库

1.下载Python3 可从windows下载后上传Linux  https://www.python.org/downloads/ 也可以直接在linux下载 wget https://www.python.org/ftp/python/3.6.1/Python-3.x.x.tg2.安装python3  解压下载好的Python-3.x.x.tg...

2020-04-10 00:43:23

centos上zookeeper分布式安装部署

1. 在官网下载zookeeper安装文件,本文安装的版本是3.4.5http://archive.apache.org/dist/zookeeper/2. 下载完成后通过ftp上传到虚拟机,再解压tar -xzvf zookeeper-3.4.5.tar.gz3. 将解压后的文件移动到指定目录中4. 配置相关文件(1) 配置zoo.cfgcp -a zoo_sam...

2020-03-22 23:58:06

pyspark中部分***ByKey的用法

准备工作import pysparkfrom pyspark import SparkContextfrom pyspark import SparkConfconf=SparkConf().setAppName("lg").setMaster('local[4]')sc=SparkContext.getOrCreate(conf)1.aggregateByKeyaggre...

2020-02-22 17:13:40

pyspark中RDD常用操作

准备工作:import pysparkfrom pyspark import SparkContextfrom pyspark import SparkConfconf=SparkConf().setAppName("lg").setMaster('local[4]') #local[4]表示用4个内核在本地运行 sc=SparkContext.getOrCreate(co...

2020-02-21 17:05:46

centOS7安装mysql及填坑过程

一、安装过程1.安装相关依赖yum -y install make gcc-c++ cmake bison-devel ncurses-devel2.从搜狐镜像获取源码 wget http://mirrors.sohu.com/mysql/MySQL-5.7/mysql-boost-5.7.24.tar.gz tar xvf mysql-boost-5.7.24.ta...

2019-11-23 12:54:15

Java中使用ExecutorService和Future对任务运行时间进行限制

详情见实例代码public class CheckTimeOut { public static void main(String[] args) { int threadNum = 5; int timeOut = 6; // 获取线程池 ExecutorService es = Executors.newFixedThreadPool(threadNum); ...

2019-07-25 23:47:21

Java客户端操作HDFS

1. 在Eclipse或者IDEA中新建Maven项目2.设置pom.xml文件,添加hadoop-comm、hadoop-hdfs和jdk.tools依赖<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artif...

2018-09-03 10:56:10

寻找丑数Java实现

题目:把只包含因子2、3和5的数称作丑数(Ugly Number)。例如6、8都是丑数,但14不是,因为它包含因子7。 习惯上我们把1当做是第一个丑数。求按从小到大的顺序的第N个丑数。 丑数即:可分解为质数的乘积,且质数只能是2,3或5。 Java实现代码如下:public class CheckUglyNumber{ public static void main(Str...

2018-08-25 20:51:51

使用JDBC连接hiveserver2

1. 先在linux中启动hiveserver2命令:hive --service hiverserver2 2. 使用Eclipse创建java项目,并在项目中导入以下jar包(可在hadoop/share/lib和hive/lib中找)3. Hive的JDVC客户端操作步骤 4. Java代码(1) JDBCUtilsimport java.sql.C...

2018-08-19 16:38:30

使用sqoop将Hive中的数据导出到mysql及异常Job failed as tasks failed.

1. 使用以下语句尝试从Hive中导出数据到mysql/sqoop export --connect jdbc:mysql://***.***.***.***./companyinfo --username root --password password -m 1 --table testsqoop --export-dir /user/hive/warehouse/testsqoop --...

2018-08-19 16:27:41

hive图形界面hwi启动及异常 Ant could not find the task or a class this task relies upon.

一. hwi即 HiveWebInterface,在启动前,先要配置好相应的war包。1. 在apache官网下载好对应Hive版本的源码文件2. 解压此压缩文件,在hwi目录下找到web文件夹。3. 将这个web文件夹打包为war包,执行命令:jar cvfM0 hive-hwi-2.1.1.war -C web/ .4. 将此war包传到Linux中Hive目录下的li...

2018-08-16 19:56:21

hive 异常 Establishing SSL connection without server's identity verification is not recommended

在启动hive时出现以下异常:Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established b...

2018-08-16 19:56:14

hive异常:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

在启动hive时出现以下错误。尝试hive元数据库初始化,执行 schematool -dbType mysql –initSchema,又出现错误HiveSchemaTool:Parsing failed.重新尝试 schematool  –initSchema -dbType mysql,至此初始化成功。...

2018-08-16 19:56:04

Hive的安装配置

操作系统centOS 6.5Hadoop版本:hadoop 2.7.6JDK版本:JDK 1.8ant版本:ant 1.10.5mysql版本:mysql 5.7 一、安装准备1. 从官网下载解压hive的bin压缩文件 , 此处使用的是hive-2.1.1版本2. 通过ftp传输到linux系统,使用tar -xzvf apache-hive-2.1.1-bi...

2018-08-16 19:53:17

windows环境下安装配置hadoop

虽然hadoop主要在Linux环境运行,但是开发阶段有时需要在windows电脑上编写并测试程序,故需要在windows环境下安装配置hadoop。此次以hadoop2.7.6为例: 1. 从Apache官网下载2.7.6的binary文件2. 将此文件解压到windows中的任意路径 3.配置环境变量HADOOP_HOME为hadoop的解压文件路径,并在path变量中...

2018-08-15 11:32:19

securtCRT连接Linux没有输入密码登录的界面

       配置Linux (centos) 虚拟机的静态ip后,使用securtCRT连接Linux时发现connect后无法显示输入密码界面,并且cmd中也无法ping通centos的ip 192.168.***.***。自己摸索发现了一个解决办法:       1. 在comzhon中ipconfig发现VMnet8对应的信息如下:       2. 在Linux中配置/etc...

2018-08-15 11:17:53

Linux环境ping不通外网unknown host www.baidu.com问题解决

 Linux系统在测试网络ping www.baidu.com显示错误unknown host www.baidu.com.可以通过设置虚拟机网络编辑器,将NAT模式中的子网和网关设置为和本机ip一个字段。重新启动即可正常联网。...

2018-08-15 11:09:29

securtCRT连接Linux

一、 如果要进行Linux远程连接,需要两点:1.  Linux上有ssh服务2.  需要使用ssh客户端工具(此处选择securtCRT) 二、 ssh安装配置1. 关闭防火墙关闭命令:service iptables stop设置开机关闭防火墙:chkconfig iptables off(开机开启防火墙命令:chkconfig iptables on)设置...

2018-08-15 11:05:27

Linux环境Hadoop的下载安装

1.Hadoop的下载windows在Apache官网下载2.7.6的binary文件,通过FTP传输到centOS虚拟机。 2.解压安装:tarxzvfhadoop-2.7.6.tar.gz-C/usr/local/hadoop 3.查看安装的版本是多少位的先切换到目录hadoop下的lib/native目录cd/usr/local/hadoo...

2018-08-15 11:02:53

Linux配置SSH免密登录

一、准备1. 同步时间date 命令可以查看虚拟机当前日期和时间date -s "2018-08-08 08:08:08" 手动设置时间ntpdate cn.pool.ntp.org 网络同步时间2. 设置主机名方式一:vim /etc/sysconfig/network设置HOSTNAME=node-1方式二:vim /etc/hosts编辑,在末尾新增ip和对应...

2018-08-15 10:57:48

查看更多

勋章 我的勋章
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。