- 博客(37)
- 收藏
- 关注
RSS订阅原创 hive
-------------------------------------------创建一个外部表----------------------------------------- create external table if not exists employee_external(name string,work_place array<string>,sex_a...
2019-01-09 11:40:55
209
1
原创 hive命令
1.hive模糊搜索表 show tables like '*name*';2.查看表结构信息 desc formatted table_name; desc table_name;3.查看分区信息 show partitions table_name;4.根据分区查询数据 select table_coulm from table_name where par...
2019-01-09 11:39:40
887
原创 数据分析入门书籍
《谁说菜鸟不会数据分析入门篇》《拯救你的Excel数据的分析、处理、展示（动画版）》《Excel图表之道：如何制作专业有效的商务图表》《绝了！Excel可以这样用：数据分析经典案例实战图表书》《深入浅出数据分析》《MySQL必知必会》《深入浅出统计学》《网站分析实战》《深入浅出Python》《Python学习手册》《利用Python进行数据分析》《R语言...
2019-01-08 15:43:28
558
原创 安装tensorflow 及问题
一．安装tensorflow参考https://blog.csdn.net/zhaohe1995/article/details/53364502?utm_source=itdadao&utm_medium=referral 1.下载tensorflow wget https://storage.googleapis.com/tensorflow/linux/cpu/ten...
2019-01-08 15:41:05
634
原创 yum不能使用问题
问题： [root@localhost yum.repos.d]# yum install wget已加载插件：fastestmirrorLoading mirror speeds from cached hostfileThere are no enabled repos. Run "yum repolist all" to see the repos you have. To e...
2018-12-03 16:04:08
10991
原创 centos 7 python3.7 安装
1. 查看原来版本的python2.7安装位置：[root@hadoop2 Python-3.7.0]# whereis pythonpython: /usr/bin/python /usr/bin/python2.7 /usr/lib/python2.7 /usr/lib64/python2.7 /etc/python /usr/local/bin/python3.7m /usr/loca...
2018-09-27 11:22:17
546
原创 centos7 安装npm ,node.js
1 .安装开发工具来构建系统上安装的本机插件> yum install -y gcc-c++ make>curl -sL https://rpm.nodesource.com/setup_10.x | bash -2 . 安装node.js npm卸载旧版本的 nodojs npm> yum erase nodejs npm -y查看是否删除干净&...
2018-09-06 17:17:25
379
原创 centos7 使用storm
1 。查看storm中运行的 app [root@hadoop1 apache-storm-1.2.1]# ./bin/storm list2 。 storm 执行wordCount 例子：[[email protected]]#./bin/storm jar examples/storm-starter/storm-starter-topologies-...
2018-09-05 17:25:15
327
原创 centos7 安装storm( 一)
安装地址： hadoop1: 192.168.1.60 hadoop2:192.168.1.61 hadoop2:192.168.1.62下载[root@hadoop1 yao]# wget https://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-1.2.1/apache-storm-1.2.1.tar.gz...
2018-09-05 12:03:51
907
原创 软件资源网站
Apache Software Foundation Distribution Directory http://apache.fayea.com/清华大学开源软件镜像站 https://mirrors.t...
2018-09-05 11:38:15
2181
原创 centos7 安装elasticsearch6.4
注意elasticsearch 不能root用户启动所以在整个安装过程中使用普通用户1 .创建普通用户2 .在普通用户目录下实现集群间免密登录[yao@hadoop1 ~]$ ssh-keygen所有的问题都用enter键[yao@hadoop1 ~]$ cd .ssh/[yao@hadoop1 .ssh]$ scp id_rsa.pub [email protected]...
2018-09-05 11:22:23
1024
原创 redhat6.9安装 mysql 出现问题
问题1 ： MySQL Daemon failed to start. 解决方法： 因为我之前安装过mysql。 现在虽然rpm 删除安装包，但是没有删除完全。[root@redhat6 yao]# rm -rf /var/lib/mysql/*再运行： service mysqld start 正常运行参考 ： https://blog.csdn.net/hwijew...
2018-09-04 12:05:13
403
原创 centos7桌面版 CDH5.9.3 安装 flume 1.6.0
1 .下载 flume 并解压[root@hadoop1 yao]# wget http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.9.3.tar.gz[root@hadoop1 yao]# tar -zxvf flume-ng-1.6.0-cdh5.9.3.tar.gz 2 .修改环境变量export FLUM...
2018-09-03 18:37:17
300
原创 centos7 安装spark2.3.1 。安装scala2.12.6
1 .安装scala 1 ). 官网下载scala > wget https://downloads.lightbend.com/scala/2.12.6/scala-2.12.6.tgz2) 解压>tar -zxvf scala-2.12.6.tgz 3) 修改环境变量>vim /etc/profileexport SCALA_HOME=/root/y...
2018-08-30 13:39:39
1025
原创 redhat7.3 部署javaweb项目
因为之前安装过一次mysql，出现了问题，又不知道问题出在了哪里。所以打算卸载重装。 1 .卸载mysql 1） 查看mysql的安装包[root@redhat7 apache-tomcat-8.0.53]# rpm -qa|grep mysqlmysql-community-server-5.7.23-1.el7.x86_64mysql-community-common-5.7....
2018-08-29 14:35:17
274
原创 redhat6.9 部署javaweb项目
部署javaweb包需要四个条件1 .jdk2. mysql3. tomcat 4 .war 我的服务器已经安装jdk1.8 所以安装以后的条件即可。1 .安装mysql [root@redhat6 yum.repos.d]# rpm -qa|grep mysqlmysql-libs-5.1.73-8.el6_8.x86_64[root@redhat6 yum.r...
2018-08-27 17:44:51
275
原创 redhat 6.9 安装 yum
redhat6.9 安装yum redhat6.9 使用yum安装出现如下问题： [root@redhat6 ~]# yum install -y gcc gcc-c++已加载插件：product-id, refresh-packagekit, search-disabled-repos, security, subscription-managerThis system is not...
2018-08-27 16:00:09
4091
2
原创 maven web项目的创建
在eclipse中，用maven创建一个web项目工程参考 ： https://www.cnblogs.com/hongmoshui/p/7994759.html
2018-08-22 10:29:26
109
原创 redhat 6.9 安装步骤
1. 安装后的配置：查看防火墙的状态：> service iptables status暂时关闭防火墙： > service iptables stop永久关闭防火墙：> chkconfig iptables off2. 安装jdk > rpm -qa|grep jdkjava-1.7.0-openjdk-1.7.0.1...
2018-08-20 20:05:38
7494
原创 redhat 镜像资源收集
红帽相关镜像资源 ： http://www.linuxfly.org/post/659/ 绿色资源网： http://www.downcc.com/soft/318553.html redhat 和centos 系统安装指南：https://www.aliyun.com/jiaocheng/129510.html 红帽6.9 我的下载地址： 红帽7...
2018-08-20 19:57:40
1039
原创 centos7 桌面版本 安装 hadoop2.6.0-cdh5.9.3
环境：centos7 桌面版。地址：192.168.1.60 hadoop1 , 192.168.1.61 hadoop2 , 192.168.1.62 hadoop31.三台服务器关闭防火墙> systemctl status firewalld> systemctl stop firewalld >systemctl disables fire...
2018-08-13 17:44:15
698
原创 学习使用git
1 .安装git > yum install -y git 2. 设置用户名，邮箱> git config --global user.name "yao"> git config --global user.email "[email protected]"3 .创建仓库>mkdir learngit>cd learngit初始化...
2018-08-03 11:27:48
120
原创 hive 安装 及过程中出现的问题
》 uname -aLinux mysql-master 2.6.32-642.el6.x86_64 #1 SMP Tue May 10 17:27:01 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux》cat /proc/versionLinux version 2.6.32-642.el6.x86_64 ([email protected]...
2018-07-16 18:20:53
2067
原创 Eclipse mars 版本运行java项目出现问题： console：错误: 找不到或无法加载主类 Markers:the project was not built due to a
markers: the project was not built due to "a resource exists with a different case'项目位置',",fix the problem,then try refreshing this project and building it since it may be inconsistent导入maven项目是 ，项目名...
2018-07-11 16:41:35
468
原创 storm使用过程中出现的错误：Caused by: java.net.UnknownHostException: ip: ip: 未知的名称或服务
2018-07-10 10:27:27.513 o.a.s.s.o.a.z.ZooKeeper [INFO] Client environment:java.library.path=2018-07-10 10:27:27.513 o.a.s.s.o.a.z.ZooKeeper [INFO] Client environment:java.io.tmpdir=/tm2018-07-10 10:27...
2018-07-10 11:01:26
1908
原创 storm使用
参考： http://wangmengbk.iteye.com/blog/2215140主节点：nimbus 启动：./bin/storm nimbus & ./bin/storm ui &从节点： supervisor ./bin/storm supervisor & ./bin/storm logviewer...
2018-07-10 10:55:33
256
原创 Eclipse反应慢卡死的解决办法
参考：https://blog.csdn.net/qq_36411874/article/details/747836121 .打开 eclipse安装目录。到D:\SOFT\Eclipse_javaee\eclipse2.文本格式打开eclipse.int 3.修改-Xms256m-Xmx1024m为：-XX.MaxPermSize=768m-Xms1024m-Xmx3072m...
2018-07-06 15:19:05
2679
4
原创 集群执行storm自带案例
》 ./bin/storm jar examples/storm-starter/storm-starter-topologies-1.0.0.jar org.apache.storm.starter.WordCountTopology
2018-07-04 11:17:15
808
原创 python 解决从数据库乱码和保存为csv乱码问题
代码如下：#!/usr/bin/env python#-*- coding:utf-8 -*-# @Time : 2018/6/26 16:19#Auther:yao#从数据库获取各个业务系统的每日访问量统计数据，区分工作日统计数据和休息日统计数据。使用分位数5，95 获取分界线，并将分界线保存为csv文件，供以后使用import pymysqlimport datetime ...
2018-06-27 11:41:25
889
原创 如何在LinuxShell中强制python退出
root@iZ23he122ynZ:~# ps -ef|grep pythonroot 16346 1 0 May28 ? 00:00:11 python WebMain.py 81root 16871 16849 0 08:44 pts/0 00:00:00 grep --color=auto pythonroot@iZ23he122ynZ:~#...
2018-06-25 17:26:24
1523
原创 flume 配置和启动
1. Flume 运行实例参考 https://blog.csdn.net/u012373815/article/details/540251121.1 创建spool配置文件在配置文件夹conf 下创建： $ vim spool.conf a1.sources = r1a1.sinks = k1a1.channels = c1 # Describe/configure the sou...
2018-06-25 17:22:34
6150
原创 Elasticsearch 在linux中的安装和使用
1.es的安装1.1 es工具安装参考安装步骤如下：https://blog.csdn.net/sinat_28224453/article/details/51134978安装地址： 192.168.1.14， 192.168.1.16, 192.168.1.17Wget https://download.elastic.co/elasticsearch/elasticsearch/elas...
2018-06-25 17:18:08
158
转载 linux执行python的脚本文件,提示No such file or directory
参考 https://blog.csdn.net/u010670689/article/details/384904751.使用vim打开该py文件2.点击esc，输入：set ff 回车，显示fileformat=dos,3.重新设置文件格式：set ff=unix4.保存并推出：wq ...
2018-06-25 16:47:58
5035
原创 linux 安装 kibana-4.1.11
1 . 下载 kibana-4.1.11-linux-x64.tar.gz2 .解压 kibana >tar -zxvf kibana-4.1.11-linux-x64.tar.gz3 .启动>mv kibana-4.1.11-linux-x64 kibana>cd kibana/bin>./kibana 4 .登录浏览器地址> https://10.** :56...
2018-06-01 11:32:17
254
原创 安装phpMyAdmin-4.8.1
参考文章：https://jingyan.baidu.com/article/425e69e6fb7a87be15fc16e4.html注意： 在mysql数据库服务的服务器下安装该工具1 .下载> wget https://files.phpmyadmin.net/phpMyAdmin/4.8.1/phpMyAdmin-4.8.1-all-languages.zip2 .解压> u...
2018-06-01 10:26:04
5112
原创 JPS commend not found 错误
解决办法参考：https://blog.csdn.net/m0_37739193/article/details/77142239 1 . 查看java版本 > java -versionjava version "1.7.0_181"OpenJDK Runtime Environment (rhel-2.6.14.8.el6_9-x86_64 u181-b00)OpenJDK ...
2018-06-01 09:35:51
198
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人