So.j-CSDN博客

原创 hadoop学习笔记(六)Flume安装部署

Flume安装部署Flume安装及配置2.2 Flume 入门案例Flume安装及配置将 apache-flume-1.7.0-bin.tar.gz 上传到 linux 的/opt/software 目录下解压 apache-flume-1.7.0-bin.tar.gz 到/opt/module/目录下tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /opt/module/修改文件名mv apache-flume-1.7.0-bin flume-1.7.

2020-12-07 14:46:29 650

原创 hadoop学习笔记(五)Hive安装部署

Hive安装部署Hive 安装及配置配置已经完成, 在此处启动hadoop集群Hive 常用命令将本地文件导入 Hive 案例安装MySqlHive 元数据配置到 MySqlHive 安装及配置下载地址:https://pan.baidu.com/s/1_7g8Bw85Nw03t40H67sLfQ提取码: gj4n把 apache-hive-1.2.1-bin.tar.gz 上传到 linux 的/opt/software 目录下解压 apache-hive-1.2.1-bin.tar.gz

2020-11-27 17:37:13 104

原创 hadoop学习笔记(四)常用的调优参数

常用的调优参数资源相关参数mapred-default.xmlyarn-default.xmlmapred-default.xml容错相关参数(MapReduce性能优化)资源相关参数mapred-default.xml以下参数是在用户自己的MR应用程序中配置就可以生效（mapred-default.xml）配置参数参数说明mapreduce.map.memory.mb一个MapTask可使用的资源上限（单位:MB），默认为1024。如果MapTask实际使用的资源量超过该值，

2020-11-27 10:00:45 140

原创 hadoop学习笔记(三)分布式环境搭建

分布式模式配置准备工作集群配置核心配置在集群上分发配置好的Hadoop配置文件查看文件分发情况SSH无密码登陆配置群起集群准备工作准备3台客户机（关闭防火墙、静态ip、主机名称、hsots）安装JDK配置环境变量安装Hadoop配置环境变量配置集群单点启动配置ssh群起并测试集群CentOS7使用集群同步脚本对配置文件同步分发参考 https://www.cnblogs.com/mwcloud/p/11350617.htmlscp（secure copy）安全拷贝scp

2020-11-20 14:53:00 80

原创 hadoop学习笔记(二)伪分布式模式配置

伪分布式模式配置启动HDFS并运行MapReduce程序配置集群启动集群查看集群启动YARN并运行MapReduce程序配置集群启动HDFS并运行MapReduce程序使用的虚拟机系统为CentOS7jdk版本: jdk1.8.0_144hadoop版本: hadoop-2.7.2下载地址关闭防火墙firewall-cmd --statesystemctl stop firewalld.servicesystemctl disable firewalld.service 配置集群（a

2020-11-19 17:14:51 183

原创 hadoop学习笔记(一)环境搭建

安装环境环境版本说明具体步骤环境版本说明使用的虚拟机系统为CentOS7jdk版本: jdk1.8.0_144hadoop版本: hadoop-2.7.2下载地址具体步骤在/opt目录下创建目录 module , softwarecd /opt mkdir software mkdir module 上传安装包到software目录加压软件安装包tar -zxvf jdk-8u144-linux-x64.tar.gz /opt/module/tar -zxvf hadoop-2

2020-11-18 14:39:54 75

原创 window下使用winsw部署jar过程详细记录

下载 WinSW v2.11.0 下载如图红框内的文件WinSW.NET4.exe 可执行文件sample-minimal.xml 配置文件新建目录结构新建部署主目录 test_v1.0.0在文件夹里面新建部署文件夹 jar jre logs 如下图复制WinSW文件到部署主目录下复制java jdk jre的文件到jre目录下复制要不说的jar包到jar文件夹下修改WinSW文件为要部署的服务名称修改配置文件test.xml, 如下并保持&l

2021-11-23 10:05:18 2049

原创 docker 里安装reids 基础命令

docker 里安装reids 基础命令docker 命令docker 命令获取redis 镜像docker pull redis查看本地镜像docker images查看运行的镜像docker ps启动redis 容器docker run -d redis -p 6379:6379 --name reids01 --requirepass "123456"参数说明...

2019-05-29 19:19:51 127

转载 CentOS7 安装mysql

原文链接：http://blog.csdn.net/xyang81/article/details/51759200安装环境：CentOS7 64位，MySQL5.71、配置YUM源在MySQL官网中下载YUM源rpm安装包：http://dev.mysql.com/downloads/repo/yum/ # 下载mysql源安装包she...

2019-04-08 21:58:35 69

原创 centos7 java环境搭建 tomcat配置

centos7 java环境搭建 tomcat配置准备工作安装java 环境安装tomcat所有命令话不多说直接撸码准备工作jdk 下载地址https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下载一个 linux-x64.tar.gz结尾的tomcat 下载地址 htt...

2019-03-28 17:01:22 288

转载如何将MyEclipse开发的项目导入到Eclipse中运行

由于以前的项目都是用myeclipse开发的，现在要换成eclipse来开发。但是项目导入到eclipse中发现该项目并不是web项目，也不能部署到tomcat里面去。现在解决了这个问题了。一.请首先确保你的机器上的eclipse是javaee版本的，或者已经安装看wtp插件二.先Close Project,然后修改eclipse工程下的.proje

2013-10-30 10:08:38 666

原创 java Date 格式的转换

2. i 将String转成 Date SimpleDateFormat formatter = new SimpleDateFormat("yyyy-MM-dd"); ParsePosition pos = new ParsePosition(0); Date strtodate = formatter.parse

2013-10-29 17:56:46 482 1