- 博客(15)
- 收藏
- 关注
RSS订阅原创 excal造数据
然后右边滑块到上面 shfit+鼠标左键 框选数字填充创建随机英文名 选中单元格 =char(97+rand()*26)&char(97+rand()*26)&char(97+rand()*26)&char(97+rand()*26)&char(97+rand()*26)&char(97+rand()*26)随机生成时间选择日期 – 然后日期类型 -确定在此单元格输入—>之后自动生成（单元格右下角-黑色十-双击左键）自己理解.
2020-07-16 11:55:53
131
原创 MapReduce原理
MapReduce原理及编程MapReduce介绍MapReduce的设计思想MapReduce特点MapReduce实现WordCountMapReduce执行过程Hadoop V1 MR引擎Hadoop V2 YARNHadoop及YARN架构Hadoop2 MR在Yarn上运行流程InputSplit（输入分片）Shuffle阶段Key&Value类型MapReduce编程模型InputFormat接口MapReduce介绍1.MapReduce是一个分布式计算框架它将大型数据操作作业
2020-07-02 07:37:16
237
原创 MapReduce编程-统计词频
MapReduce编程及原理-统计词频统计词频统计词频Map/** * KEYIN:输入的key类型 * VALUEIN：输入的value类型 * KEYOUT：输出的key类型 * VALUEOUT：输出的value类型 */public class WCMapper extends Mapper<LongWritable, Text,Text, IntWritable> { //创建输出的k，v对象 Text k = new Text(); IntW
2020-07-02 07:37:02
420
原创 Hadoop-Java进行HDFS文件操作
Java进行HDFS文件操作配置pom.xmlJava进行HDFS文件操作配置pom.xml中下载依赖包<dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> <scope>test</scope> </d
2020-07-01 07:04:57
155
原创 idea-maven创建quickstart以及打jar包
maven工程创建以及打jar包提前准备maven创建quickstart打jar包提前准备安装jdk，并配置环境安装maven，并修改setting文件网上找的源，放在这对标签中<mirror> <id>alimaven</id> <mirrorOf>central</mirrorOf> <name>aliyun maven</name> <
2020-06-30 07:24:35
409
原创 Hadoop-理论知识（大数据概况及Hadoop生态系统使用Java进行HDFS文件操作）
大数据概况及Hadoop生态系统以及使用Java进行HDFS文件操作一、什么是大数据？二、大数据特征三、分布式计算四、Hadoop是什么、为什么使用？五、Hadoop vs RDBMS六、Hadoop生态圈七、Zookeeper八、Hadoop架构九、HDFS特点十、HDFS CLI (命令行)十一、hdfs dfsadmin十二、HDFS角色十三、HDFS架构十四、HDFS副本机制十五、HDFS高可用十六、HDFS读文件和HDFS写文件十七、HDFS文件格式十八、使用Java进行HDFS文件操作一、什么
2020-06-29 23:53:45
355
原创 hadoop
hadoop提前说明Hadoop安装配置Hadoop安装配置1、配置hadoop/etc/hadoop/hadoop-env.sh2、配置hadoop/etc/hadoop/core-site.xml3、配置hadoop/etc/hadoop/hdfs-site.xml4、配置hadoop/etc/hadoop/mapred-site.xml5、配置hadoop/etc/hadoop/yarn-site.xml6、配置hadoop/etc/hadoop/slaves7、Hadoop环境变量配置配置是否成功h
2020-06-26 06:43:29
84
原创 Elasticsearch
ElasticsearchElasticsearch简介安装启动Elasticsearch简介基于Lucene的开源分布式搜索引擎，大幅降低了PB级海量数据存储、检索、分析门槛特点： 分布式实时文件存储、检索、分析 零配置、集群自动发现 索引自动分片、副本机制 RESTful风格接口 多数据源 自动搜索负载安装启动#切换至非root用户#前台运行，停止方式CTRL+C./opt/es/bin/elasticsearch #前台运行#后台运行，停止方式 kill -9 pid后
2020-06-24 07:40:01
85
原创 Linux-shell编程
Linux shell编程第一个shell脚本变量变量的定义及使用预定义变量和位置变量数值关系运算符、逻辑运算符和字符串运算符文件运算符test结构循环if、for、whileTMOUT函数参数shell循环打印图形三级目录第一个shell脚本vi test.sh 下面展示一些 代码。#!/bin/bashecho "Hello,shell,u'r very pretty."chmod +x test.sh 赋予执行权限运行几种方式：1、./test.sh2、sh test.sh
2020-06-22 21:29:16
171
原创 ELK集群的搭建
ELK集群的搭建提前说明修改主机名和主机列表提前说明在原先搭建elk的虚拟机上复制两个虚拟机（方便）正常是在搭建两个，一共3个修改主机名和主机列表打开3台已经搭建好elk的虚拟机，输入用户密码...
2020-06-22 00:24:13
93
原创 ELK的安装配置
ELK的安装配置提前说明一、ES简介二、ES安装前的准备（elk安装包版本要求一致）三、ELK的安装四、ES的配置五、Head-master及node的配置六、使用Head-master对ES进行测试七、kibana安装，配置和实例提前说明学习整理需要配置好的虚拟机一、ES简介ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。特点是：高可用，高扩展，是一种NOSQL的数据存储工具二、ES安装前的准备（elk安装包版本要求一致）下载：el
2020-06-18 22:13:54
179
原创 Linux-虚拟机Oracle VM VirtualBox 和 VMware Workstation创建
Linux学习2一、提前说明二、虚拟机配置moba连接虚拟机一、提前说明需要CentOS-7-x86_64-DVD-1908.iso光盘映像文件二、虚拟机配置双击打开vm，新建名称随意；类型选择Linux；版本：Red Hat（64-bit）；内存大小随意；完事点创建。设置文件位置；文件大小看你心情；完事创建。点中刚创建的虚拟机，然后点设置。常规：基本：检查一下；高级：设置一下备份位置，我和之前虚拟机文件在一起系统：主板：内存看自己心情；软驱勾去掉，勾上网络存储：点击控制
2020-06-17 22:31:47
819
原创 Linux-Linux配置jdk、tomcat、MySQL
Linux安装配置jdk、tomcat、MySQL提前说明一、安装jdk包二、安装tomcat三、安装mysql三级目录提前说明需要linux版jdk安装包tomcat压缩包mysql的ROM文件下载地址：自己找一、安装jdk包文字描述：（1）上传jdk的安装包（2）tar -zxvf jdk-8u221-linux-x64.tar.gz -c 目标目录（解压安装）（3）配置环境变量 vi /etc/profile (JAVA_HOME、JRE_HOME、CLASSPATH、PATH
2020-06-17 22:31:19
202
原创 Linux-常用linux命令
Linux学习整理一、目录操作1、目录结构2、切换目录3、文件夹操作4、文件内容操作二、文件操作三、vi编辑器一、目录操作1、目录结构/系统根目录、~当前用户根目录、其他普通目录2、切换目录cd用法：cd 目录 /绝对路径（从根目录开始找）；相对路径 ../返回上一级；直接cd会回到家目录清屏：clear命令或者Ctrl+L查看当前绝对路径：pwd查看当前目录下的内容：ls: -a -i -lll:以列的形式显示3、文件夹操作增：mkdir 目录路径删：rmdir 目录路径
2020-06-16 22:12:43
178
1
原创 图书管理
图书管理1、数据库设计1、图书管理需要以下几张表：用户表、用户类型表、图书表、图书类型表、图书借出归还表、图书购买记录表、历史记录表。先想到这么多，先做着，有问题之后再补充。2、开始进行建数据库，建表，插入数据，为了方便不是用索引，但要理清各个表之间的关系。2、后台设计1、配置1）创建java工程，勾上Web application；配置tomcat，导入jar包。jar包如下图：2）在Project Structure中，在工程目录下创建test和resources两文件夹，分别选上对应的Mark,如下图
2020-06-16 07:44:18
698
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人