- 博客(18)
- 收藏
- 关注
RSS订阅原创 flume_kafka_flink整合，使用flink进行wordcount
使用flume读取文件内容，发送到kafka，使用flink接收并进行wordcount操作启动zookeeperzkServer.sh start启动kafka[root@bin03 kafka]# bin/kafka-server-start.sh config/server.properties创建主题bin/kafka-topics.sh -create --bootstrap...
2019-08-22 11:54:48
947
原创 for循环实现控制台输入数字求和以及平均值
统计三个班的成绩情况,每个班有五名同学,每位同学的成绩自己输入,求出每个班的平均分和所有班级的平均分?var sum=0for(j <- 1 until(4)){ println("请输入第"+j+"个班级的成绩") var sum1=0 for(a <- 1 until(6)){ println("请输入第"+a+"名同学的分数:") var scor...
2019-07-05 19:43:21
3261
原创 scala实现九九乘法表
println("----------------九九乘法表-------------------------") for (j <- 1 until(10)){ for(i <- 1 until(j+1)){ print(i+"*"+j+"="+j*i+" ") } print("\n"); }实现效果：1*1=1 1*...
2019-07-05 19:39:53
1600
原创 Scala入门整理，九九乘法表，运算符
一，建立scala class定义类变量 var常亮 valpackage com.dyb.lianxiobject TestRiKao { def main(args: Array[String]): Unit = { var t="hello scala" println(t) var s="hello word" println(s)...
2019-07-05 19:37:52
1147
原创 创建永久函数并使用
在linux上创建一个hivefile文件学生ID 课程ID 成绩#sid cid score95001 1 8195001 2 8595004 3 8895001 4 7095002 2 9295003 3 ...
2019-06-23 20:32:14
439
原创 hive 分桶表
昨天转载了朋友的博客 里面有分桶表的描述，今天自己好好的练习了，再整理记录一下：首先是修改了一个文件 在我这的路径是：/opt/software/hive-1.2.1/conf/hive-site.xml在这其中添加一些配置： <property> <name>hive.exec.dynamic.partition</na...
2019-06-21 15:18:34
437
转载 Hive使用（转载）
导入将本地数据导入hiveload data local inpath ‘/root/tes.txt’ into table 数据库.表;将hdfs集群导入到hiveload data inpath ‘hdfs://node01:9000/user/tes.txt’ into table 数据库.表;HIve分区表（静态分区，动态分区）静态分区：必须在表定义时指定对应的partiti...
2019-06-20 21:16:07
150
原创 Hive 数据表的操作
首先是一些基础命令 ，然后会有我的练习代码供参考，也便于我的记忆整理：***不是代码，但是这样我认为有利于一眼看到重点！！！***DDL操作（数据定义语言）包括：Create、Alter、Show、Drop等。（1）create database- 创建新数据库（2）alter database - 修改数据库（3）drop database - 删除数据库（4）crea...
2019-06-20 14:16:53
329
转载 Hive(数据仓库工具)
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用...
2019-06-19 20:35:02
448
原创 对于Zookeeper的认知
说一下zookeeperzookeeper是分布式协调服务其中配置有zoo.cfgdatadir=cd /etc/profile ----->server.1=bin02:2888:3888server.2=bin03:2888:3888server.3=bin04:2888:3888其中2888端口提供zookeeper对外通信，3888端口：当leader挂掉...
2019-06-18 12:00:52
156
转载 MapReduce
今天来一起学习一下MapReduce ：hadoop的并行分布式计算模型【什么是Map/Reduce】看看下面的各种解释：（1）MapReduce是hadoop的核心组件之一，hadoop要实现分布式需要包括两部分，一部分是分布式文件系统hdfs，一部分是分布式计算框架mapreduce，缺一不可，也就是说，可以通过mapreduce很容易在hadoop平台上进行分布式的计算编程。（2）M...
2019-06-14 21:27:00
415
原创 Eclipse与Hadoop开发环境搭建
首先，配置环境变量步骤如下：我的电脑右键–》属性-----》高级系统设置------》环境变量—》在系统变量中增加新建：这就完事了一部分下面打开eclipse在打开之前打开eclipse文件所在位置----》将hadoop-eclipse-plugin-2.6.0.jar复制到eclipse的安装目录下的plugins启动eclipsecore-site.xml 配置文件：...
2019-06-13 21:00:19
479
转载 hadoop框架搭建：HDFS伪分布式搭建，HDFS完全分布式搭建
**1、HDFS伪分布式搭建步骤：(**1)配置免密登录 node01->node01①ssh-keygen -t rsa②ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01(2)配置JDK①export JAVA_HOME=/opt/software/jdk/jdk1.8.0_151②export PATH=PATH:PATH:PATH...
2019-06-12 20:28:19
136
原创 SecondaryNamenode 持久化
今天要说的是 SecondaryNamenodeSecondaryNameNode就是来帮助解决上述问题的，它的职责是合并NameNode的edit logs到fsimage文件中。SecondaryNameNode永远无法取代Namenode的位置上，他是Namenode的一个热备；首先，Namenode 是掌握一批元数据的（描述数据的数据）----》在内存里持久化------》为了保证...
2019-06-11 21:21:36
177
原创 我对于大数据的认识
今天来说一说对于大数据这个词的理解 以及初步的认识；（以下只是本人简短学习之后的总结，如有错误欢迎指出）我对于大数据的认知是：短时间内快速产生的大量且多种多样的有价值的信息；在以往，数据产生速度慢，节奏慢，而现在呢社会科技发展之快是肉眼可见的，当然也有很多是我们还没真正地感受到，就已经有开始了更先进的技术发布；对于这一数据量过大的问题，有两个解决方法：1：垂直扩展：就好比你的电脑要扩大容量...
2019-06-10 21:04:30
19914
1
原创 Linux中shell小脚本简易计算器
补上昨天的简易计算器#!/bin/bashfor i in `seq 1000`doecho "此计算器中乘法用x表示 除法用/表示！"echo "请输入第一个整数"read num1expr $num1 + 1 >/dev/null 2>&1if [ $? -ne 0 ]thenecho "输出的$num1不是整数请重新输入"exitfiecho...
2019-06-10 09:30:49
1633
原创 Linux中shell脚本
Linux中shell脚本数据流：通过重定向创建流，一个输入输出的连接0：输入 <1：标准输出 >2：错误输出ls //aabb 1>test 2>&1 ：将标准输出和标准错误输出重定向至文件test覆盖 >>追加read aa<<AABB 当遇到AABB时结束注：read对换行敏感，只能读取第一行#...
2019-06-09 19:47:07
170
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人