- 博客(38)
- 资源 (26)
- 收藏
- 关注
RSS订阅原创 Docker入门笔记
什么是Docker2013年被开源后发展的非常快，现在在云计算中是一个非常火热的话题。运维、开发、微服务的概念。Docker 确实不是虚拟机运行并映射nginx服务，替换nginx服务的页面。但是这样改变的页面，在Docker容器内部的改变都只是暂时的。是没有被保存下来的，如果想保存可以使用commit命令来保存Docker运行的常用命令如何在大的服务器中配置多个服务器，每个服务器能配置什么环境，资源利用最大化Cent...
2020-10-24 08:56:19
451
原创 Redis安装配置及开机启动后台运行，不能持久化磁盘解决
Window 下安装下载地址：https://github.com/MSOpenTech/redis/releasesRedis 支持 32 位和 64 位。这个需要根据你系统平台的实际情况选择，这里我们下载 Redis-x64-xxx.zip压缩包到 D盘Soft，解压后，将文件夹重新命名为 redis。 打开一个 cmd 窗口 使用 cd 命令切换目录到D:\Soft\redis 运行：...
2020-03-10 14:42:15
623
原创 Idea启动spring boot 项目不报错直接退出解决办法
今天用idea启动spring boot的项目遇到个非常奇异的现象，启动后不报错直接退出。有问题不报错是让程序员最头疼的问题。2019-05-28 11:04:56.819 INFO 9340 --- [ main] com.mtm.bjsd.BjsdApplication : The following profiles are active: ...
2019-05-28 11:13:02
8206
6
转载 冷备份,双机热备份,异地容灾备份,云备份,灾难演练,NAS,QOS,超算集群的简易理解
很多人对热备，冷备，云备了解不深，我科普一下IT行业各种备份术语。以后别闹笑话了。假设你是一位女性，你有一位男朋友，于此同时你和另外一位男生暧昧不清，比朋友 好，又不是恋人。你随时可以甩了现任男友，另外一位马上就能补上。这是冷备份。假设你是一位女性，同时和两位男性在交往，两位都是你男朋友。并且他们还互不干涉，独立运行。这就是双机热备份。假设你是一位女性，不安于男朋友给你的安全感。在遥远的男...
2019-02-18 15:48:16
1004
1
原创 大数据重点知识总结
主要总结一下Hadoop、Hive、HBASE、Spark的要点。首先Hadoop，说道hadoop他的核心就是MapReduce，就MapReduce的执行步骤来说主要如下：☆☆☆MapReduce的执行步骤：1、Map任务处理 1.1 读取HDFS中的文件。每一行解析成一个<k,v>。每一个键值对调用一次map函数。<0,hello you> <...
2018-12-27 09:16:23
2645
转载 九种高性能高可用高并发的技术架构
1、分层分层是企业应用系统中最常见的一种架构模式，将系统在横向维度上切分成几个部分，每个部分负责一部分相对简单并比较单一的职责，然后通过上层对下层的依赖和调度组成一个完整的系统。在网站的分层架构中，常见的为3层，即应用层、服务层、数据层。应用层，具体负责业务和视图的展示；服务层，为应用层提供服务支持；数据层，提供数据存储访问服务，如数据库、缓存、文件、搜索引擎等。分层架构是...
2018-12-04 11:52:47
311
原创 Hive中集合数据类型Struct，Map和Array
Hive中的列支持使用struct，map和array集合数据类型。下表中的数据类型实际上调用的是内置函数。Hive集合数据类型 数据类型 描述 字面语法示例 STRUCT 数据类型描述字面语法示例和C语言中的struct或者“对象”类似，都可以通过“点”符号访问元素内容。例如，如果某个列的数据类型是 STRUCT { first STRING , last STRIN...
2018-11-01 15:21:49
4571
原创 第二十七记·Java操作Kafka实战案例
XY个人记首先要启动kafka的所有服务，本人配置了0-3 四个服务，启动命令如下：$ bin/kafka-server-start.sh -daemon config/server1.properties$ bin/kafka-server-start.sh -daemon config/server2.properties$ bin/kafka-server-start.sh -...
2018-09-23 22:20:37
904
原创 第二十六记·Kafka介绍及安装 使用
XY个人记概述Kafka是一个开源流处理平台，它允许发布和订阅记录流。在这方面，它类似于消息队列或企业消息传递系统。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一...
2018-09-15 11:11:44
208
原创 第二十五记·Scala操作SparkSQL案例（自定义函数及读写CSV格式的数据）
XY个人记SparkSQL的函数HIve支持的函数，SparkSQL基本都是支持的，SparkSQL支持两种自定义函数，分别是：UDF和UDAF，两种函数都是通过SparkSession的udf属性进行函数的注册使用的；SparkSQL不支持UDTF函数的 自定义使用。☆ UDF：一条数据输入，一条数据输出，一对一的函数，即普通函数☆ UDAF：多条数据输入，一条数据输出，多对一的...
2018-09-09 19:09:01
2378
原创 第二十四记·Spark SQL配置及使用
XY个人记SparkSQL是spark的一个模块，主入口是SparkSession，将SQL查询与Spark程序无缝混合。DataFrames和SQL提供了访问各种数据源（通过JDBC或ODBC连接）的常用方法包括Hive，Avro，Parquet，ORC，JSON和JDBC。您甚至可以跨这些来源加入数据。以相同方式连接到任何数据源。Spark SQL还支持HiveQL语法以及Hive Ser...
2018-09-09 14:54:50
15469
原创 第二十三记·Spark Core详解
XY个人记Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎 。现在形成一个高速发展应用广泛的生态系统。官网地址：http://spark.apache.org/Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器...
2018-09-07 17:15:24
297
原创 第二十二记·Spark Standalone环境搭建 监听历史服务配置
XY个人记Standalone集群的配置 配置前提：需要spark的本地执行环境已经配置OK，可参考（第二十一记·Spark local本地运行环境搭建及wordCount案例分析） 在spark-env文件中可以看到它为我们提供需要配置的相应信息如下：1.修改spark-env.sh文件根据上面提示配置如下SPARK_MASTER_HOST=hadoop01...
2018-09-06 15:27:01
370
原创 第二十一记·Spark local本地运行环境搭建及wordCount案例分析
XY个人记我们知道Spark的运行环境有：Spark运行环境 local：本地运行 standalone：spark自带的资源管理框架 yarn mesos，下面是Spark各种运行环境的安装步骤。local 本地运行环境搭建1.解压spark编译好的压缩包，并重命名$ tar -zxf spark-2.0.2-bin-hadoop2.7.3.tgz -C...
2018-08-31 22:18:52
1322
原创 第二十记·Scala入门学习完整笔记
XY个人记目录一、Scala介绍二、Scala 数据类型三、变量声明四、Scala 运算符、算术运算符Scala 内置运算符：算术运算符赋值运算符五、Scala 条件判断、循环代码-下面直接上代码包含了案例:六、数组、元组代码-看代码一目了然里面有详细注释：七、List集合及基本操作、List集合常用方法、Set 集合常用集合类型的应用：...
2018-08-15 11:30:03
499
原创 第十九记·Flume详解
XY个人记 Apache Flume 用于移动大规模批量流数据到 HDFS 系统。从Web服务器收集当前日志文件数据到HDFS聚集用于分析，一个常见的用例是Flume。 Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Flume支持在日志系统中定制各类数据发送方，用于收集数据。Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合...
2018-08-02 13:02:33
4830
原创 第十八记·Phoenix与HBase集成操作数据 (Phoenix环境搭建,Squirrel GUI客户端安装)
XY个人记 Phoenix是构建在HBase之上的关系型数据库层，Phoenix完全使用Java编写，作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。Phoeni...
2018-07-27 21:21:31
1481
原创 第十七记·Java操作HBase进行Bulkload方法导入数据
XY个人记 在第十四记·HBase与MapReduce的集成整合与常用操作中，我们通过HBase shell 进行了Bulkload方式导入数据，Bulkload的方法利用HBase数据按照HFile格式存储在HDFS的原理，使用Mapreduce直接生成HFile格式文件后，RegionServers再将HFile文件移动到相应的Region目录下，这样的方法的有点在于导入过程不占用R...
2018-07-27 19:00:45
4134
3
原创 第十六记·Java操作MapReduce对HBase表进行数据迁移
XY个人记HBase集成MapReduce进行数据迁移工作，通过Java代码将HBase中指定的数据重新更新插入的一张新表中，实现数据迁移。需求场景： 将所有info列簇中的所有name这列导入到另一张表中去，通过Java对MapReduce操作Hbase实现数据迁移建表： 读取的表：create 'stu_mr','info','degree','work' ...
2018-07-27 08:29:03
802
原创 第十五记·HBase压缩、HBase与Hive集成详解
XY个人记一、HBase的压缩配置HBase压缩的三个阶段：1.在数据进入HDFS之前进行压缩2.在MapRecduce的shuffle过程中：Map完成 Reduce开始阶段 数据在节点之间传输的时候进行压缩3.数据处理完成存到HDFS之上的时候进行压缩压缩的目的：1.节省HDFS的存储空间，缓解存储压力2.减少网络传输的数据，减轻网络传输负载HBase配置压...
2018-07-26 17:33:49
1076
原创 第十四记·HBase与MapReduce的集成整合与常用操作
XY个人记 在实际工作中我们对HBase的操作大多数都是与MapReduce共同进行业务操作，HBase 最大的特点之一就是可以紧密的与Hadoop的MapReduce框架集成。在HBase 中没有提供更好的二级索引的方式，在操作数据过程中，如果使用scan进行全表扫描，会极大的降低HBase的效率。 在HBase的官网上关联MapReduce（http://hbase.apac...
2018-07-26 14:40:11
6442
2
原创 第十三记·Java操作HBase详细代码
XY个人记 在shell客户端上控制hbase就不详细的介绍了,关于环境搭建前几篇文章都有详细的介绍，下面来写一下Java代码，这里是官网上的API地址：https://hbase.apache.org/1.2/apidocs/index.html。相关实现介绍 这里介绍Java操作HBase的代码有一下几个相关的功能：1.建表 应用到对象org.apache.ha...
2018-07-21 11:07:55
3145
原创 第十二记·Hbase详解、使用及环境搭建
HBase是一个构建在HDFS上的分布式列存储系统，Hbase内部管理的文件全部存储在HDFS中，HDFS和HBase都具有良好的容错性和扩展性，都可以扩展到成百上千个节点。HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储，从逻辑上讲，HBase将数据按照表、行和列进行存储。HBase具有以下特点： 大：一个表可以有数十亿行，上百万列；...
2018-07-21 10:06:29
593
原创 第十一记·Sqoop安装及使用
Sqoop：SQL-to-Hadoop连接传统关系型数据库和Hadoop的桥梁把关系型数据库的数据导入到Hadoop与其相关的系统(HBase和Hive)中把数据从Hadoop系统里抽取并导出到关系型数据库里利用MapReduce加快数据传输速度，批处理方式进行数据传输。主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关...
2018-07-18 10:04:48
174
原创 第十记·java自定义Hive函数（大小写转换）、hiveserver2服务与jdbc客户端、hive常用sql
一.Java自定义hive函数 --首先创建一个maven项目 --导入jar 添加pom.xml --创建Java文件 -- 打成jar包并上传到hive二、hiveserver2服务与jdbc客户端 -- 启动hiveserver2服务 --配置、启动beelin客户端 --Java使用JDBC链接数据库 --Hive的配置模式分为三种 --Fetch的三种模式三、常用的Hql语句
2018-07-10 19:14:20
848
原创 第九记·Hive安装配置 metastore的三种配置方式详解
XY个人笔记 Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 redu...
2018-07-03 17:35:55
2821
原创 SecureCRT交互窗口不能同时发送解决办法
我们在使用SecureCRT的时候交互窗口无法同属发送问题1.选择交互窗口2.下面会出现空白的交互窗口，然后鼠标右键交互窗口空白处，并选择“发送交互到所有标签”即可。...
2018-07-02 17:11:53
3006
原创 第八记·Hadoop完全分布式搭建教程、Zookeeper搭建、HA环境部署
XY个人笔记1.首先我们先克隆5台虚拟机，更改本地HOSTS文件对应的主机名。2.修改网络信息，后面克隆的4台机器进行相同的配置# cd /etc/sysconfig/network-scripts/# vi ifcfg-eth03.修改完成之后重启网络服务# service network restart4.配置ssh，查看克隆的虚拟机是否有公钥和私钥，如果有的话删除（如果不是自己设置的是克隆...
2018-06-27 16:51:39
475
原创 第七记·Java编写MapReduce，并在集群上运行
XY个人笔记1.首先准备一个需要统计的单词文件 word.txt，我们的单词是以空格分开的，统计时按照空格分隔即可hello hadoop hello yarnhello zookeeperhdfs hadoop select from hadoopselect from yarnmapReduceMapReduce 2.上传word.txt到hdfs根目录$ bin/hdfs df...
2018-06-26 16:59:04
2280
原创 浅析二·Hadoop核心架构之MapReduce浅析
XY个人笔记序 上一篇把自己对HDFS的理解记录了一下，开始这两篇是计划写在一起的，后来因为这个MapReduce理解起来相对于HDFS是有一点点难度的就分开了，然后不断的反复的查找看理解，但是又不知道怎么继续写了。参考别人的文章和图片来做一下记录和个人的理解吧。一、MapReduce Google的那篇MapReduce论文里说：Our abstraction is inspire...
2018-06-22 17:33:56
595
原创 myeclipse 启动卡死解决方法
启动myeclipse的时候myeclipse卡死了，不能做任何操作，一直停留在加载的状态，这是因为myeclipse非正常关闭导致工具配置的加载项错误，因而卡死。解决办法： 删除工作空间下面的org.eclipse.core.resources文件即可文件位置： Workspaces\.metadata\.plugins\org.eclipse.core.resources\.saf...
2018-06-22 09:37:57
5649
原创 浅析一·Hadoop核心架构之HDFS浅析
摘要：1.HDFS集群节点 NameNode、DataNode以及SecondaryNameNode2.HDFS读、写数据流程 3.文件Block复制4.安全模式
2018-06-11 15:06:10
635
原创 第六记·Linux中安装eclipse、配置maven并使用maven搭建小工程
XY个人笔记上传相应文件并解压：$ tar -zxf apache-maven-3.0.5-bin.tar.gz -C /opt/modules/$ tar -zxf eclipse-jee-kepler-SR1-linux-gtk-x86_64.tar.gz -C $ tar -zxf repository.tar.gz -C /opt/modules/$ tar -zxf reposit...
2018-06-01 16:54:57
1801
3
原创 第五记·Hadoop SSH免秘钥配置以及本地native 压缩配置
XY个人笔记【一、SSH免密码登录】我们每次启动($ sbin/start-dfs.sh)或关闭($ sbin/stop-dfs.sh)进程的时候都需要我们输入密码，这样很繁琐，为了解决这种烦恼，它提供给我们一个免秘钥的启动停止方法，下面来看看hadoop进程免秘钥的配置。$ sbin/stop-dfs.sh // 关闭$ sbin/start-dfs.sh // 启动...
2018-06-01 16:21:59
782
原创 第四记·YARN配置以及启动、历史服务配置启动
YARN与历史服务配置 XY个人笔记任务调度 （Mapreduce） 资源管理（resourcemanager nodemanager）【Yarn架构】主从架构： 主节点ResourceManager 从节点NodeManager1. ResourceManager（RM） 全局的资源管理器，整个集群只有一个，负责集群资源的统一管理和调度分配2. ApplicationMaste...
2018-05-27 17:18:51
5491
原创 第三记·Hadoop 2.x 伪分布式环境搭建
Hadoop 2.x 环境搭建 个人笔记Linux 01 中分配opt文件权限给普通用户$ sudo chown ijeffrey:ijeffrey -R /opt/在opt中创建两个文件夹，并将两个tar上传到software里software(存放tar) 和 modules(解压tar后的文件)$ mkdir modules software首先上传两个tar包：jdk-7u67-linux...
2018-05-17 16:12:45
215
原创 第二记·虚拟机克隆
虚拟机克隆：XY个人笔记第一步：克隆虚拟机时要记得关闭被克隆的虚拟机，否则无法进行克隆 第二步： 下一步下一步：选择创建完整克隆 下一步：选择自己路径和更改自己的名称点击完成。第三步；配置虚拟机网络虚拟网络编辑器中查看自己的网关、配置虚拟机网络 第四步：修改主机名$ vi /...
2018-05-17 10:00:22
203
原创 第一记·虚拟机安装Linux以及网络配置
虚拟机创建过程以及网络配置第一步:点击创建虚拟机第二步：选择典型->下一步第三步：如图下一步第四步：个人选择安装的为CentOS 64 位第五步：设置虚拟机名称、位置第六步：根据个人情况分配磁盘第七步：完成第八步：选择自己的虚拟机，点击编辑虚拟机设置第九步：根据个人电脑分配虚拟机内存第十步：设置ISO映像文件第十一步：开启虚拟机，选择第一项第十二步：选择Skip中间配置虚拟机语言、时间新建用...
2018-05-17 09:28:24
2907
el-tree-transfer.rar
2020-04-10
Google大数据三大论文英文版下载 Google论文MapReduce、GFS、Bigtable论文下载英文版
2018-06-07
Google大数据三大论文中文版下载 Google论文MapReduce、GFS、Bigtable论文下载
2018-06-07
Hadoop权威指南(第四版)中文版.pdf 清华大学出版 Tom White 著，王海等译
2018-06-04
Linux-maven.tar和repository.tar下载 linux-maven安装包，仓库包下载
2018-06-01
eclipse-linux版下载eclipse.tar包下载
2018-06-01
native-2.7.3-snappy.tar.gz 下载 native tar包下载
2018-06-01
hadoop-2.7.3.tar.gz 下载 hadoop tar 包下载
2018-05-17
FileZilla中文版下载
2018-05-15
pinyin4j-2.5.0.jar 下载 java汉字转拼音 jar包 附带超级简单小dome
2018-05-07
2017年阿里技术年度精选(上下册)下载
2018-04-27
阿里技术参考图册下载（包含算法篇和研发篇）
2018-04-27
Sublime Text 破解工具 注册机
2018-04-27
JDK1.7下载
2018-04-25
Spring-boot jar Spring-boot所需jar包
2018-03-28
SpringMVC+MyBatis实战代码教学
2018-02-26
jackson所需jar包4个
2017-12-27
MyBatis所需jar包 mybatis-3.4.5 整合spring可用
2017-12-27
springMVC所需jar包 spring-framework-4.2.0.RELEASE.jar
2017-12-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人