- 博客(69)
- 收藏
- 关注
RSS订阅原创 Hue学习 day02
今天，我继续学习了Hue。学习了编译Spark前环境准备、Spark编译源码成功、CDH Spark安装部署-概述、CDH Spark安装部署-实操、Hue与Spark整合、Apache版本Hue安装部署、Apache版本Spark安装部署。总结一下：1.Hue与Spark集成1、安装jdk1）解压2）配置环境变量2、安装Scala1）解压2）配置环境变量3、安装Maven1）解压2）配置环境变量3）修改settings.xml配置文件4、Spark编译源码1）下载Spark2
2020-10-26 14:36:05
132
原创 Hue学习 day01
今天，我开始了Hue的学习。学习了Hue资料介绍、Hue简介、Hue安装部署、Hue与HDFS的集成、Hue与Yarn的集成、Hue与Hive的集成、Hue与Hive的集成-补充、Hue与Mysql的集成、Hue与Oozie的集成、Hue与Zookeeper的集成、Hue与Hbase的集成、Hue与Sqoop2的集成。总结一下：1.Hue来源HUE=HadoopUser Experience，看这名字就知道怎么回事了吧，没错，直白来说就是Hadoop用户体验，是一个开源的Apache Hadoop U
2020-10-22 21:49:13
135
原创 Oozie学习 day01
今天，我开始了Oozie的学习。学习了Oozie的介绍、Oozie功能模块介绍、搭建CDH版本的Hadoop、CDH版本的Oozie安装部署、实操案例、总结、Apache Oozie版本编译源码。总结一下：1.Oozie简介Oozie英文翻译为：驯象人。一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对Hadoop Mapreduce、Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。主要用于定时调度任务，多任务可以按照执行的逻辑顺序
2020-10-21 18:57:17
100
原创 Storm学习 day02
今天，我继续学习了Storm。先是复习了之前学过的内容，然后学习了Pv-案例、Uv-案例、整合kafka案例。总结一下：1.实时计算网站PV案例1）需求统计网站pv。PV（page views）：count（session_id）即页面浏览量。2）需求分析方案一定义static long pv，Synchronized控制累计操作。（不可行）原因：Synchronized和Lock在单JVM下有效，但在多JVM下无效。方案二shuffleGrouping下，pv * Executer并
2020-10-15 21:19:05
99
原创 Storm学习 day01
今天，我开始了Storm的学习。学习了Storm是什么、Storm与Hadoop的区别、应用场景和案例、特点、编程模型、核心组件、架构图、环境准备、分布式环境搭建、查看log日志、命令行操作、常用API介绍、数据准备、网站日志案例、读数据思考、分组策略-理论篇、分组策略-实践篇、并发度、WordCount案例、感受分组策略。总结一下：1.Storm是什么？Storm是一个分布式计算框架，主要使用Clojure与Java语言编写，最初是由Nathan Marz带领Backtype公司团队创建，在Back
2020-10-14 18:44:17
152
原创 ElasticSearch学习 day01
今天，我开始了ElasticSearch的学习。学习了ElasticSearch什么是搜索、ES特点、ES的核心概念、单节点安装、完全分布式安装、安装总结、ES-head插件安装、获取客户端-API、创建一个索引-API、删除一个索引-API、创建文档-Json-API、创建文档-Map-API、创建文档-ESBuild-API、查询单个索引-API、查询多个索引-API、Update-API、Upsert-API、Delete-API、QueryAll-API、分词查询-API、通配符查询-API、词条查
2020-10-13 21:14:29
100
原创 Flume学习 day01
今天，我开始了Flume的学习。学习了Flume的简介、Flume的特点、组件核心概念、拦截器-数据流-可靠性、使用场景、数据传输过程、Flume-1.7-安装、telnet-安装、Flume-telnet-案例、Flume-文件-案例、Flume-文件夹-案例、双层Flume一对二案例、双层Flume-二对一案例、了解更多组件。总结一下：1.Flume简介Flume作为Cloudera开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume初始的发行版本目前被统称为Flume OG（origi
2020-10-12 21:42:40
98
1
原创 Kafka学习 day01
今天，我开始了Kafka的学习。学习了Kafka是什么、消息队列内部实现原理、为什么需要消息队列、架构、集群部署、命令行操作、topic详情、Broker-配置参数、Producer-配置参数、Consumer-配置参数、Kafka生产过程分析、Broker保存消息、消费过程分析、消费者组案例、生产者-newAPI、生产者带回调函数-API、Producer自定义分区、Consumer消费者API、拦截器原理、Producer-拦截器-Interceptor、Kafka Stream-原理、Kafka St
2020-09-30 22:10:39
95
原创 Kafka学习 day01
今天，我开始了Kafka的学习。学习了Kafka是什么、消息队列内部实现原理、为什么需要消息队列、架构、集群部署、命令行操作、topic详情、Broker-配置参数、Producer-配置参数、Consumer-配置参数、Kafka生产过程分析、Broker保存消息、消费过程分析、消费者组案例、生产者-newAPI、生产者带回调函数-API、Producer自定义分区、Consumer消费者API、拦截器原理、Producer-拦截器-Interceptor、Kafka Stream-原理、Kafka St
2020-09-30 22:02:02
71
原创 Sqoop学习 day02
今天，我继续学习了Sqoop。首先，先是复习了之前学过的内容，然后，学习了MySql-to-Hive、MySql-to-Hive-总结、MySql-to-HBase、MySql-to-HBase-总结、MySql-to-Hive-原理、HDFS-Hive-to-MySql、Hive和HBase整合集成、重新编译hive-hbase-handler-1.2.1.jar、hive-hbase-案例、HBase-To-MySql、脚本、常用命令、公有参数、命令参数-import、命令参数-export-codeg
2020-09-29 21:56:39
61
原创 JeeSite、Sqoop学习 day01
今天，我开始了JeeSite和Sqoop的学习。JeeSite：进行了初步了解、学习了环境部署、快速开发体验、Error解决。Sqoop：学习了简介、原理、架构、应用场景、环境安装、导入导出工具、MySqlToHDFS。总结一下：1.Sqoop简介（sql to hadoop）官网http://sqoop.apache.org/Apache Sqoop（TM）是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。Sqoop于2012年3月孵化出来
2020-09-28 21:24:14
68
原创 Hbase学习 day02
今天，我继续学习了Hbase。首先，先是复习了之前学过的内容，然后学习了动态服役hbase节点、动态退役hbase节点、版本的确界、HA高可用、优化-hadoop、优化-Linux、优化-zookeeper、优化-表预分区、优化-rowkey设计、优化-内存优化、压缩案例-失败、配置hadoop+hbase支持snappy压缩、快速搭建hbase并测试、查看历史命令、脚本。总结一下：1.HBase节点的服役和退役1、服役（commissioning）当启动regionserver时，regionse
2020-09-23 21:23:11
99
原创 Hbase学习 day01
今天，开始了Hbase的学习。学习了Hbase的介绍、环境搭建、Shell操作、读写流程、API-判断一下表是否存在、API-创建一张表、API-删除一张表、API-添加数据、API-删除数据、API-获取整张表的所有数据、API-获取rowkey的所有数据、API-获得某一个列的数据、官方Hbase-MapReduce案例、MR数据迁移、HDFS-MR-HBase、常用Shell、备份-恢复。总结一下：1.HBase的角色1）HMaster功能（1）监控RegionServer（2）处理Reg
2020-09-22 22:13:45
53
原创 Hive学习 day03
今天，继续学习了Hive。首先，先是复习了之前学过的内容，然后学习了表-即分区又分桶、动态分区、系统函数+自定义UDF函数、压缩、文件存储格式-概念、文件存储格式-实操、存储和压缩的结合、调优、常见问题总结、网站日志分析。总结一下：1.分区表分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。2.把
2020-09-21 23:32:00
143
原创 Hive学习 day02
今天，继续学习了Hive。首先，先是复习了之前学过的内容，然后学习了DML数据导入导出、Centos7.5安装Mysql5.6.49-yum方式、强制删除hive的数据库、yum.conf、基本查询、where查询、分组查询、Join查询、排序查询实操、排序查询原理、排序原理-再解说、分桶实操、分桶xy参数讲解。总结一下：1.Hive常见属性配置1、Hive数据仓库位置配置（1）Default数据仓库的最原始位置是在hdfs上的/user/hive/warehouse路径下。（2）在仓库目录下，没
2020-09-17 20:52:29
102
原创 Hive学习 day01
今天，我开始了Hive的学习。学习了基本概念、安装地址说明、安装部署、基本Shell操作、Hive初次启动ERROR解决、将本地文件导入Hive案例、多客户端异常分析、centos7安装mysql5.7.21、Hive元数据配置到Mysql里面、常用的交互命令、其它命令操作、常见属性配置、数据类型、DDL、创建内部表、外部表+内部表、删除数据库-补录、分区表、修改表。总结一下：1.Hive基本概念什么是Hive：Hive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Had
2020-09-16 20:41:28
176
原创 Zookeeper学习 day01
今天，我开始了Zookeeper的学习。学习了概述+特点、数据结构+应用场景、单机模式、伪分布模式、完全分布式、客户端命令行操作、java-api-初体验、Java API、监听服务器节点变化、动态服役节点-3-5、动态退役节点-5-3、客户端连接服务端的三种方式。...
2020-09-15 20:51:12
104
原创 Hadoop学习 day04
今天，继续学习了Hadoop。学习了回收站、HA-概述、HA-环境准备、HA-手动故障转移-HDFS、HA-自动故障转移-HDFS、HA-自动故障转移-Yarn、回收站总结、HDFS-API-Maven版、项目打包放到集群上运行、MapReduce-wordcount、WordCount-优化、初步感受压缩和解压缩、Map-Reduce-压缩、倒排索引。总结一下：1.HA概述1）所谓HA（High Availability），即高可用。2）实现高可用最关键的策略，是消除单点故障。HA严格来说，应该分
2020-09-09 22:31:06
66
原创 Hadoop学习 day03
今天，继续学习了Hadoop。首先，先是复习了昨天学习过的内容，然后学习了IO流HDFS文件上传、IO流HDFS文件下载、IO流定位读取HDFS第一个块、IO流定位读取HDFS第二个块、数据的一致性、HDFS写数据流程、HDFS读数据流程、Namenode VS SName、镜像文件+日志文件、namenode版本、namenode数据还原实操、安全模式、Namenode多目录配置、DataNode工作机制、动态服役新数据节点、动态退役旧数据节点、Datanode多目录配置、DistCp-scp、Hadoo
2020-09-08 21:31:14
91
原创 Hadoop学习 day02
今天，继续学习了Hadoop。先是复习了之前学过的内容，然后学习了编译源码、HDFS概念、HDFS常用命令、HDFS客户端操作、HDFS获取文件系统、HDFS文件上传、HDFS文件下载、HDFS目录创建、HDFS文件夹删除、HDFS文件名更改、HDFS文件详情查看、HDFS文件和文件夹判断。总结一下：1.HDFS概念HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的设计适合一次写入，多次读出的场景
2020-09-07 21:12:56
160
原创 面试题总结04
今天，继续总结了一些面试题：1.请写出spring中常用的依赖注入方式。常见的就是setter注入和构造方法注入。另外还有静态工厂的方法注入、实例工厂的方法注入。2.简述Spring中IOC容器常用的接口和具体的实现类。1.BeanFactory SpringIOC容器的基本设置，是最底层的实现， 面向框架本身的。2.ApplicationContext BeanFactory的子接口，提供了更多高级的特定。面向开发者的。3.ConfigurableApplicationContext，Ap
2020-09-06 10:51:04
49
原创 面试题总结03
今天，总结了一些面试题：1.session和cookie的区别1、session是存储在服务器端，cookie是存储在客户端的，所以从安全来讲session的安全性要比cookie高。2、单个cookie保存的数据不能超过4K，很多浏览器都限制一个站点最多保存20个cookie，而session是存放在服务器的内存中，所以session里的东西不断增加会造成服务器的负担，所以一般把很重要的信息才存储在session中，而把一些次要东西存储在客户端的cookie里（例如将登陆信息等重要信息存放为sess
2020-09-05 13:14:12
100
原创 Hadoop学习 day01
今天，开始了Hadoop的学习。首先，老师给我们分享了一些资料，然后学习了大数据概述、生态体系、准备操作-概论、准备操作-实操、官方grep案例-本地运行、官方wordcount案例-本地运行、伪分布-HDFS-wordcount、伪分布-Yarn-wordcount、修改本地临时文件存储目录、默认配置文件、关联源码、历史服务配置、日志的聚集、完全分布式、集群时间同步。总结一下：1.大数据概念大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模
2020-09-04 21:51:10
193
原创 Linux学习 day04
今天，继续学习了Linux。先是复习了昨天学过的内容，然后学习了配置网络yum源、配置本地自己访问的yum源、配置局域网内的yum源、配置本地yum源方式三、scp-rsync、xsync、cd命令补充、ssh免密登陆操作、Centos6单用户模式、Centos7安装MySql5.7.21、数据恢复、数据恢复原理、shell、运算符、if-case、for、while、read、函数、ubuntu-引入。总结一下：1.Yum概述YUM（全称为Yellow dog Updater，Modified）是一
2020-09-03 22:33:10
62
原创 Linux学习 day03
今天，继续学习了Linux。先是复习了昨天学过的内容，然后学习了grub加密、BIOS加密、帮助类的命令、文件目录类命令、时间类命令、用户管理类命令、用户组管理类命令、文件权限类命令、磁盘分类命令、光盘挂载、查找类命令、进程-线程-类命令、压缩和解压缩、rar、后台管理类命令、crontab、RPM、关联网络yum源的方式、一开机就关机、hadoop安装成功、仅主机模式、nginx-tomcat-负载均衡。总结一下：1.GRUB加密系统启动流程：BIOS -> MBE:512MB -> B
2020-09-02 21:33:56
68
原创 Linux学习 day02
今天，继续学习了Linux。先是复习了昨天学过的内容，然后学习了网络互通、笔记本开启虚拟化支持、centos6操作系统安装、博客点评、centos6-VMTools、centos7-vmtools、centos7-共享文件夹、centos6-共享文件夹、VNC连接Linux、centos8操作系统安装、vim编辑器、vim VS vi、关闭selinux安全策略、关闭图形化界面、httpd服务、yum插件、修改系统打开最大文件数、普通用户赋予root权限、安装jdk、jdk安装的三种方式、单用户。总结一下
2020-09-01 21:19:08
51
原创 Linux学习 day01
今天，我开始了Linux的学习。学习了Linux概念、Centos如何下载、vmware12下载、vmware12安装、创建空白虚拟机、安装操作系统、vmware常用操作、初始化系统的基本配置、网络模式实操、网络模式概念、关闭图形化界面、SecureCRT中文客户端、SecureCRT-中文版-功能介绍、SecureCRT-英文版、Xshell-Xftp-的基本使用、Xshell-Xftp-安装、16进制打开文件、notepad++安装和实操、sublime-安装和使用、filezilla-安装和使用、fl
2020-08-31 22:15:03
59
原创 面试题总结02
今天，总结了一些面试题：1.请写出spring中常用的依赖注入方式。常见的就是setter注入和构造方法注入。另外还有静态工厂的方法注入、实例工厂的方法注入。2.简述Spring中IOC容器常用的接口和具体的实现类。1、BeanFactory SpringIOC容器的基本设置，是最底层的实现， 面向框架本身的。2、ApplicationContext BeanFactory的子接口，提供了更多高级的特定。面向开发者的。3、ConfigurableApplicationContext，App
2020-08-30 19:33:23
77
原创 JavaEE学习 day12
今天，继续学习了JavaEE。继续完善SSM图书管理系统项目。并且，下午参加了面试题考试。总结一下用户管理：删除用户：UserInfoController：String userids=request.getParameter(“userids”);//userids格式：1,2,3,4,5String[] ids=userids.split(",");for(int i=0;i<ids.length;i++){int id=Integer.parseInt(ids[i]);int
2020-08-29 20:19:04
96
原创 JavaEE学习 day11
今天，继续学习了JavaEE。继续做SSM图书管理系统项目。总结一下用户管理：修改用户：修改流程：选中一条数据，点击编辑，弹出修改窗口，显示修改的数据：点击确定按钮，与新增调用同一个函数，因此页面上需要隐藏域来存储用户唯一标识userid，如下代码：点击确定按钮时，将连同userid一起传给后台。后台需要获取userid进行判断：String userid=request.getParameter(“userid”);if(userid==null||userid.equals(""
2020-08-28 22:05:32
109
原创 JavaEE学习 day10
今天，继续学习了JavaEE。继续做SSM图书管理系统项目。总结一下用户管理：新增用户：单击新增按钮，弹出一个窗口，窗口内加载userInfoWindow.html，窗口是一个iframe。单击确定按钮，向后台提交数据，提交格式：data:[{“id”:"",“loginname”:“123”,“dept_id”:“sc”,“salary”:“123”,“position”:“sc1”,“educational”:“1”,“school”:“123”,“name”:“12”,“gender”:
2020-08-27 19:38:15
130
原创 JavaEE学习 day09
今天，继续学习了JavaEE。继续做SSM图书管理系统项目。SSM图书管理系统_修改用户_显示修改数据、SSM图书管理系统_修改用户_userid隐藏域、SSM图书管理系统_修改用户_与新增共用一个方法、SSM图书管理系统_删除用户。总结一下SSM：SSM简介：SSM框架，是Spring + Spring MVC + MyBatis的缩写，Spring依赖注入DI来管理各层的组件，使用面向切面编程AOP管理事物、日志、权限等。SpringMVC代表了Model（模型）View（视图）Controlle
2020-08-26 20:02:17
243
原创 JavaEE学习 day08
今天，继续学习了JavaEE。继续做SSM图书管理系统项目。ssm框架：实现用户管理的分页操作：service层：@Service("userInfoService")public class UserInfoServiceImpl implements IUserInfoService { @Autowired private IUserInfoDao userInfoDao; @Override public List<UserInfo> fin
2020-08-25 18:57:52
75
原创 JavaEE学习 day07
今天，继续学习了JavaEE。继续做SSM图书管理系统项目。SSM图书管理系统_显示数据列表、SSM图书管理系统_数据分页、SSM图书管理系统_条件搜索。总结一下ssm框架：1、1）commons-logging.jar包是使用spring的必备包。用来记录程序运行时的活动的日志记录。2）standard-1.1.2.jar与jstl.jar是使用jstl标签必须的两个jar。2、ssm框架搭建1）新建JavaWeb项目，并建好相应的包结构2）将jar添加到lib目录下3）在condig中新
2020-08-24 19:45:54
73
原创 面试题总结01
今天，总结了一些Java面试题：1.请写出spring中常用的依赖注入方式。常见的就是setter注入和构造方法注入。另外还有静态工厂的方法注入、实例工厂的方法注入。2.简述Spring中IOC容器常用的接口和具体的实现类。1.BeanFactory SpringIOC容器的基本设置，是最底层的实现， 面向框架本身的.2.ApplicationContext BeanFactory的子接口, 提供了更多高级的特定. 面向开发者的.3.ConfigurableApplicationConte
2020-08-23 18:33:09
80
原创 JavaEE学习 day06
今天，继续学习了JavaEE。继续做了SSM图书管理系统项目。SSM图书管理系统_建库建表、SSM图书管理系统_Mybatis生成实体类映射文件。MYBATIS使用GENERATOR插件自动生成MAPPER，实体类总结一下：准备工作：需要俩个jar包：（1）跟我们数据库连接的jar包，我用的是mysql-connector-java-5.1.16-bin.jar（2）就是实现我们需求的插件Generator，mybatis-generator-core-1.3.2.jar实现步骤：（1）在D盘
2020-08-22 19:37:49
81
原创 JavaEE学习 day05
今天，继续学习了JavaEE。首先，Spring资料分享、SpringMVC资料分享、mybatis资料分享，然后，学习了mybatis-MBG逆向工程，SVN应用案例01、SVN应用案例02，还学习了Eclipse安装SVN的四种方式、Eclipse与SVN的使用、Maven实操。总结一下一些需要注意的问题：1.学习框架，是学习什么其实是在学习规则#传统的方式（最底层）获取jdbc连接Class.forName(“com.mysql.jdbc.Driver”);Connection conne
2020-08-21 22:16:12
107
原创 JavaEE学习 day04
今天，继续学习了JavaEE。学习了拦截器概念、拦截器使用、SSM图书管理系统_MiniUI、SSM图书管理系统_SSM框架搭建、SSM图书管理系统_建库建表。总结一下一些需要注意的问题：1.拦截器Interceptor：依赖于web框架，在SpringMVC中就是依赖于SpringMVC框架。在实现上基于Java的反射机制，属于面向切面编程（AOP）的一种运用。由于拦截器是基于web框架的调用，因此可以使用Spring的依赖注入进行一些业务操作，同时一个拦截器实例在一个controller生命周期之
2020-08-20 21:47:31
143
原创 JavaEE学习 day03
今天，继续了JavaEE的学习。学习了SpringMVC基础、SpringMVC请求原理、SpringMVC处理流程、SpringMVC参数传递。总结一下一些需要注意的问题：1.SpringMVC框架特点清晰地角色划分。灵活的配置功能。提供了大量的控制器接口和实现类。真正做到与View层的实现无关（JSP、Velocity、Xslt等）。国际化支持。面向接口编程。Spring提供了Web应用开发的一整套流程，不仅仅是MVC，他们之间可以很方便的结合一起。2.MVC设计模式模型（Mode
2020-08-19 21:32:10
151
原创 JavaEE学习 day02
今天，我继续了JavaEE的学习。学习了AOP代理对象和增强处理、AOP切面、AOP日志示例、Spring注解实现自动注入。总结一下一些需要注意的问题：1.面向切面编程（AOP）AOP的目标，是让我们可以“专心做事”。AOP的原理：将复杂的需求分解出不同方面，将散布在系统中的公共功能集中解决。采用代理机制组装起来运行，在不改变原程序的基础上对代码段进行增强处理，增加新的功能。通过动态代理实现AOP（采用动态代理技术，利用截取消息的方式，对该消息进行装饰，以取代原有对象行为的执行）。AOP是
2020-08-18 21:24:50
88
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人