- 博客(26)
- 收藏
- 关注
RSS订阅
原创 什么是Hive?Hive的常用配置？hive的运行原理是什么？
一、Hive概述1.1 什么是HiveHive是建立在Hadoop上的数据仓库，提供了一系列工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。数据库：mysql、oracle、sqlserver、DB2、sqlite、MDB数据仓库Hive，是MR的客户端，也就是说我们不必要在所有的机器上都安装部署Hive...
2019-04-11 21:30:35
304
原创 如何做到数据库优化？
1、尽量避免使用select *我们需要哪些属性就取哪些，避免全盘接收。比如我们比如我们只需要查询id和name两个属性，那么我们可以使用SELECT id,name FROM TEACHER，尽量避免使用select * ,虽然有时效果一样，但效率不一样。2、union-all 代替union如果业务上没有特殊说明，可以考虑用UNION-ALL 替换UNION，因为UNION-ALL...
2019-04-10 22:47:02
469
原创 Hadoop介绍（二）MapReduce详解
一、MapReduce概念MapReduce是一个分布式运算程序的编程框架。 MapReduce是基于“Hadoop的用户开发应用”的核心框框架 3、MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在Hadoop集群上。二、MapReduce进程一个完整的mapreduce程序在分布式运行时有三类实例进程：1）M...
2019-04-08 19:10:19
464
原创 Hadoop介绍（一）HDFS详解
一、HDFS概念Hdfs是一个文件系统，用于存储文件，通过目录树来存储文件。 Hdfs是分布式，由很多服务器联合起来实现功能，集群中的服务器有各自的角色。 Hdfs的设计适合一次写入，多次读出的应用场景，并且不支持文件的修改。适合用来做数据的分子 二、HDFS的组成1、Hdfs集群有NameNode、DataNode、SecondaryNameNode；1）、NameN...
2019-04-08 18:58:34
307
原创 Hadoop运行模式之本地模式和伪分布式
一、前言：Hadoop中可使用案例的文件路径：/usr/local/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar在hadoop-2.7.3的etc目录的Hadoop下修改配置文件：/usr/local/hadoop/hadoop-2.7.3/etc/hadoop 二．本地模式...
2019-04-01 21:21:27
542
原创 大数据的特征及开发流程
一、特征 数据量大：任何时候的任何事都可以看作为数据，都可以以数据的形式存储或者处理。 数据多样性：数据类型多种多样，数据分为结构化数据和非结构化数据，结构化就是存储在数据库或者文本数据，非结构化数 据比如视频，音频，图片等数据 价值密度低：海量的数据中有价值的可用的数据比较少 高速：数据处理的速度快二、开发流程获取数据：从数据库中获...
2019-04-01 20:54:10
705
1
原创 Hadoop介绍？Hadoop的优势和四大组件并且四大组建的作用是什么?
一、Hadoop是什么？1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构2）主要解决，海量数据的存储和海量数据的分析计算问题。3）广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈二、Hadoop的优势是什么？1）高可靠性：因为Hadoop假设计算元素和存储会出现故障，因为它维护多个工作数据副本，在出现故障时可以对失败的节点重新分布处理。...
2019-04-01 20:51:41
2658
原创 Web服务器工作原理
1.1.2. Web服务器工作原理HTTP协议基于TCP协议上，是一个应用层协议，用于用户代理和Web服务器进行通信。Web服务器通常采用一问一答的方式进行工作：在用户代理上用户发起资源请求，请求内容包括但不限于：指定资源的唯一标识URI,指明动作类型（GET/POST/DELETE/PUT...） 用户代理解析用户输入URI并从中获取目标域名，交由DNS服务器解析。如果URI中指定某I...
2019-04-01 13:35:52
1609
原创 进程和线程的区别是什么?
进程和线程的区别1、首先是定义进程：是执行中一段程序，即一旦程序被载入到内存中并准备执行，它就是一个进程。进程是表示资源分配的的基本概念，又是调度运行的基本单位，是系统中的并发执行的单位。线程：单个进程中执行中每个任务就是一个线程。线程是进程中执行运算的最小单位。2、一个线程只能属于一个进程，但是一个进程可以拥有多个线程。多线程处理就是允许一个进程中在同一时刻执行多个任务。3、...
2019-03-25 20:44:30
224
原创 什么是Javaconfig？springboot的常用注解和原理是什么？
一.什么是Javaconfig JavaConfig，是在 Spring 3.0 开始从一个独立的项目并入到 Spring 中的。JavaConfig 可以看成一个用于完成 Bean 装配的 Spring 配置文件，即 Spring 容器，只不过该容器不是 XML文件，而是由程序员使用 Java 自己编写的 Java 类。 定义 JavaConfig 类 对于一...
2019-03-21 20:03:36
1777
1
原创 Springboot获取页面参数的方式
1、第一种指定前端URL请求参数名称与方法名称一致，这种方式简单来说就是URL请求格式中参数需要与方法的参数名称对应上，举个例子，这么一个URL请求：http://localhost:8080/0919/test1?name = xxx & pass = yyy 在指定的控制器类上加上Controller 注解，同时指定RequestMapping注解即可，当请求路径参数与方法参数匹配上时...
2019-03-21 19:51:20
1519
原创 大数据是什么？怎么学习？
一、大数据是什么？有很多朋友问过我，大数据到底是什么？一句话来概括针对非软件行业的朋友 根据你平时在超市，加油站，饭店等地方的一些消费行为，通过大数据这个技术，我们可以知道你现在的年龄范围，是否婚配，是否有孩子，孩子大致是几岁，是否有固定住宅，车大致是什么价位的等信息。 针对软件行业的朋友 平时我们写的程序都是在一台机器上运行，处理能力有限，当然，数据量也是有限的。大数据这个技术...
2019-03-20 21:46:19
231
原创 什么是redis？什么是NoSql?非关系型型数据库的四大类是什么？
一、什么是redis？redis是一个开源，内存存储的数据结构服务器，可用作数据库，是一个key-value存储系统， 高速缓存和消息队列代理，它支持字符串、哈希表、列表、集合、有序集合，位图，hyperloglogs等数据类型 。redis的优点：1.支持多种数据结构，如 string（字符串）、 list(双向链表)、dict(hash表)、set(集合）、zset(排序set)、...
2019-03-20 21:26:59
975
原创 对Spring中IOC的理解？
学习过Spring框架的人一定都会听过Spring的IoC(控制反转) 、DI(依赖注入)这两个概念，对于初学Spring的人来说，总觉得IoC 这个概念是模糊不清的，是很难理解的，今天和大家分享网上的一些技术大牛们对Spring框架的IOC的理解以及谈谈我对Spring Ioc的理解。一、分享Iteye的开涛对Ioc的精彩讲解 首先要分享的是Iteye的开涛这位技术牛人对Spring框...
2019-03-20 20:04:29
273
原创 redis的AOF持久化详解
概述：AOF持久化：redis执行数据库写的操作的时候，每次写命令记录到单独的日志文件中；当Redis重启时再次执行AOF文件中的命令来恢复数据。存储过程：将快照内容以命令的形式追加到AOF文件中，所以随着追加AOF文件会越来越大 保存的AOF文件存储了执行的所有命令，所以可以进行修改文件来撤销输错的命令（在重写之前，如果重写了就没有办法了）开启方式： ...
2019-03-20 15:18:48
276
原创 redis的RDB持久化详解
前言：Redis 是内存数据库，它将自己的数据库状态储存在内存里面，所以如果不想办法将储存在内存中的数据库状态保存到磁盘里面，那么一旦服务器进程退出，服务器中的数据库状态也会消失不见为了解决这个问题，Redis提供了RDB持久化功能，这个功能可以将Redis 在内存中的数据库状态保存到磁盘里面，避免数据意外丢失。概述：RDB持久化:默认 Redis 是会以快照 “RDB” 的形式...
2019-03-20 13:38:53
238
原创 数据库架构演变
1、单机时代在90年代，一个网站的访问量一般都不大，用单个数据库完全可以轻松应付。在那个时候，更多的都是静态网页，动态交互类型的网站不多。上述架构下，我们来看看数据存储的瓶颈是什么？1.数据量的总大小 一个机器放不下时2.数据的索引（B+ Tree）一个机器的内存放不下时3.访问量(读写混合)一个实例不能承受综合上述几个问题，数据库出现了演变！2、Memcache...
2019-03-19 17:51:28
3950
原创 Redis数据类型
1. stringString是Redis最基本的类型，你可以理解成与Memcached一模一样的类型，一个key对应一个valueString类型是二进制安全的。意味着Redis的string可以包含任何数据。比如jpg图片或者序列化的对象。String类型是Redis最基本的数据类型，一个Redis中字符串value最多可以是512M。2. list 单键多值...
2019-03-19 17:28:10
148
原创 Redis命令操作
MySql、Oracle等关系型数据库我们一般都通过SQL语句对数据进行操作，但是非关系型数据库没有SQL（NOSQL）我们一般都是通过相应的客户端命令进行数据操作1. key 命令 描述 keys * 查询当前库的所有键 exists <key> 判断某个键是否存在...
2019-03-19 17:17:27
142
原创 Nginx的虚拟主机配置
一:虚拟主机的介绍一台物理主机可以划分为多个逻辑主机,这些逻辑主机就是虚拟主机,每一个虚拟主机都有一个对应的IP地址同样可以对外提供服务二.nginx的虚拟主机分类我们只需要修改Nginx.conf配置文件即可:1.基于端口的虚拟主机在Nginx.conf配置文件中的gzip on;(这一行下面写入如下图代码)gzip on; #配置基于端口的虚拟主机 serve...
2019-03-18 21:11:26
174
原创 AOP的理解？
AOP 面向方面（切面）编程AOP是OOP的延续，是Aspect Oriented Programming的缩写，意思是面向方面(切面)编程。（为啥是OOP的延续） 注：OOP(Object-Oriented Programming ) 面向对象编程AOP 主要应用于日志记录，性能统计，安全控制,事务处理（项目中使用的）等方面。Spring中实现AOP技术：在Spri...
2019-03-18 13:53:18
292
原创 SpringMVC的运行原理及优点？
一、整个处理过程从一个HTTP请求开始：1.Tomcat在启动时加载解析web.xml,找到spring mvc的前端总控制器DispatcherServlet,并且通过DispatcherServlet来加载相关的配置文件信息。2.DispatcherServlet接收到客户端请求，找到对应HandlerMapping，根据映射规则，找到对应的处理器（Handler）。3.调用相应处理器中...
2019-03-18 13:39:47
475
原创 spring概述
我认为spring就是一个框架的集成器，通常使用spring来管理action层和DAO层。Spring本身有很多的组件，比如：MVC、IOC、AOP、DaoSupport等等。IOC本身也就是一个容器，它管理了所有的bean和bean之间的依赖关系。IOC也叫作控制反转，核心是BeanFactory。也就意味着IOC是基于工厂模式设计的，同时这个工厂生产的bean默认是单例的。如果想修改单例变...
2019-03-18 13:33:25
158
原创 maven整合SSM框架--详解
一.创建maven项目1.1 创建项目1.2 更新项目注意:更新项目的目的是防止jar包加载不完全,导致项目报错.操作:选中项目–鼠标右击–之后如下图:1.3 如果项目创建成功后,pom.xml,报错.解决此问题如下:二: 配置pom.xml文件<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="...
2019-03-15 13:47:24
144
原创 Oracle事务-视图-同义词-序列-索引
Oracle事务-视图-同义词-序列-索引 详解-------------------------------------------------------------------------------------准备篇col empno for 9999;col ename for a10;col job for a10;col mgr for 9999;col hiredate...
2019-03-14 21:49:10
239
原创 Hibernate快速入门一条龙
一、Hibernate概述Hibernate是使用在三层架构中的dao层的一个框架，与JDBC和myBatis是类似的技术，它也是基于ORM设计的，其实就是对JDBC的封装，封装之后的东西使用起来更加方便快捷。Hibernate是一个全自动的ORM框架，而myBatis是一个半自动的ORM框架，全自动代表数据表，SQL语句会自动生成，弊端在于不够灵活，效率低，而mybatis可以字节写sql语...
2019-03-14 21:36:47
143
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人