hongye301的博客

原创 将A、B两个表的查询结果插到第三个表C中

原创 Kafka使用过程中遇到的异常

异常一：Exception in thread "main" java.lang.NoClassDefFoundError: kafka/api/OffsetRequestat storm.kafka.KafkaConfig.<init>(KafkaConfig.java:43)解决方法：这是没有kafka的jar包，给项目导入kafka的jar包，build path，重新...

原创 安装Hive下的Mysql

1.下载mysql安装包MySQL-client-5.6.29-1.linux_glibc2.5.x86_64.rpm2.确认当前虚拟机之前是否有安装过mysql执行：rpm -qa | grep mysql如果出现下图，证明已经安装了mysql，需要删除3.删除mysql执行：rpm -ev --nodeps mysql-libs-5.1.71-1.el6.x86_64再执行验证...

原创 eclipse中web项目名称的修改

右键工程—properties—web project setting—输入新名称；修改项目工作空间目录下的该模块的.project文件，一开头修改项目工作空间目录下的该模块—settings—org.eclipse.wst.common.component 里边修改：删除eclipse中的该模块，注意下图中不要打对勾，只删除eclipse中的该模块。然后关闭ecl...

原创 Kafka

一、Kafka介绍：Kafka是一种分布式的、基于发布订阅的消息系统，能够高效并实时的吞吐数据，以及通过分布式集群和复本冗余机制实现数据的安全。二、Kafka的安装配置：1.从官网下载安装包 http://kafka.apache.org/downloads2.上传到1号虚拟机，解压tar -xvf kafka_2.10-0.10.0.13.进入安装目录下的config目录4.对...

原创 Storm集群配置与启动

一、Storm集群配置搭建总体的架构：实现步骤：1.安装和配置jdk2.安装和配置zookeeper3.上传和解压storm4.配置storm安装目录conf目录下的storm.yaml文件storm.yaml配置示例：找到storm.zookeeper.servers:添加服务节点，如下：storm.zookeeper.servers:- “zkp1”- “zkp2”...

原创 Storm学习

一、Storm介绍官方网址：http://storm.apache.org/官方对于Storm的介绍：　　Apache Storm is a free and open source distributed realtime computation system. Storm makes it easy to reliably process unbounded streams of da...

原创 HDFS的读写删操作流程

一、读取流程上图的详细过程：1、HDFS提供的客户端开发库Client，通过RPC访问NameNode，发送读操作。2、NameNode通过查询元数据，获取到文件的存储路径，将文件对应的全部（文件较小）或者文件的部分（文件较大）的存储路径放到一个队列中，发送给客户端。3、客户端收到队列，依次遍历队列，读取文件块的信息4、客户端从队列中获取到第一个文件块的存储位置，从中选出一个最近的Da...

原创 红黑树、二叉查找树

一、红黑树Red-black Tree：｀　红黑树一种自平衡二叉查找树，是计算机科学中用到的一种数据结构，典型用途是实现关联数组。红黑书很复杂，但是他的操作有良好的最坏情况运行时间，不管是查找、插入和删除，他的时间复杂度都是O（logn），其中的n是树中元素的数目。二、二叉查找树Binary Search Tree：｀　二叉查找树也称二叉搜索树、有序二叉树（ordered binary tr...

原创 CAS无锁算法

｀　锁是用来做并发最简单的方法，当然其代价也是最高的。　　要实现无锁的非阻塞算法有多种实现方法，其中，CAS（比较与交换，compare and swop）就是其中一种。CAS在大多数处理器架构中都支持调用，组要注意的是：不同的处理器CAS对应的CPU指令也有差异。· 　CAS的语义：我认为V的值应该是A，如果是，那么将V的值更新为B，否则不修改并告诉V的值实际是多少。也就是：CAS有三个...

原创 Concurrent包HashMap、HashTable、ConcurrentMap

ConcurrentMap:并发映射HashMap｀　　基于hash表进行存储的映射。异步式线程不安全的映射—没有同步锁机制，多个线程访问的时候会有数据不明确的问题。｀　　虽然不安全，但是效率高。｀　　底层以数组+链表结构存储。｀　　底层数组初始大小：16HashTable｀　　同步式线程安全的映射。对外提供的方法大部分都是同步方法。如果同步方法是非静态，那么锁对象是this；如果同...

原创 Zookeeper的观察者Observer

观察者Observer功能：　　功能一就如同他的名字，只是一个观察者，对leader和follower的工作进行观察监听。　　功能二就是动态扩展zookeeper集群，而又不影响集群的性能，接收客户端连接，执行leader更新系统状态的命令，不影响集群的性能是因为观察者节点不参与投票，即使是观察者节点宕机了，对集群的运行状态没有影响。使用场景：　　网络状态不稳定的情况　　Zookeep...

原创 HDFS概述、HDFS主要技术、HDFS指令、HDFS回收站机制及配置、dfs路径

一.HDFS概述｀　　Hadoop Distributed File System----- Hadoop分布式文件存储系统，是hadoop的一个组件，用于数据的存储。HDFS的总体布局：　　　HDFS中存在一个名字节点NameNode和多个数据节点DataNode。当用户发送请求后，HDFS会对数据进行切块，然后备份(称为复本replication）并存储到某一个DataNode上，从而...

原创 Hadoop安装

一、Hadoop的安装分类1、单机模式。只能使用MapReduce，其他进程无法启动2、伪分布式。只用一个节点来模拟Hadoop的运行环境。在这种模式下，Hadoop的所有进程都能够正常启动使用。3、 完全分布式。用多个节点来搭建Hadoop集群。二、伪分布式的安装步骤操作系统为linux。1、关闭防火墙service iptables stop；#立即关闭防火墙，但是重启后失效。...

原创 大数据特点、Hadoop概述、版本介绍、模块

一、特点：5V1、volume-体积量大　 　包括采集、存储和计算的量都很大。大数据的起始计量单位至少时Ｔ、Ｐ（＝1024T）、Ｅ（=100万个T）、Ｚ（10亿个T）。2、variety-种类多　　具体表现为网络日志、音频、视频、图片、地理位置信息等。3、value-数据价值密度低　　随着互联网以及物联网的广泛应用，信息海量，但价值密度较低。4、velocity-增长速度快5、v...

原创 高并发基础之Zookeeper基本结构、命令、节点类型及信息05

一、基本结构1、根节点是/2、Zookeeper是一个树状结构—Znode树3、每一个Zookeeper节点是Znode节点4、每一个Zookeeper节点都必须存储数据5、在Zookeeper中所有的路径计算都是从根路径开始6、在Zookeeper中，任意一个持久节点都可以挂载子节点，临时节点没有子节点7、Znode树是维系在内存中，为了快速查询8、Zookeeper不适合存储大...

原创 SSH原理图文详解

原理:　　非对称加密实现绵密登录整个工作流程：　　有两个台服务器：服务器a和服务器b1、a生成自己的公钥私钥对（ssh-keygen命令）。2、将本机的公钥发给b服务器（ssh-copy-id b命令），注意这次是需要通过输入密码验证用户。3、b服务器将主机名a和对应的公钥存储在自己的known_hosts文件中。4、a下次连接b时（ssh b），发出免密连接的请求，b收到a的免密...

原创 Zookeeper搭建

笔者自己使用的XShell连接了三台服务器：zkp1、zkp2、zkp3。运行环境是linux。第一部分：下载zookeeper安装包-----(http://zookeeper.apache.org)第二部分：安装zookeeperZookeeper本身是基于java开发的，需要jdk支持。1、安装jdk（1）下载jdk安装包，注意是linux版本。（2）上传到linux中进行解...

原创 Zookeeper概述、特点、原理

一、Zookeeper1、分布式环境下数据一致的基本问题·　分布式环境下，为了保证数据的可靠或者分布式的处理没数据往往具有多个副本，而当数据发生变化时，如何保证数据一致，这是分布式环境下数据分布式存储和处理的最基本的问题之一。2、Zookeeper概述·　Zookeeper能够在分布式环境下实现数据的一致。他就是一个工具，利用这一特性，可以实现集群中的分布式协调服务。·　所谓的分布式协调...

原创 序列化/反序列化Java自带自带序列化反序列化机制

一、序列化/反序列化概念｀　java是面向对象的语言,对象一般是存活在内存中动态变化的数据。有时候为了保存和传输，需要将内存中存活的动态变化的对象数据转化成可以固定的字节信息。序列化技术可以实现。将已经固定的对象的字节信息转换回内存对象的过程就是反序列化的过程。二、序列化/反序列化应用场景1、将对象序列化后保存，即持久化｀　将内存中的对象信息序列化后保存到外部存储设备中。这个过程也称之为将...

原创 Concurrent包第三部分

一、Lock和sychronized代码块的主要不同点lock和syncronized的区别（1）lock本身就是锁，不需要syncronized寻找指定锁对象；（2）lock可以配置公平策略，实现线程按照先后顺序获取锁，而synchronized代码块不能够保证进入访问等待的线程的先后顺序，它对于代码块的访问等待设置超时时间是不行的；（3）lock提供了trylock方法，可以试图获取锁...

原创 Concurrent包第二部分

一、CyclicBarrier栅栏1、栅栏概述　　Concurrent包中提供的一种并发构造，可以实现多个并发的线程在执行过程中，在某一个节点进行阻塞等待，直到所有的线程都到达了指定位置后，一起放开阻塞继续运行的效果。例子：赛马。2、APICyclicBarrier(int parties)：构造方法，接收一个初始值，指定了栅栏要等待的线程的数量。通过创建一个新的 CyclicBarri...

原创 Concurrent包第一部分

**一、Concurrent概述**　　Concurrent包是jdk5中开始提供的一套并发编程包,其中包含了大量和多线程开发相关的工具类,大大的简化了java的多线程开发,在高并发及分布式场景下应用广泛。Concurrent是java.util下的包。二、BlockingQueue 阻塞式队列1、概述　　阻塞式队列是一种队列数据结构,和其他队列比起来,多了阻塞机制,从而可以在多个线程...

原创 BIO、NIO、IO的三种机制

一、BIO-blocking IO:同步阻塞式IO在执行accept、 connect、 read、 write这四步操作的过程中都会产生阻塞。服务端：public static void main(String[] args) throws Exception { //1.创建服务端 ServerSocket ss = new ServerSocket(); //2.绑定监听指定端口...

原创 eclipse中web项目名称的彻底修改

1.右键工程—properties—web project setting—输入新名称；2.修改项目工作空间目录下的该模块的.project文件，在开头<?xml version="1.0" encoding="UTF-8"?><projectDescription> <name>新项目名称</name>3.修改项目工作空间目录下的该模块...

原创 注释、常量、变量、数据类型 及类型转换

一、注释在代码中用于解释和说明的文字。分类：1、单行注释：//注释内容 单行注释可以嵌套单行注释2、多行注释：/*注释内容*/ 多行注释可以嵌套单行注释， 但是多行注释不能嵌套多行注释3、文档注释：/**注释内容*/ 多行注释可以嵌套单行注释，但是文档注释不能嵌套多行注释补充： ｀　把注释中的内容通过javadoc命令提取到文档中，形成.html格式的程...

原创 常用SQL语句及MySQL数据库的备份与恢复03

一、库的操作1、连接数据库mysql -uroot -p密码或者mysql -u root -p 回车，给出提示在输入密码2、创建数据库create database db1;db1是数据库名称或者create database db1 character set utf8 collate utf8_bin;这里的character set是指定了数据库的默认字符集，c...

原创 数据库介绍及MySQL常见概念01

一、数据库的基本概念1.1.数据库的概念　　数据库，简而言之就是存储数据的仓库，可以按照一定的数据结构存储管理大量的数据及数据与数据之间的关系，它本质上是一种信息管理系统。数据库根据存储采用的数据结构的不同可以分为许多种，其中常见的有层次式数据库、网络式数据库、关系型数据库。其中关系型数据库占据着市场的主流。1.2.关系型数据库　　关系型数据库是建立在关系模型基础上的数据库。这种定义听起来...

原创 MySQL安装的详细教程及MySQL的彻底卸载02

一、安装文件存放路径：不能有中文和空格！1、打开安装程序2、配置环境变量PATH:找到mysql的安装目录下的bin目录，比如D:\software\MySQL\MySQL5.5\bin然后：计算机右键—属性—高级系统设置—环境变量—系统变量中找PATH—编辑—变量值—在最前面加上路径，并以“;”分号结尾，与后面的变量分隔开，注意是在英文状态下输入分号。3、校验是否安装成功...

原创 XML相关

一、xml概述1、xml是什么?　　Extensible Markup Language 可扩展标记语言。xml是一种数据存储格式, 本质上就是一段字符串。　　那么，xml是如何来保存数据的?　（1）xml中允许用户自定义标签, 标签分为开始标签和结束标签。开始标签和结束标签之间可以嵌套其他的标签。　（2）正是利用标签来保存数据, 利用标签之间嵌套关系来保存数据之间的层级关系。　2、...

原创 RabbitMQ的组成、原理、安装、和eclipse的整合

一、RabbitMQ技术介绍 `　　RabbitMQ是在AMQP协议标准基础上完整的、可服用的企业消息系统，是采用 Erlang 实现的工业级的消息队列服务器。　　这里的AMQP(Advanced Message Queuing Protocol）高级消息队列协议，是一个异步消息传递所使用的应用层协议规范。AMQP 客户端不管消息的来源，可以做到任意发送和接受信息。AMQP的目标是为通用消息队...

原创 JavaEE的13个核心规范

·　　JavaEE的13个规范其实就是JavaEE的13个API文档，是一种比较抽象的标准。1、JDBC（Java Database Connectivity）　　JDBC 为访问不同的数据库提供了一种统一的方法，类似的API还有微软的ODBC。JDBC包含众多接口和类，可以执行SQL语句操作不同的数据库并处理执行结果。简单来说，JDBC就是数据库驱动，一些数据库厂商提供的用来操作数据库的ja...

原创 Python爬虫技术、框架、实现

一、爬虫技术概述爬虫，即网络爬虫，是通过递归访问网络资源，抓取信息的技术。　　互联网中也有大量的有价值的信息数据，手动下载效率非常低下，爬虫就是自动化爬取下载这些有价值的信息的技术。　　互联网中的页面往往不是独立存在的，而是通过超链接连接成了一个网络，爬虫程序就像一只蜘蛛一样，通过访问超链接在这张网络中移动 ，并下载需要的信息，理论上可以将爬取到整个互联网的绝大部分数据。爬虫技术最开始来源...

原创 Shiro模块组成、工作原理及搭建

１、Shiro模块组成：　　(1)Application Code:用户代码，代表一个Shiro的启动入口，用Shiro的API来启动，可以理解成把用户的数据用Shiro的API传递给Shiro，用Shiro来处理用户数据。　　(2)Subject:原义是主题，也可以理解为主体。每一个subject代表一个用户，抽象的用户，就是用Shiro对用户的数据进行封装，把数据封装给token令牌，最...

原创 Shiro介绍及其功能

1、什么是ShiroApache Shiro是一个Java的安全管理框架，可以用在JavaEE环境下，也可以用在JavaSE环境下。2、Shiro功能Shiro可以完成的功能主要有登录验证、权限验证、加密、会话管理、缓存等。如图：Shiro主要的功能模块有两部分：　　(1)登录验证:不是登录用户不能访问敏感资源,只有登录了才可以访问敏感资源；用户登录成功，就可以访问敏感资源，之后的所...

原创 SSM框架学习之开发环境搭建

**一、开发环境：**1、eclipse mars22、jdk1.83、tomcat 8.0.234、maven3.3.3**二、搭建开发环境：**1、Eclipse+jdk+tomcat环境搭建（1）eclipse跟jre绑定：　　window–preferences－在搜索框输入jdk-添加对应的路径。　　在这之前配置jdk的环境变量。（2）Eclipse ide工...

原创 Java面试题01

1、Ｊａｖａ的跨平台原理　　Ｊａｖａ跨平台其实就是我们编写的同一套Ｊａｖａ源代码可以在不同的操作系统上运行，但是不同的操作系统支持的指令集不同，所以我们就需要ＪＶＭ（Ｊａｖａ虚拟机）负责将Ｊａｖａ源代码经编译器编译后生成的．ｃｌａｓｓ字节码文件翻译成特定平台下的机器码，然后再运行，从而达到了“一次编译，到处运行”的效果。需要注意的是ＪＶＭ并不是跨平台的，不同的操作系统需要安装对应的ＪＶＭ版本。...

原创 Python基础语法

语法细节+标识符+数据类型+运算符+语句一、语法细节1.编码python2默认使用iso8859-1,python3模式使用utf-8。如果python文件本身的编码和以上编码不一致会出现乱码问题。2.语句Python通常一行为一条语句不需要分号标识，如果将多条语句写在一行内，则需要使用分号分割防止产生歧义。print(“hello python”)print(“hello Chin...

原创 Python基础之概述和安装配置

Python概述、Python的安装配置1、Python概述“龟叔”Guido van Rossum 1989年写的一个编程语言。Python提供了完善的基础代码库，覆盖了网络、文件、GUI、数据库、文本等。龟叔给Python的定位是“优雅”“明确”“简单”。2、Python应用网站后台开发：豆瓣、脸书日常小工具，运维脚本胶水语言，包装其他语言开发的程序爬虫开发（简单易学）人工智能...

原创 简介、编译运行、关键字、标识符、驼峰命名法

Java基础之简介Java语言简介：·Java是一款高级编程语言，它的开发语言是c语言。·91年问世，1995年由SUN公司正式推出，Oak-橡树是sun公司推出的第一个版本。Java语言的跨平台：就是Java代码可以在不同的平台上运行。我们编写的 Java 源码，编译后会生成一种 .class 文件，称为字节码文件。Java 虚拟机（JVM：Java虚拟机）就是负责将字节码文件...