- 博客(76)
- 收藏
- 关注
RSS订阅原创 Spring如何解决循环依赖问题
首先是ioc的创建流程简图初始化对象时的循环依赖问题这个问题出现在上图applicationContext.refresh()方法中，再生成Bean对象时出现的@Overridepublic void refresh() throws BeansException, IllegalStateException { synchronized (this.startupShutdownMonitor) { // Prepare this context for refres
2021-11-15 12:59:52
683
原创 动态代理，InvocationHandler的invok为什么能调用到接口实现类方法
首先要加两点总容易疑惑的解答：第一，newProxyInstance生成的并不是代理接口类 而是代理接口的实现类！！第二，动态代理本质是Proxy生成$Proxy0并代理了InvocationHandler！！1.通过newProxyInstance方法中通过代理类lodar和接口实现instance生成$Proxy0类（这个类实现了代理接口以及拥有代理所有接口的方法，并且可以传入多实现的实现类，但无法拥有继承类的实现接口方法，即使重写了父类接口的实现）public static Obj
2021-11-03 10:17:03
418
转载 IntelliJ IDEA中使用mybatis-generator
使用步骤一、新建generator.xml文件<?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE generatorConfiguration PUBLIC "-//mybatis.org//DTD MyBatis Generator Configuration 1.0//EN" "http:...
2019-03-29 14:39:18
338
转载 Samba
Samba 介绍Samba 安装 查看是否已安装： CentOS：rpm -qa | grep samba Ubuntu：dpkg -l | grep samba 安装： CentOS 6：yum install samba samba-client samba-common Ubuntu：sudo apt-get install -y ...
2019-03-28 10:57:01
150
转载 mybatis自动生成脚本
利用MyBatis生成器自动生成实体类、DAO接口和Mapping映射文件。这样可以大大节约开发时间，将生成的代码copy到项目工程中即可。要想实现代码的自动生成，首先要下载一个工具：http://download.csdn.net/detail/u010608551/9434523，下载后解压zip文件，解压后的目录应该是如下的效果：如果是创建的maven项目，需要添加一...
2019-03-27 18:10:24
517
原创 大数据总结
Hadoophdfs：hdfs在集群中分为namenode和datanode（NN和DN），NN是集群的执行者，在存数据时客户端把需求发给NN，NN端会根据文件大小（128M）分成块，每一块再根据备份数寻找存活的的DN，这个DN会寻找下一个DN把备份传给他，每一块数据在发送时都会做这个过程，所以一份数据会被肢解送到不同的DN节点中。NN会把文件储存位置的信息放在本机，在取数据时使用...
2019-03-22 23:59:44
1390
转载 hashCode
hashCode方法HashSet和HashMap 使用后台数组（backing array）作为桶，并使用链表（linked list）存储键／值对。桶的后台数组：如下所示hashCode() 返回 1, 45等1）使用键（key）和值（value）将一个对象放入 map 中时，会隐式调用 hashCode() 方法，返回哈希值（hash code value），...
2019-03-22 13:56:05
121
原创 hadoop hive hbase 越学越薄系列
第一部分 ：Hadoop配置 （需要jdk）1.环境变量部分关闭防火墙 chkconfig iptables off //修改完毕后，需要重启环境变量 JAVA_HOME 和 HADOOP_HOME 和 各自的bin /etc/profile //修改完毕后，记得执行 source...
2019-03-16 13:44:43
202
转载 spark
Spark环境搭建Centos Spark单机版伪分布式模式Spark单机版intelij开发(maven)Spark完全分布式集群搭建Spark history server配置使用二种方法实现Spark计算WordCountSpark CoreSpark常用Transformations算子(一)Spark常用Transformations算子(二)Spark常用Actions算子...
2019-03-16 08:29:26
291
转载 Scala补充之String
在Scala的REPL环境中测试String的类型，可以发现其就是Java中的String。image所以可以使用Java中String的所有方法，如获取字符串的长度、连接多个字符串。在Scala中，由于String可以被隐式转化成StringOps类型，可将字符串看成一个字符序列，并且可以使用foreach方法遍历字符串的每个字符。image也可将字符串当成字符序列，使用...
2019-03-16 08:26:30
124
转载 Scala-模式匹配、样例类、Option类
1、匹配模式Scala有一个十分强大的模式匹配机制，可以应用到很多场合：如switch语句、类型检查等。并且Scala还提供了样例类，对模式匹配进行了优化，可以快速进行匹配1、匹配字符串/** * 匹配模式(match的使用)：字符串匹配 * Created by 12706 on 2017/11/27. */class MatchDemo { val arr = ...
2019-03-16 08:24:11
146
转载 Scala-类、对象、继承、特质
1、类1、类的定义和访问限制符/** * 类的定义，变量声明与访问限制 * 在Scala中，类并不用声明为public。 *Scala源文件中可以包含多个类，所有这些类都具有公有可见性。 * Created by 12706 on 2017/11/27. *///private[scu]:包可见性scu是包名，除了该包和子包其他包不可见//Person privat...
2019-03-16 08:23:18
133
转载 Scala-单词计数程序、并行计算，文件IO
hadoop和strom都有介绍过怎么进行单词计数，这里使用Scala来实现个简易的单词计数程序，在这之前补充几个常用方法1、排序排序在前面有介绍过，这里是因为单词计数用到了排序就带过一下scala> val lst = List(2,3,1,5,7,6,4,9,8)lst: List[Int] = List(2, 3, 1, 5, 7, 6, 4, 9, 8)scala&...
2019-03-16 08:22:50
259
转载 Scala-元组、集合
1、元祖映射是K/V对偶的集合，对偶是元组的最简单形式，元组可以装着多个不同类型的值。1）、创建元祖//创建元祖时，用小括号那个多个元素括起来，元素之间用逗号隔开，元素的类型可以不一样，元素个数也可以任意多个scala> val tp = (1,3.3,"scala")tp: (Int, Double, String) = (1,3.3,scala)2）、获取元祖的值...
2019-03-16 08:22:11
226
转载 Scala-数组、映射
1、数组1）、创建数组创建定长数组和长度可变数组//创建定长数组，使用new关键字，指定数组泛型为Int，长度为5，默认会初始化这5个值为指定类型的默认值，比如Int的话则5个默认值都是0//注意：如果new，相当于调用了数组的apply方法，直接为数组赋值scala> val arr = new Array[Int](5)arr: Array[Int] = Array(0,...
2019-03-16 08:21:39
284
转载 Scala-方法和函数
1、方法的定义//def用来表示定义一个方法，m1表示方法名，(x:Int,y:Int)是参数列表（参数名：参数类型...）,Int = x + y中Int表示返回值类型，x + y则是方法体（当然也可以跟java一样使用{}包起来）scala> def m1(x : Int, y : Int) : Int = x + ym1: (x: Int, y: Int)Int//调用函数...
2019-03-16 08:21:08
92
转载 Scala-变量声明、常用类型、条件与块表达式、循环、方法函数的调用
为了方便且内容显示更清楚，这里大部分都是使用scala的shell操作1、Scala变量声明//使用val定义的变量值是不可变的，相当于java里用final修饰的变量,鼓励使用valscala> val i = 1i: Int = 1//再给i重新赋值就不允许了scala> i = 2<console>:8: error: reassignment t...
2019-03-16 08:20:33
126
转载 解决org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
Windows7出现这个问题需要在你的 Module下创建一个名为org.apache.hadoop.io.nativeio的包在这个包下创建一个Class 名为 NativeIO然后粘贴如下代码/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor licens...
2019-03-13 20:37:58
1127
原创 Kafka
Kafka集群部署与shell命令行操作1、kafka简介在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。KAFKA + STORM +REDIS1、Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2、Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10...
2019-02-21 19:55:47
348
原创 Sqoop 的安装与数据的导入导出
Sqoop介绍Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。其机制是将导入或导出命令翻译成mapreduce程序来实现在翻译出的mapredu...
2019-02-21 19:50:34
308
原创 Flume 日志采集
Flume的简单介绍Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中Flume的运行机制1、Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成2、每一个agent相当...
2019-02-21 19:49:23
163
转载 pygame的冲突检测
一、精灵与精灵之间的冲突检测1.两个精灵之间的矩形检测在只有两个精灵的时候我们可以使用pygame.sprite.collide_rect()函数来进行一对一的冲突检测。这个函数需要传递2个参数，并且每个参数都是需要继承自pygame.sprite.Sprite。举个例子：spirte_1 = MySprite("sprite_1.png",200,200,1)sprite_2...
2019-02-12 12:32:23
958
2
原创 利用tomcat起一个文件下载服务
配置文件conf/web.xml: <init-param> <param-name>listings</param-name> <param-value>true</param-value> </init-param>将原来的false改...
2019-01-31 11:23:27
214
原创 pygame的安装 和 pyinstaller打包问题
一、软件准备1.下载python3.6https://www.python.org/downloads/2.下载pip的wheel包https://pypi.python.org/pypi/pip/8.0.2点击下载上面的File3.下载windows的easy installer https://pypi.python.org/pypi/setuptools#insta...
2019-01-29 21:58:37
513
原创 Hbase
一、Hbase集群安装与常见问题解决首先说明，要使用hbase是需要先安装hadoop和zookeeper的（也可以使用自带的但是不建议），参考[zookeeper集群安装][hadoop集群安装]我用的是三台机器，mini1,mini2,mini3Hbase的安装流程1、将hbase上传到hadoop集群，我这里上传的是hbase-0.99.2-bin.tar.gz。然后解压并且重命...
2019-01-12 14:29:36
165
原创 zookeeper
一、Zookeeper数据查看工具ZooInspector简介一、背景Zookeeper作为常用的集群协调者组件被广泛应用，尤其是在大数据生态圈中；Zookeeper集群存储各个节点信息，包括：Hadoop、Hbase、Storm、Kafka等等；二、查询ZK数据的方式那如何查看Zookeeper中的数据呢，我们可以通过ZkCli.sh命令客户端查看，但是不太直观，因为ZK本身...
2019-01-12 13:31:08
204
原创 Hive
一、CentOS 6.8中安装mysqlhttps://blog.csdn.net/joob000/article/details/85699213.二、Hive环境安装Hive安装1、到下载地址http://apache.fayea.com/hive/，下载apache-hive-1.2.1-bin.tar.gz，解压tar -xzvf apache-hive-1.2.1-...
2019-01-11 21:27:10
489
1
转载 maven
Maven快速入门1. 下载Maven官方地址：http://maven.apache.org/download.cgi 解压并新建一个本地仓库文件夹 2.配置本地仓库路径 C:\apache-maven-3.5.2\conf\settings.xmlline:46<localRepository>E:\MavenRepository...
2019-01-09 13:46:31
96
原创 MapReduce
一、MapReduce简介MapReduce是Google的一项重要技术，它首先是一个编程模型，用对于大数据量的计算，通常采用的处理手法就是并行计算。以进行大数据量的计算。MapReduce通过简化编程模型，降低了开发并行应用的入门门槛。（1）Mapper负责“分”，即把复杂的任务分解为若干个“简单的任务”来处理。“简单的任务”包含三层含义：一是数据或计算的规模相对原任务要大大缩小；二是就...
2019-01-09 13:39:48
515
转载 CentOS 6.8中安装mysql
卸载掉原有mysql查看该操作系统上是否已经安装了mysql数据库：rpm -qa | grep mysql 若有则卸载：rpm -e mysql // 普通删除模式或者：rpm -e --nodeps mysql // 强力删除模式，如果使用上面命令删除时，提示有依赖的其它文件，则用该命令可以对其进行强力删除通过yum来进行mysql的安装查看yum上提供的mysql数据库...
2019-01-03 15:36:57
207
原创 Hadoop集群环境搭建 与Hdfs
Hadoop部分一、修改Hostname命令：[root@hadoop01 ~] vi /etc/sysconfig/network 打开文件后，（每个虚拟机主机名不同）NETWORKING=yes #使用网络HOSTNAME=hadoop01 #设置主机名二、赋予虚拟机ip地址根目录下 ： vi reset_ip.sh me=$(cat /etc/udev...
2018-12-27 19:26:15
619
原创 SSM三大框架整合
框架整合思路springmvc+mybaits的系统架构 image.pngspring将各层进行整合通过spring管理持久层的mapper(相当于dao接口)通过spring管理业务层service，service中可以调用mapper接口。spring进行事务控制。通过spring管理表现层Controller，Controller中可以调用service接口。...
2018-12-05 10:22:42
169
原创 springmvc框架
hello springmvc什么是Spring MVC?Spring MVC 为展现层提供的基于 MVC 设计理念的优秀的Web 框架，是目前最主流的 MVC 框架之一。Spring3.0 后全面超越 Struts2，成为最优秀的 MVC 框架。导入jar包我们基于Spring mvc框架进行开发，需要依赖一下的spring jar包：spring-aop-4.0.4.REL...
2018-11-26 20:30:08
151
原创 spring 框架之Aop
Spring对AOP的支持 基于代理的经典AOP； @AspectJ注解驱动的切面； 纯POJO切面； 注入式AspectJ切面（适合Spring个版本）； Spring是在运行期将切面织入到所管理的Bean中的，如图所示，代理类封装了目标类，当拦截到方法调用时，在调用目标Bean的方法之前，代理会执行切面逻辑。真正应用需要被代理的Bean时，Spring才...
2018-11-24 15:52:54
77
原创 spring框架之Ioc
IOC声明一个简单的bean第一个例子：首先设置一个接口Perofrmance表示参赛者。package com.moonlit.myspring;public interface Performer { void perform() throws PerformanceException;}创建一个Juggler(杂技师)类继承Performer...
2018-11-24 15:49:43
154
原创 mybatis
Mybatis1.创建数据库-- ------------------------------ Table structure for user-- ----------------------------DROP TABLE IF EXISTS `user`;CREATE TABLE `user` ( `id` int(11) NOT NULL AUTO_INCREMENT...
2018-11-24 14:39:09
139
原创 mybatis代码
Testpackage com.neusoft.main;import com.neusoft.domain.Dept;import com.neusoft.domain.Emp;import com.neusoft.mapper.DeptMapper;import com.neusoft.mapper.EmpMapper;import org.apache.ibatis.io....
2018-11-24 14:33:22
125
原创 oracle 基础 笔记总结
oracle5种语言dql数据查询语言SELECT <字段名表>FROM <表或视图名>WHERE <查询条件> ddl 数据定义语言数据定义语言DDL用来创建数据库中的各种对象-----表、视图、索引、同义词、聚簇等如：CREATE[OR REPLACE] TABLE/VIEW/INDEX/SYN/CLUSTER/SEQUENCE/U...
2018-11-10 12:33:44
217
原创 oracle 中drop truncate delete的区别
一、delete1、delete是DML，执行delete操作时，每次从表中删除一行，并且同时将该行的的删除操作记录在redo和undo表空间中以便进行回滚（rollback）和重做操作，但要注意表空间要足够大，需要手动提交（commit）操作才能生效，可以通过rollback撤消操作。2、delete可根据条件删除表中满足条件的数据，如果不指定where子句，那么删除表中所有记录。3...
2018-11-10 10:51:31
354
原创 oracle 数据库 锁
锁1.一致性 2.dml自动上锁 3.事务结束锁被释放 4.查询锁定加forupdate提交或回滚前数据状态1.可恢复 2.可查询 3.其他不可见 4.被锁定提交后数据状态1.永久性 2.所有可见 3.释放锁 4.清除储存节点回滚后的数据状态1.恢复数据 2.释放锁 3.清除储存节点 ...
2018-10-20 22:00:28
142
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人