子龙修仙的博客

原创 kafka_Kafka的消息消费机制

测试：启动生产者与消费者。使用zooinspector工具查看当前zook情况：找到当前的消费者：（我也是一个一个找的）可以看到当前的offsets中kafkademo这个topic的值为359.生产一条消息，同时消费者也消费了一条消息，再来刷新工具：可以看到，此值变为了360，含意很明显了，kafka中共有360条消息，当前消费者已消费了360条（相当于索引值）使用代码消费（对应上面图片中的...

原创 springboot-集成spark

1.pom.xml<dependency><groupId>org.springframework.data</groupId><artifactId>spring-data-hadoop</artifactId><version>2.5.0.RELEASE</version>&l...

原创 springboot-集成hbase

修改pom.xml添加依赖<dependency><groupId>org.springframework.data</groupId><artifactId>spring-data-hadoop</artifactId><version>2.5.0.RELEASE</version&...

原创 springboot-集成kafka

Pom.xml<dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></depend...

原创 springboot-启动加载类

项目在启动的时候做一些初始化工作，需要实现ApplicationRunner接口，并重写run()方法，当项目启动时，run()方法便会自动执行。package com.wps.education.runner;import com.wps.education.Service.IAuthorityService;import org.springframework.boot.Applic...

原创 springboot-返回图片数据

@ApiOperation(value = "生成日程分享二维码")@RequestMapping(value = "/pc/r/eventhandle/sharepic", method = RequestMethod.POST )@ResponseBody@ApiImplicitParams({@ApiImplicitParam(name = "eventId", value = "日...

原创 springboot-生成二维码

<dependency><groupId>com.google.zxing</groupId><artifactId>core</artifactId><version>3.3.3</version></dependency><dependency><g...

原创 springboot-发邮件

Pom.xml<dependency><groupId>com.sun.mail</groupId><artifactId>javax.mail</artifactId><version>1.6.0</version></dependency><dependency...

原创 springboot-上传文件

@PostMapping(value="/file/upload")@ApiOperation(value = "上传文件")public Result.Base uploadFile(HttpServletRequest request, MultipartFile file) {if (file == null){return Result.ARGUMENT_INV...

原创 springboot-动态定时任务

需求：日历小程序项目中，日程提醒可以由用户自己来指定时间，如某天某时某分执行提醒，还可以随时修改这个设置。（定时器是项目启动时就定义好的任务，而这里需要让用户动态设置定时任务）添加maven<dependency><groupId>org.quartz-scheduler</groupId><artifactId>...

原创 springboot-定时器

1.在application类上添加EnableScheduling注解@SpringBootApplication@EnableSchedulingpublicclassApartmentBackApplication {publicstaticvoidmain(String[] args) {SpringApplication.run(ApartmentBackA...

原创 springboot-监听器

如添加一个监听项目启动的监听器：1.application添加注解@ServletComponentScan2.写监听器@WebListenerpublic class QuartzJobListener implements ServletContextListener {public void contextInitialized(ServletContextEvent ...

原创 springboot-修改项目名

原项目名：education先修改子项目名：在education-api上右键，refactor、rename，改名为infomation-api效果如下：修改pom.xml中artifactId<artifactId>infomation-api</artifactId>Parent的pom.xml中修改module<modul...

原创 springboot-创建父子项目

创建新的工作空间：workspace-apartment修改maven配置，window、maven、installations选择maven目录。创建父项目创建一个spring boot的spring starter project项目直接下一步到完成。将pom.xml中的<packaging>jar</packaging>改为：...

原创 springboot-密码加密

添加依赖：<dependency><groupId>org.springframework.security</groupId><artifactId>spring-security-core</artifactId></dependency>使用时定义到service的成员变量：private...

原创 springboot-集成lombok

配置lombok插件让IDE支持lombok，如果不安装插件，IDE是无法解析Lombok的注解。File –> Settings –> Plugins –> Browse reposiories –> 输入lombokplugin2.添加依赖<dependency><groupId>org.projectlombok&...

原创 springboot-集成swaggerui

添加依赖<dependency><groupId>io.springfox</groupId><artifactId>springfox-swagger2</artifactId><version>2.7.0</version></dependency><depen...

原创 springboot-集成redis

重点是添加依赖和配置，redis具体更详情的使用见redis相关章节添加依赖<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artif...

原创 springboot-注解

springboot的注解有很多，大部分是在特定功能下使用，这里先介绍一些常用的注解，后面再慢慢补充完善：@SpringBootApplication@SpringBootApplication是Sprnig Boot项目的核心注解，主要目的是开启自动配置@RestController@RestController注解等价于@Controller+@ResponseBody的...

原创 springboot-拦截器

创建我们自己的拦截器类实现 HandlerInterceptor 接口package com.gary.interseptor;/*** @Description: 全局拦截器*/import javax.annotation.Resource;import javax.servlet.http.HttpServletRequest;import javax.servlet.http.H...

原创 springboot-统一异常

模拟异常不做全局统一异常时，当项目中出现异常，会报500.如：@PostMapping(value="/testerror")@ApiOperation(value = "获取用户信息")public Result.Base testerror(HttpServletRequest request){Integer inte = 1/0;return new Resul...

原创 springboot-Themeleaf代替jsp

Jsp在内嵌的servlet容器上运行有一些问题（内嵌tomcat、jetty不支持以jar形式运行jsp，undertow不支持jsp）Spring boot提供了大量模板引擎，包含FreeMarker、Groovy、Thymeleaf、Velocity和Mustache，springBoot推荐使用Thymeleaf作为模板引擎，因为Thymeleaf提供了完美的springMVC支持。...

原创 springboot-jsp支持

首先官方不推荐使用jsp，对jsp的支持也只是为是兼容。注：经测试，发现支持jsp后，只能打出war包部署使用，不能通过main方法启动访问，网上的文章是可以通过main方法启动访问的，不清楚原因。如果要使用jsp，步骤如下：添加依赖库网上有依赖jstl、javax.servlet-api、tomcat-embed-jasper的，但经测试，main启动的话依赖啥都不行，打war包启...

原创 springboot-静态资源

默认路径Spring Boot 默认为我们提供了静态资源处理，使用 WebMvcAutoConfiguration 中的配置各种属性。建议大家使用Spring Boot的默认配置方式，提供的静态资源映射如下:classpath:/META-INF/resourcesclasspath:/resourcesclasspath:/staticclasspath:/public在工...

原创 springboot-配置文件

Pom.xml<parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>2.1.1.RELEASE...

原创 springboot-创建项目

使用eclipse创建springboot需要先安装STS，建议使用idea作为开发工具，方便快捷。创建项目新建项目，选择maven下一步，选目录，完成新建完成后目录结构如下：2.配置项目maven3.添加pom.xml内容主要添加了三个节点：</parent>、</dependencies>、</build>...

原创 storm_安装与配置

安装storm集群的步骤如下：搭建ZooKeeper集群; 安装storm依赖库; 下载并解压storm发行版本; 配置storm.yaml文件; 启动storm的各个守护进程;1.搭建zookeeper集群详见zookeeper章节。2.安装storm依赖库  2.1消息传输机制消息队列ZeroMQ和JZMQZMQ(以下ZeroMQ简称ZMQ)是一个简单好用的传...

原创 storm_伪集群安装

创建linux虚拟机，用户名密码都为gary，ip为192.168.32.131。关闭防火墙：service iptables stopchkconfig iptables off查看防火墙状态：service iptables status安装jdk下载并解压jdk：在linux下创建/opt/java目录，将将jdk中的文件复制过去。然后添加环境变量，在/et...

原创 storm_可靠消息的例子

这是一个比较复杂的例子，含盖的知识面较多。需求：统计出某文件夹下各文件中，各个单词出现的数次。（同时将文件剪切到另一个目录）知识点一：多进程/多线程读取同一个文件，需要对文件进行加锁。知识点二：对单词做统计，所以最好使用按字段分组知识点三：如何得知一个文件的单词统计完了，需要使用storm的可靠消息机制。知识点四：当知道某一个文件的单词统计完后，需要将处理这些单词的bolt结果...

原创 storm_使用streamid的例子

有时同一个spout或者bolt需要发出多类不同的消息。如对一个字串拆分为单词后，将各单词一一发送给各节点，发送完后再发送一条结束的任务。使用方法如下：1.Spout的declareOutputFields方法中定义多组stream：@Overridepublic void declareOutputFields(OutputFieldsDeclarer declarer) {...

原创 storm_简单的例子

写一个简单的topology，spout处理各单词，第一组bolt给各单词后面添加!!!，然后汇聚到同一个bolt并记录所有的单词及个数。新建一个java项目，HelloStorm。新建一个lib文件夹。将storm0.9.5的lib全拷进去。并全Add to build path。新建三个包：com.gary.topology、com.gary.spout、com.gary.bolt...

原创 storm_bolt详解

可靠的与不可靠的bolt也可以使用IBasicBolt接口实现自动确认：    即，如果bolt不是extends BaseRichBolt,而是extends BaseBasicBolt，上面的代码中不可靠的bolt自动变为可靠的了。2.关于declareOutputFields方法需要重点说一下。在此方法中定义fields，它和nextTuple中的emit中...

原创 storm_spout详解

1. 可靠的与不可靠的消息如：public class WordSpout extends BaseRichSpout{SpoutOutputCollector _collector;private static final Integer MAX_FAILS = 2;// 最大失败次数Map&lt;Integer, String&gt; _messages;// 全部...

原创 storm_组件

1. IComponent接口有两个方法：public class component implements IComponent{@Overridepublic void declareOutputFields(OutputFieldsDeclarer arg0) {}@Overridepublic Map&lt;String, Object&gt; getCompo...

原创 storm_拓扑

1.什么是拓扑要使用storm做实时计算，首先需要创建所谓的“拓扑”。一个拓扑是一个有向图的计算。在一个拓扑中的每个节点包含处理逻辑，节点之间的连接显示数据应该如何在节点之间传递。 2.TopologyTopologyBuilder是构建拓扑的类，用于指定执行的拓扑。拓扑底层是Thrift结构，由于Thrift API非常冗长，使用TopologyBuilder可以极大地简化建立拓...

原创 storm_命令行

原创 storm_拓扑的并行度

1.3个实体2.并行度3.拓扑示例对于一个线程中有多个任务的情况下，任务会被顺序执行。4.修改运行中拓扑的并行度

原创 storm_概念

1.元组（Tuple）元组，是消息传递的基本单元，是一个命名的值列表，元组中的字段可以是任何类型的对象。Storm使用元组作为其数据模型，元组支持所有的基本类型、字符串和字节数组作为字段值，只要实现类型的序列化接口就可以使用该类型的对象。元组本来应该是一个key-value的Map，但是由于名个组件间传递的元组的字段名称已经事先定义好，所以只要按序把元组填入名个value即可，所以元组是一个v...

原创 hibernate_事务

1) 概念事务是指一个单元的工作，这些工作要么全做，要么全不做。事务处理可以确保所有操作都成功完成，否则不会永久更新面向数据的资源。 2) 事务特性事务有ACID属性（Atomicity原子性，Consistency一致性，Isolation隔离性，Durability持久性。）(1)原子性:事务是不可分割的工作单元,事务中所有操作执行成功事务才算成功(2)一致性:事务不能破坏数据的完整性和一致性...

原创 hibernate_集成spring

有三种方式在项目中使用hibernate，在这里使用注解的方式：Spring集成hibernate后不再需要Hibernate.cfg.xml配置文件了。1. 导包引入hibernate的包： 以及： 2. 配置 在spring的配置文件中配置数据源，及sessionFactory。&lt;!-- 数据源 --&gt;&lt;bean id="dataSource" class="org.spri...