程序媛-团子-CSDN博客

原创 java下载网络图片文件，并获取其图片类型

业务场景：业务后台编辑资讯时候，从其他网页直接复制内容的时候，复制图片，部分图片由于前端跨域问题，无法展示，而且没法上传到本公司的资源文件服务；故需要后台下载图片资源文件，然后再进行上传本公司资源文件服务，再返回前端问题：由于网络上的图片路径各式各样，不能单纯通过外链接的后缀来判断图片的类型，如：https://hbimg.huabanimg.com/ff4aceaad9a05333b3e46579d991eecdcffb45f612951-T6WWCx_fw658/format/webp 、h

2021-02-24 16:52:01 1625

原创 springboot导出多excel文件并压缩

业务场景：需要导出多个excel文件并压缩为一个文件，最后返回给前端解决思路：将每个业务数据导出一个excel文件，然后通过ZipOutputStream写入一个zip文件就可以了代码层面：Controller入口：传入必要的业务参数，以及response @PostMapping("/v1/analysis/mediasubsidy/export") public void export(@RequestBody MediaSubsidyMonthRequest medi

2021-01-28 11:17:44 1565

原创 springboot导出excel操作

业务场景：后台需要提供一个导出所有数据的接口，将导出的excel表格返回给前端展示代码层面：展示主要跟导出功能相关的代码，主要流程：获取业务数据，形成excel数据流，导出excel @PostMapping(value = "/v1/analysis/mission/readrecordExport") public void readrecordExport(@RequestBody MissionReadRecordRequest missionReadRecordReque

2021-01-28 11:05:20 716 1

原创 springboot配置mongo多数据源

问题场景：项目里面需要用到多个mongo数据源配置问题解决：根据不同mongo数据源配置不同mongoTemplate就可以了代码层面：mongo maven 依赖： <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-mongodb</artif

2021-01-28 10:54:09 394

原创 python从mysql读取bigDecimal类型写入mongo问题

场景描述：从mysql同步数据到mongo时，读取BigDecial字段时不进行任何处理入库到mongo会出错，是因为mongo支持是Decimal128，跟数据库对不上，只需要在入库的时候进行转换就可以了代码：#引入from bson import Decimal128 as Decimal#对类型进行强制转换就可以了totalQuantity= Decimal(totalQuantity)...

2021-01-28 10:43:13 320

原创 springboot从mongo读写Decimal问题

场景描述：基于springboot架构的项目上，向mongo读取BigDecimal字段类型；问题以及解决思路：mongo中不支持java的java.util.math.BigDecimal类型，而mongo中使用的是org.bson.types.Decimal128，所以在读写的时候需要进行类型转换。mongo提供了自定义转换器，可以通过定义写转换器：java.util.math.BigDecimal->org.bson.types.Decimal128，定义读转换器：org.bso

2021-01-28 10:37:36 1371 1

原创 PMP-备考：5、范围管理

5.项目范围管理范围管理：只做范围内的正确事情预测型生命周期（瀑布）：范围一开始已经确定，后期改动小；通过范围说明书、wbs\wbs词典构成范围基准，通过变更控制维护基准适应型生命周期：相关方持续参与项目，不断进行定义范围、确认范围、控制范围过程；通过待开发项，故事点来反映当前的需求，并持续的动态变化重视需求的商业价值：项目经理与商业分析师是良好的合作伙伴关系，强调收集需求和需求商业价值（需求管理计划、需求文件、需求跟踪矩阵）避免范围蔓延、防止质量镀金、除外责任（不是项目需要..

2020-11-09 16:33:37 430

原创 PMP-备考：4、项目整合管理

4.项目整合管理4.1制定项目章程：what: 正式批准项目并授权项目经理在项目活动中使用组织资源的文件过程。why:（考）明确项目与组织战略目标的直接联系，确立项目的正式地位，并展示组织对项目的承诺。输出：项目章程：高层次的需求，项目目标，项目退出标准假设日志：客观不存在，风险来源，逐渐细化制约因素：客观存在，不能改变，限制条件工具：数据收集：头脑风暴、焦点小组、访谈人际交往：冲突管理、会议管理、引导（考）输入：（考，输入、作用）商业文件...

2020-11-09 16:13:50 428

原创 pmp备考-1

本人参加2020年09月份的pmp考试，以3T2A成绩pass考试，记录一下考试心得。报名的机构会发一本pmbook和一本机构特有的讲义，机构会有复习计划，可是通常都是很难坚持下去，因为pmbook实在是真的无聊，而且单纯的看真的看不进去；我是在第一次模拟考试后才发奋看书的人，第一次模拟考试120题我对了59题，用了一个半月的时间发奋学习，我是按照以下的知识点学习。1.建立知识结构图通读课本，建立整体的知识框架，该过程不在于理解49过程，就大概知道跳过概念就可以了。这一步很重要，能够得知49过

2020-11-09 16:06:54 249

原创 project之任务计划（任务之间的依赖关系）

1创建一个初始的项目计划步骤创建工作分解结构设置任务之间的依赖关系估算工期创建工作分解结构根据项目实际划分工作分解任务，可以通过excel进行分解任务，下面是一个新房装修项目例子：设置任务之间的依赖关系 1.理解任务之间的依赖关系图 2.在project中设置任务依赖关系使用下图中的红色框框可以进行任务的升级与降级，可通过：格式->大纲数字设置任务大纲注意：任务之间的依赖关系紧设置其子任务，摘...

2020-05-26 23:26:58 9696 1

原创 project之制定计划（设置不同的日历）

1. 设置项目信息操作：项目->项目信息作用：设置项目开始时间、使用的日历2. 日历设置项目->更改工作时间->新建日历- 标准日历基础上增加特定假日例子：在标准日历（5天8小时）上增加法定日历，如下增加国庆节放假以及国庆节调休补班特定假日设置补班-需要设置为工作时间 - 6天制日历设置基于节假日日历下设置工作周->设置星期6的工作时间，注意工作时间填写：不能填写8：00-17：00（这里...

2020-05-23 23:41:46 4456

原创 spring-data-mongo实现spring整合mongodb

使用spring-data-mongo整合spring和mongodb1.maven配置 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-mongodb</artifactId> </dependency>2.配置文件

2020-05-13 16:57:38 209

原创 springboot不同版本整合elasticsearch

使用springboot整合elasticsearch时候，需要注意版本的对应关系，不然问题会非常多，对应关系如下：springboot2.1整合elasticsearch的两个方式：通过spring-data-es（springboot 2.2版本以后使用http形式操作，使用端口9200，springboot 2.1使用tcp形式访问es，使用端口9300）、使用 RestHighLevelClient 方式使用RestHighLevelClient 方式，官方建议restHighLeve.

2020-05-13 14:06:11 5685

原创 nested exception is org.hibernate.boot.archive.spi.ArchiveException: Could not build ClassFile 问题解决

springboot启动报错：Error starting ApplicationContext. To display the conditions report re-run your application with 'debug' enabled.2020-05-07 09:33:30 [ERROR] org.springframework.boot.SpringApplicati...

2020-05-07 09:42:29 2947 1

原创 java文件拷贝方式

java文件拷贝方式java.io提供了FileInputStream、FileOutputStream文件拷贝方式public static void copyFileByStream(File source, File dest) throws IOException { try (InputStream is = new FileInputStrea...

2020-03-26 15:54:43 430

原创理解spring aop动态代理

Spring AOPSpring是一个轻型容器，Spring整个系列的最最核心的概念当属IoC、AOP(Aspect Oriented Programming，即面向切面编程)。Spring AOP的底层实现是基于动态代理的实现原理，AOP的拦截功能是由java中的动态代理来实现的。AOP的源码中用到了两种动态代理来实现拦截切入功能：jdk动态代理和cglib动态代理。jdk动态代理是由j...

2020-03-26 11:54:24 297

原创 Hadoop生态圈之mapreduce

概念MapReduce是多进程，进程空间独享，方便对资源的管理，消耗更多的启动时间，时效性不高，适合离线处理，高吞吐。mapreduce是hadoop的批量处理计算框架，主要分为map、reduce过程。map：负责将数据处理为<key,value>形式的数据输出到reducereduce：负责处理map输出的结果工作流程1.从hdfs获取数据。InputForma...

2019-03-04 10:08:54 300

原创 hadoop生态圈之任务调度器yarn

yarn出现yarn是hadoop2.x后出现负责资源调度，它不仅支持mapreduce的计算，还支持hive、spark等计算框架的计算。yarn组件yarn包含组件：resourceManager、ApplicationMaster、Container、NodeManagerresourceManager: 负责资源调度，与AM进行通信、与NodeManager进行通信。Nod...

2019-03-01 09:49:57 274

原创 hadoop生态圈

概念 hadoop生态圈主要分为：资源调度器、计算框架、分布式存储、数据仓库、分布式数据库、分布式协调框架、日志收集工具、消息队列、可视化任务调度器资源调度器yarn是hadoop2.0之后的出现的资源调度器。计算框架常用的计算框架有：mapreduce、spark、storm，其中mapreduce是批量处理，spark和storm是基于内存的流式处理。分布式存储...

2019-02-27 16:20:29 315

原创 prometheus+grafana监控mysql、canal服务器

一、prometheus配置1.prometheus安装1.1官网下载安装包：https://prometheus.io/download/1.2解压安装包：tar -zxvf prometheus-2.6.1.linux-amd64.tar.gz 1.3快速启动：进入解压目录并启动：./prometheus 默认使用解压目录下的prometheus.yml配置文件】2.优化p...

2019-01-19 17:00:10 3117 1

原创 springboot 2.x 多数据源配置出现jdbcUrl is required with driverClassName.

springboot 2.x 多数据源配置出现：Caused by: java.lang.IllegalArgumentException: jdbcUrl is required with driverClassName. at com.zaxxer.hikari.HikariConfig.validate(HikariConfig.java:1059) at com.zaxxer.h...

2018-10-23 11:15:25 1875

原创 kafka

一、kafka简介Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复...

2018-10-22 11:58:38 320

原创 hadoop组件-yarn

1.hadoop 2.x原型图2.YARN架构YARN概述：YARN是资源调度框架通用的资源管理系统为上层应用提供统一的资源管理和调度YARN架构图，也是Master/Slave结构的：从上图中，YARN主要由以下几个核心组件构成：1. ResourceManager，简称RM，整个集群同一时间提供服务的RM只有一个，它负责集群资源的统一管理和调度。以及还需要处...

2018-10-19 19:38:56 246

原创 oozie submit springboot application

使用oozie的shell类型提交springboot application，界面化xml配置：

2018-10-19 15:39:20 317

原创 spark submit spring boot application

spark不支持使用spring-boot-maven-plugin打包的springboot项目结构，使用以下格式打包： <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-pl...

2018-10-19 15:33:28 2402 5

原创 springboot Initialization of bean failed; nested exception is javax.validation.ValidationException问题

springboot 1.5.14.RELEASE 读取自定义配置文件属性出现问题2018-10-19 15:06:11.471 WARN 7884 --- [ main] s.c.a.AnnotationConfigApplicationContext : Exception encountered during context initialization - c...

2018-10-19 15:21:43 2780

原创 springboot根据表名和字段查询和更新实现动态sql(jpa,mybatis)

最近需要做一个根据表名和字段更新表的功能，项目结构是springboot+jpa，记录如下：1.经查阅资料jpa和hibernate自带对原生sql的支持都是不支持该操作的，原因是：jpa和hibernate在进行参数替换的时候是使用占位符的形式，防止了sql的注入，在解析会给参数带上单引号，但是可以通过定义原生的sql进行解决动态sql查询，但无法实现动态sql更新，如果需要更新必须获取到表对应...

2018-07-12 17:00:10 17102 3

原创 mybatis连接mysql断连接问题记录

1.mybatis提供的数据源类型以下是官网介绍 UNPOOLED 不使用连接池的数据源 This implementation of DataSource simply opens and closes a connection each time it is requested. While it’s a bit slower, this is ...

2018-06-26 11:27:48 3430 2

原创 ideamaven打包模块项目依赖出现问题记录

情况：项目开发有四个mavenmodule模块，分别为ABCD，其中ABD打包后均为jar，C为springboot项目结构，而ABC均依赖D模块，在使用maven package打包发现，C项目能把D项目作为依赖打包进来，而AB均只打包了各自文件并未打包C，导致运行AB时出现错误出现错误原因：使用maven默认的package命令构建的jar包中只包括了工程自身的class文件，并没有包括依赖的...

2018-06-14 19:44:15 3438

原创 springboot控制quartz任务

1.pom.xml <dependency> <groupId>org.springframework</groupId> <artifactId>spring-context-support</artifactI...

2018-06-06 19:51:43 270

原创 springboot配置mysql多数据源

1.pom.xml依赖  <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-jpa</artifactId&g...

2018-06-06 19:36:27 251

原创 springboot 使用quartz,解决quartz的job无法注入业务

1.pom.xml <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter</artifactId> </dependency> ...

2018-06-06 18:05:06 6815 2

原创线程安全单例模式

package com.tnaot.newshandle.base.oss;import com.aliyuncs.DefaultAcsClient;import com.aliyuncs.IAcsClient;import com.aliyuncs.profile.DefaultProfile;import com.tnaot.newshandle.base.config.OSSCon...

2018-06-06 17:04:56 781

原创 gensim使用

一、基本概念 gensim是一个python的自然语言处理库，能够将文档向量化以及建立模型（TF-IDF, LDA, LSI）。 corpora用于构建语料库，models用于构建处理模型，Similarity用于文档相似性比对顺序：corpora-->models-->Similarity 简单例子：如：两篇文章，每个文章都是由一句话组成 D1: I am a student. ...

2018-06-05 17:06:21 1206

原创推荐系统记录

最近参加一个推荐系统的开发，博客记录。一、环境使用amberia在四台机器上搭建hadoop大数据平台，项目中使用kafka数据分发，flume将kafka行为数据保存到hdfs。离线任务用spark任务计算一些指标如搜索词热度计算；实时计算共两种：近在线，用于计算每5分钟产生的行为数据；在线计算，当用户发起请求，在线获取该用户的最近的搜索记录，进行基于内容的推荐。结果保存在mysql以及hdfs...

2018-05-30 23:29:51 248

原创 java实现sparksql操作数据库

1.创建java maven项目，添加依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.3.0&l...

2018-05-23 23:10:38 13799 7

原创 java实现spark-worldcount例子

1.使用idea新建java maven项目，在pom.xml添加spark依赖，并在打包时指定主函数入口，这样就可以不用在提交spark任务时指定入口方法 <dependencies>  <de...

2018-05-23 22:40:08 755

原创使用jdbc连接数据库

1.数据库连接工具类/** * Author: hezishan * Date: 2018/5/15. * Description: **/public class DBUtils { //资源文件 static Properties pros = null; //静态初始化当加载JDBCUtil类时调用 static { pros ...

2018-05-16 14:37:38 184

原创 springboot使用redis实现消息队列

一、概念消息队列分为两种模式，一种是发布订阅模式，一种是生产者消费者模式。生产者消费者模式：生产者生产消息放到队列里，多个消费者同时监听队列，谁先抢到消息谁就会从队列中取走消息；即对于每个消息只能被最多一个消费者拥有。发布者订阅者模式：发布者生产消息放到队列里，多个监听队列的消费者都会收到同一份消息；即正常情况下每个消费者收到的消息应该都是一样的。二、生产者消费者实现1.springboot添加依...

2018-05-15 14:54:09 2489 2

原创 http请求

http工具类：/** * Author: hezishan * Date: 2018/5/11. * Description: http工具类 **/public class HttpUtil { protected static Logger logger = LoggerFactory.getLogger(HttpUtil.class); public sta...

2018-05-14 13:50:57 100

梦中的婚礼钢琴曲带指法

log4j输出日志到flume

安卓短信验证码

struct2+spring+mybatis整合

tomcat+Android简单音乐播放器

空空如也