5 zhg_vincent

尚未进行身份认证

世界上聪明的人到处有,为何不能算我一个

等级
TA的排名 12w+

springboot利用YamlPropertiesFactoryBean读取自定义yaml配置文件

首先确保依赖已被添加:// https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-configuration-processorimplementation 'org.springframework.boot:spring-boot-configuration-processor:2.2.6.RELE...

2020-04-03 16:39:27

MySQL优化相关总结

前言1.1 b+树的查询过程如上图所示,如果要查找数据项29,那么首先会把磁盘块1由磁盘加载到内存,此时发生一次IO,在内存中用二分查找确定29在17和35之间,锁定磁盘块1的P2指针,内存时间因为非常短(相比磁盘的IO)可以忽略不计,通过磁盘块1的P2指针的磁盘地址把磁盘块3由磁盘加载到内存,发生第二次IO,29在26和30之间,锁定磁盘块3的P2指针,通过指针加载磁盘块8到内存,发生第三...

2020-03-09 11:31:44

后端接口开发及返回值规范札记

请求接口及返回值规范[HTTP&RPC]0. 禁止规则&设计原则任何接口不允许使用编程语言相关的扩展名,可以使用与返回值类型相关的扩展名 (安全角度考虑,将泄漏后端语言或框架)接口名不允许以/结尾 (搜索引擎优化角度考虑,一个同样的页面不应该有两个地址,会被搜索引擎认为是作弊,搜索引擎对无/的地址支持更加友好)接口应该尽量的少, 后端接口不应该因前端的简单格式调整或者查询...

2019-11-25 17:05:33

项目构建打包与容器部署

构建打包结构与部署方案.mdproject-name-version-[debug|release].tar.gz#解压到当前文件夹tar zxvf project-name-version-[debug|release].tar.gz#解压到特定文件夹 (例如解压到/usr/local/project-name-version-[debug|release])tar zxvf pro...

2019-11-18 15:01:46

IntelliJ Idea远程调试容器中的应用

背景    项目开发中需要利用 Spring Cloud Feign调用另一个微服务提供的接口,而所有微服务均部署在docker容器中,传统Idea本地调试方法无法进行有效调用,因此需要特殊配置实现部署环境的远程调试,该方法也适用于调试只在部署环境才能复现的故障。步骤    1、进入容器,开启JVM调试端口jdw...

2019-11-12 14:23:33

线上CPU100%,频繁FullGC排查套路笔记

背景介绍对于线上系统突然产生的运行缓慢问题,如果该问题导致线上系统不可用,那么首先需要做的就是,导出 jstack 和内存信息,然后重启系统,尽快保证系统的可用性。这种情况可能的原因主要有两种:代码中某个位置读取数据量较大,导致系统内存耗尽,从而导致 Full GC 次数过多,系统缓慢。代码中有比较耗 CPU 的操作,导致 CPU 过高,系统运行缓慢。相对来说,这是出现频率最高的两种...

2019-10-10 15:58:18

SpringCloud与SpringBoot的版本对应及相关札记整理

参阅https://github.com/zhangxd1989https://github.com/codecentric/spring-boot-adminhttps://github.com/ityouknow/spring-boot-examplesFinchley -> Greenwich 2.1.1Dalston ->Edgware SR5 1.2.2-1.4.2...

2019-06-18 22:00:30

springboot 对HDFS的文件操作

1 项目背景机器学习平台功能需求之一:对Hadoop文件系统进行操作,实现文件目录的创建、算法组件的删除、修改或上传,算法组件的文件类型暂为jar包,同时一些操作信息记录到MySQL。2 技术路线需要做的几个步骤:Springboot对HDFS操作的相关配置HDFS文件的相关操作业务逻辑 eg: 创建、删除、更新、上传等文件类型检查,对不符规定的文件限制上传3 代码实现首先添加...

2019-09-20 17:22:08

百度地图街景图片爬取

1、需求       最近公司有一个智慧城市空间品质分析需求调研,初步想法是抓取整个杭州市的百度/腾讯街景地图及其时光机功能(实时图片和历史图片),再进行图像分析,研究杭州市街道空间品质的变化,进一步为城市规划和城市变化作重要参考。       刚开始没有什么头绪,最后还是解决了,在这里分享一下。2、分析&nb...

2019-06-25 15:03:16

百度街景图片存MySQL

1 引言       本文记录百度街景图片的存储过程,主要逻辑是:读取本地图片,存mysql,代码直接下载稍作修改就可运行,存储相关使用的是Java原生接口。更多代码以及百度街景图片相关背景参考这里。2 建表       表字段主要分为两部分:当前街景部分和历史街景部分,每部分都包含4大属性:id、拍摄日期、图片...

2019-06-25 15:01:18

redis.clients.jedis.exceptions.JedisConnectionException之异常解决

文章简单介绍了redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out和redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the pool两种异常的产生原因,并最后给出解决方法,亲测有效。

2019-08-09 16:59:36

webmagic之Redis调度器

爬虫redis调度器实现功能如下:待爬取url判重(列表页或详细页); 待爬取url存储至本地内存; 待爬取url存储至redis(列表页或详细页); 待爬取url添加优先级(加入评分score,以便优先爬取) 入队出队逻辑talk is cheap,show you guys the code:public class RedisScheduler extends Dupli...

2019-06-04 10:26:48

按目录层级打印指定路径下的所有文件名

需求:传入文件路径(目录),打印该路径(目录)下所有文件名,要求含目录层次关系1、File类的方法回顾boolean isDirectory() // 判断File是否为目录 boolean isFile() // 判断是否为文件 boolean exists() // 判断文件是否存在 boolean delete() // 删除文件,成功则返回true,否...

2019-03-29 16:24:35

专利网数字验证码识别

1、背景项目需求:识别专利网查询页数字验证码专利查询网址:http://cpquery.sipo.gov.cn/,项目需对该网站进行爬取,网站登陆页面如下:图1 首页登录当公众查询登录之后查询页含数字验证码。此类验证码(字符未扭曲)识别相对容易,只需要识别0-9以内的数字即可。放大点再看先训练模型ocr模型训练的四大步骤:去噪 垂直分割 水平分割...

2019-05-15 23:53:58

基于webmagic框架的多主题爬虫关键词切换

1、背景介绍 多主题爬虫中,我们一般先分析网站的url特点(重点是列表页),再根据项目需求预先设定好关键词,对待爬取url,或者称为种子url进行精准控制。1.1、分析一 带关键词的url场景有很多,如网站的特定版块、某模块发送的AJAX请求等都嵌入了关键词。 eg:我们需要爬取同程旅游网杭州的旅游景点信息,url是:https://so....

2019-05-20 18:34:57

MIT Place Pulse数据集及google街景图片爬取

1、项目背景1.1 使用谷歌街景图片的必要性如果想要做 “建立街景图片与人主观感受的联系”相关场景,需使用 MIT Place Pulse 数据集。该数据集文件可直接下载,但没有提供街景图片本身,只提供了街景的坐标,需通过谷歌街景开放API 获取对应的街景图片。MIT Place Pulse数据集中的街景图片大多在国外,因此需翻墙爬取。1.2 使用谷歌街景图片的目标“建立街景图片与...

2019-07-11 10:26:39

Centos基础与安装

Centos基础与安装Centos安装1. Linux版本衍生|-AT&T Unix: AT&T最初研发,后与Western Electric公司组建贝尔实验室继续研发 Unix 来自 UNIX 为 UNICS的谐音(UNiplexed Information and Computing Service) 而 unics Brian Kernighan是对 Multiplex...

2019-08-21 12:27:00

Centos的使用札记

Centos使用1. Shell基础1.1 Shell类型bash (Bourne-Again Shell, linux默认shell,sh的增强版 包括centos ubuntu,sh软链到bash, GNU组织研发) http://www.gnu.org/software/bash/manual/html_node/index.htmlash (Almquist shell,Ken...

2019-08-21 12:33:29

JVM垃圾回收相关总结

1、Full GC 、 Major GC 、Minor GC 之间区别Minor GC: 从新生代空间(包括 Eden 和 Survivor 区域)回收内存被称为 Minor GC。Major GC: 清理 Tenured 区,用于回收老年代,出现 Major GC 通常会出现至少一次 Minor GC。Full GC: Full GC 是针对整个新生代、老年代、元空间(metaspace...

2019-04-28 09:49:33

JVM线上常用参数、常用工具以及异常排查

数据区设置Xms:初始堆大小Xmx:最大堆大小Xss:Java 每个线程的Stack大小XX:NewSize=n:设置年轻代大小XX:NewRatio=n:设置年轻代和年老代的比值。如:为 3,表示年轻代与年老代比值为 1:3,年轻代占整个年轻代年老代和的 1/4。XX:SurvivorRatio=n:年轻代中 Eden 区与两个 Survivor 区的比值。注意 Survivor区...

2019-04-27 23:27:42

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。