天涯的博客

转载 Java 代码技巧

Java 代码技巧

原创 Docker 镜像瘦身——镜像多级构建

docker 镜像瘦身——镜像多级构建

转载 优雅地处理重复请求（并发请求），解决幂等性

对于一些用户请求，在某些情况下是可能重复发送的，如果是查询类操作并无大碍，但其中有些是涉及写入操作的，一旦重复了，可能会导致很严重的后果，例如交易的接口如果重复请求可能会重复下单。

原创 spring 通过注解实现重试的解决方法

spring 通过注解实现重试的解决方法1. 使用方法1. POM依赖2. 在代码中启动`@Retryable`3. 在方法上添加`@Retryable`4.重试启动@Recover2.注意事项通常来说，我们会用try/catch，while循环之类的语法来进行重处理，但是这样的做法缺乏统一性，并且不是很方便，要多写很多代码。而spring-retry可以通过注解，在不入侵原有业务逻辑代码的方式下，优雅的实现重处理功能。spring-retry是spring系列的另一个实用程序模块，可以帮助我们以标准

原创 分布式定时任务框架说明

分布式定时任务框架说明

转载 idea单元测试覆盖率提升插件

idea单元测试覆盖率提升插件

原创 JAVA 泛型中的通配符 （T，E，K，V，？）的使用及区别示例

JAVA 泛型中的通配符 （T，E，K，V，？）的使用及区别示例

原创 RabbitMQ如何保证消息不丢失

RabbitMQ如何保证消息不丢失

原创 SpringCloud Gateway及相关概念简介

SpringCloud Gateway 作为 Spring Cloud 生态系统中的网关，目标是替代 Zuul，在Spring Cloud 2.0以上版本中，没有对新版本的Zuul 2.0以上最新高性能版本进行集成，仍然还是使用的Zuul 2.0之前的非Reactor模式的老版本。而为了提升网关的性能，SpringCloud Gateway是***基于WebFlux框架***实现的，而WebFlux框架底层则使用了高性能的Reactor模式通信框架Netty。

原创 Cookie、Session、Token定义、优缺点、用途

Cookie、Session、Token定义、优缺点、用途

原创 Docker网络 EXPOSE -P -p之间的区别与联系

1. 通过EXPOSE或者–expose暴露端口在dockerfile 中通过EXPOSE暴露端口和在docker run --expose 暴露端口的作用是一样的，都是将端口暴露，但这个暴露的端口不依赖宿主机，默认情况下，我们无法通过这些端口访问宿主机，换句话说，也就是没有与宿主机的网络建立网络映射。2. 通过-p发布特定端口ip:hostPort:containerPort| ip::containerPort | hostPort:containerPort | containerPort-

原创 本地上传jar包到maven仓库

本地上传jar包到maven仓库示例解释说明示例mvn \ deploy:deploy-file -DgroupId=nlu.engine.serviceinvoker \ -DartifactId=nlu-engine-serviceinvoker \ -Dversion=0.2 \ -Dpackaging=jar \ -Dfile=nlu-engine-serviceinvoker.jar \ -DrepositoryId=analysis \ -Durl=http:/

原创 virtualenv做python环境隔离

安装virtualenvpip install virtualenv或者指定源安装pip install virtualenv -i https://mirrors.aliyun.com/pypi/simple创建目录在这个目录下，通过vitrualenv创建虚拟的Python环境，当环境激活时，通过pip安装的文件存放在当前路径下mkdir /pythoncd /pythonvirtualenv python2.7查看Python解释的位置whereis python创建环

原创 virtualenv做python环境隔离

## 安装virtualenv```pip install virtualenv或者指定源安装pip install virtualenv -i https://mirrors.aliyun.com/pypi/simple```## 创建目录* 在这个目录下，通过vitrualenv创建虚拟的Python环境，当环境激活时，通过pip安装的文件存放在当前路径下```mkdir /pythoncd /pythonvirtualenv python2.7```## 查看Python解释

原创 双数组树过程理解(Double-arrayTrie)

目录简介双数组的定义双数组树的构建理解参考资料简介双数组字典树由日本人Jun-Ichi Aoe在1989年提出，它由base和check两个数组组成，状态转移的复杂度为常数。这两个数组里面存在的内容为链接数组的下标，但是为了节约空间，在数据定义以及存储上各有千秋，除非看最原始的实现方式，否则各个博客中或者教程中的版本各有那么一点的不同，而本节就是其中的一种方式。双数组的定义原始的双数组定义...

原创 python基础

目录python基础特殊用法字符串和编码list和tupledic和set函数调用函数定义函数函数的参数递归函数高级特性切片迭代列表生成生成器迭代器函数式编程map/reducefiltersorted返回函数匿名函数装饰器偏函数模块使用模块作用域第三方模块模块搜索路径面向对象编程类和实例访问限制继承和多态获取对象类型使用dir()实例属性和类属性面向对象的高级编程使用\_\_slot\_\_使用...

原创 中文分词评测方法

目录中文分词评测方法步骤参考资料中文分词评测方法对于分词，目前有很多开源的程序，包括hanlp、jieba、哈工大分词等。为了确定哪种分词结果比较好，通常有两种方式，一种是调用接口，对特定的句子分词，通过感觉对分词结果进行对比，但这种分词结果却带有了很大的主观色彩。在网上也是博客在介绍。另一种则通过测试集对分词结果与标准的分词进行分析，得出准确率、召回率等。步骤开放的测试集选取一般测...

原创 Spring boot连接mysql时，The server time zone value 'EDT' is unrecognized 异常

Spring boot 连接mysql数据库时，在部分环境中会出现server time zone异常，查找资料发现这个由于应用所在数据与数据库所在时区不一致导致。同时，在数据库连接的配置中没有指定时区。jdbc:mysql://ip:port/database_name?useUnicode=true&characterEncoding=UTF-8&zeroDateTime...

原创 网页置灰css

通过对html元素添加filter实现网页页面置灰，参考csdn置灰时的样式。html { -webkit-filter: grayscale(100%); -moz-filter: grayscale(100%); -ms-filter: grayscale(100%); -o-filter: grayscale(100%); filter: gr...

原创 hostname的作用以及更改hostname方式

hostname 的作用hostname是主机名，用于在系统中标识一台机器。在登陆linux系统后，[root@izm5e9z5o9dc8yjs3vh5mhz ~]，其中@后面的是主机名字，通过主机名字，可以判断登陆的系统。在本机的/etc/hosts文件中，添加经常访问的机器的ip和主机名的对应的关系，再次访问的时候，直接可以通过ssh root@主机名登陆，不用机主ip了。初次之外，在...

原创 spring mvc log日志由log4j桥接至log4j2

简介spring mvc的日志系统可以配置很多版本，比如log4j、log4j2、logback等等，在参考资料中介绍了Spring mvc如何直接集成log4j2，我们这里介绍的是，如何将原系统中的log4j改为使用log4j2.操作步骤1. 删除原Spring mvc中对log4j的依赖<exclusions> <exclusion> <g...

原创 Centos 查看端口是否开放的三种方式

不同的linux系统查看端口是否开放的不同，在某些环境下，需要依赖于软件，如果centos中并没有装相关的软件，这三种不一定能跑通，所以，具体使用哪种方式，取决于环境，不过可以对每一种试试。方式一使用telnet命令，telnet名利在windows上可以直接使用，在linux上使用的话，先安装（yum install -y telnet），然后在使用一下方式检测，端口是否开放tel...

原创 机器学习技术概览（xmind图）

原创 Python中的"-> "

在一些源代码中会碰到类似下面的代码，比较复杂，看了一头雾水def chain_transform(units: typing.List[Unit]) -> typing.Callable: @functools.wraps(chain_transform) def wrapper(arg): """Wrapper function of transfo...

原创 python 装饰器与 @functools.wraps（）函数的作用

参考原先网站：装饰器

原创 MatchZoo简单使用

MatchZoo简单使用简介安装模型运行Quick StartMatchZoo Quick StartDefine TaskPrepare DataPreprocessingBuild ModelTrain, Evaluate, PredictA Shortcut to Preprocessing and Model BuildingSave and Load the Model简介最近在调研...

转载 Linux安装python3（转发）

（转发自Linux安装python3.6）Linux下安装Python3.6和第三方库如果本机安装了python2，尽量不要管他，使用python3运行python脚本就好，因为可能有程序依赖目前的python2环境，比如yum！！！！！不要动现有的python2环境！一、安装python3.61. 安装依赖环境　　#yum -y install zlib-devel...

原创 elasticsearch7 集群搭建（三个master节点）

简介：在项目部署过程中，我们可能使用到es集群，目前网上在搭建es集群的时候有很种，配置文件的参数也不同，导致部署过程遇到很多问题，因此写下了这篇博客。在之前有关es的博客中，提到过，自es7.0之后，由于种种原因，es的变化很大，这也导致了在部署上，es7与之前的版本在部署上的不同，这也就是为什么目前es集群部署方式有很多种的原因。所以这个博客的中重点是es7中集群的搭建，不适用于其他版本...

原创 ansible ssh密钥认证过程

1、简介ansible默认基于ssh登陆，在对主机操作之前，需要对主机进行认证。ANSI不了认证方式有密码认证和公私钥认证两种方式，等同于ssh认证。出于安全性的考虑，Asible默认使用公私钥的认证方式，密码不用明文存放。2、添加远程认证信息随机生成公私钥对，ssh-keygen是linux下认证密钥、管理和转化工具。ssh-keygen -N "" -b 4096 -t rs...

原创 Python通过logging.config.fileConfig()配置日志

1、简介Python添加配置的方式有好几种，这里只介绍通过config文件方式，配置log日志。相对于直接在文件中配置日志，这种配置方式可以将日志配置和代码分离，方便代码的维护和日志管理。2、步骤新建配置文件logging.conf，用于存放logging配置文件的信息。[loggers]# 配置logger信息。必须包含一个名字叫做root的logger，当使用无参函数log...

原创 Elasticsearch7中的mapping设置以及变化

简述在Elasticsearch7.0之前，我们将每个文档存储在index中，并分配一个映射类型，映射类型用于标识索引的文档或实体的类型，比如：在一个register 索引中，我们可能设置user类型和information类型。在user类型中可能存在username、age、sex等字段，information中可能存在username、password、createtime等字段，我们在...

原创 Elasticsearch7 检索API

简介对es来说，有两种基本的检索方式，一种是通过URI传递检索参数，另一种是通过request body检索。通过request body进行检索，可以在json结构中传递更多信息，同时增强了可读性。内容通过URI检索GET /bank/_search?q=*&sort=account_number:asc&pretty说明：上面将搜索出bank中所有的doc...

原创 ElasticSearch7 修改数据

1、简介主要介绍当在ES中添加了document后，如何更新、删除、批量操作数据。2、内容1、更新文档PUT /customer/_doc/1?pretty{ "name": "John Doe"}说明：更新与保存都是使用put方法。2、删除文档DELETE /customer/_doc/2?pretty说明：可以通过_delete_by_query...

原创 ES7（ElasticSearch7） 操作集群基础

1、简介这里参考ES的的官方说明文档，对ES集群设置和检查常用的API进行总结2、内容查询使用_cat查看1、检查集群的健康状态GET /_cat/health?v绿色——一切正常(集群功能齐全)黄色——所有数据可用，但有些副本尚未分配(集群功能完全)红色——有些数据由于某种原因不可用(集群部分功能)2、集群中所有的节点GET /_cat/nodes?v...

原创 关闭网络防火墙后，依然不能连同某端口

关闭网络防火墙或者通过命令开放某个端口号后，从远程使用telnet ip port 命令测试端口是否开放，显示Connection refused，很绝望，然后重启服务器，貌似也不好用，最后使用iptables -F 解决问题。这个命令只能对小部分情况起作用，请参考...

原创 spring mvc中集成redis（集群含密码、moven项目）

简介spring集成redis集群跟集成redis单机版在使用上基本上完全相同，在配置上只需要修改redis-context.xml文件即可，其他的配置和使用请参考spring mvc中集成redis（单机、moven项目）步骤1、首先参照请参考spring mvc中集成redis（单机、moven项目）项目对redis进行配置（除了redis-context.xml内容）2、使用...

原创 redis集群设置密码

简介前面介绍过redis集群的搭建，但是在redis集群搭建的过程中并未设置密码，这对我们服务的安全带来极大的威胁。因此，在搭建完成redis集群后，对redis集群设置密码（据说在redis集群搭建完成之前，如果直接通过更改redis.conf文件的方式设置密码，会导致集群创建失败，没有验证过，不置可否，如果大家有测过的，欢迎留言）。步骤方式一集群搭建完成后，修改各redis节点...

原创 linux中搭建redis集群并测试

简介在前面我们介绍过redis的单机部署，但是在实际的工程应用中，我们主要使用的redis的集群，redis集群可以自动将数据部署到多个redis节点中。redis集群数据分片：redis集群中有16384个hash slots，为了计算给定的key对应到哪个slot中，通常计算给定的key的CRC16的值来对16384取模，来确定key对应的slot。所以，理论上redis集群中，最多可...

原创 linux中添加账号并设置root权限及密码

简介在日常开发过程中，我们经常需要在linux系统中添加账号并对账号并开通root权限和设置密码，下面将详细介绍一下这些步骤。步骤1、在root权限下，分别使用useradd -m username passwd username，创建用户并设置用户的密码，其中username为要创建的用户名称。例如，我们创建一个test66的账号：2、输入vi /etc/sudoers，编...

原创 关于google深度学习框架中PTB数据的batch方法中参数的理解

简介在《实战google深度学习框架》中的9.2.2节中，介绍了如何对文本数据进行batching的方法，主要包含两种，一种是填充式（padding），另一种则是batching方法。为了方便查看代码中的参数的含义，这里做一下简单的记录。内容代码中的各参数如下图所示：说明：在图中，假设数据为data_size=100，batch_size的大小为4，每个batch中截取的片段包...