- 博客(57)
- 资源 (30)
- 收藏
- 关注
RSS订阅原创 Elasticsearch（一）——ES简介、MAC上安装ES、基本操作
简介Elasticsearch是一个高度可扩展的开源的分布式Restful全文搜索和分析引擎。它允许用户快速的（近实时的）存储、搜索和分析海量数据。它通常用作底层引擎技术，为具有复杂搜索功能和要求的应用程序提供支持。 以下是ES可用于的一些场景： 1. 电商网站提供搜索功能：可使用ES来存储产品的目录和库存，并为它们提供搜索和自动填充建议。 2. 收集日志和交易数据，并进行分析：可使用L...
2018-08-10 00:24:43
19514
1
原创 Nginx（一）——简介及安装
Nginx简介Nginx是什么与Apache、Lighttpd、Tomcat、Jetty、IIS相同，Nginx也是Web服务器，或者说是WWW（World Wide Web）服务器。相应的，也具有Web服务器的基本功能：基于REST架构风格，以统一资源描述符（URI）或者统一资源定位符（URL）作为沟通依据，通过HTTP为浏览器等客户端程序提供各种网络服务。Nginx的优势更快...
2018-08-05 23:25:02
365
原创 Thrift（四）——几种服务端类型
TSimpleServer：简单的阻塞式单线程模式HelloTSimpleServer类package com.simplemode;import com.service.HelloServiceImpl;import com.xxx.Hello;import org.apache.thrift.TProcessor;import org.apache.thrift.pr...
2018-07-31 23:34:25
1386
原创 Thrift（三）——传输层、协议、处理器、服务端
下图为Thrift的网络堆栈结构简单表示 传输层(Transport)传输层提供了一个简单的抽象，以用于从/向网络读/写。这使得Thrift能够将底层传输与系统的其他部分隔离（例如序列化/反序列化） 以下是Transport接口提供的一些方法： - open - close - write - read - flush除了上面的Transport接口以外，Thrif...
2018-07-31 00:07:04
1677
原创 Thrift（二）——数据类型
Thrift采用IDL(Interface Description Language/接口描述语言)来定义Thrift类型，然后由Thrift代码生成器生成开发人员所需要的目标语言代码文件。Thrift数据类型包含以下基本数据类型、结构体、容器、枚举等。基本数据类型基本数据类型简单明了，包含了所有编程语言中的可用基本数据类型。bool：布尔值（true/false）byte：8...
2018-07-30 00:38:04
3893
原创 Thrift（一）——基本使用与概念
Apache Thrift是一个由Facebook开发的RPC框架，目标是尽可能高效、无缝地跨语言进行可靠、高性能的通信和数据序列化。RPCRPC全称为Remote Procedure Call，意为远程过程调用。 假设有两个应用A和B分别部署在两台服务器上，当应用A要调用应用B的某个方法时，因为两个应用不在同一进程中，不能够直接进行调用，那就涉及到网络传输。在A和B之间搭建一条网络通道...
2018-07-25 00:31:21
708
原创 Spring Cloud初学习——Spring Cloud简介
Spring Cloud简介    Spring Cloud 是基于Spring Boot实现的微服务架构开发工具。它为微服务架构中涉及的配置管理、服务治理、断路器、智能路由、微代理、控制总线、全局锁、决策竞选、分布式会话和集群状态管理等操作提供了一种简单的开发方式。 &a
2018-06-18 13:59:27
211
原创 SpringBoot初学习——统一异常处理
背景在项目中出现异常时，为了保证返回数据和正常返回的结果数据结构保持一致，需要对异常和返回结果进行格式化处理，现在大部分响应数据的数据结构包括响应码、响应信息和数据对象，具体如下： 关键步骤使用@ControllerAdvice和ExceptionHandler进行全局异常处理；使用自定义的结果处理类封装返回结果文件结构ResultEnum使用枚举封...
2018-06-05 10:47:02
313
原创 SpringBoot初学习——Aop
依赖除了Spring Boot项目必须依赖以外，还需要添加额外的依赖<!-- spring boot aop --><dependency> <groupId>org.springframework.boot</groupId> <
2018-06-04 10:34:33
176
原创 SpringBoot初学习——参数验证、@Valid注解
SpringBoot 的@Valid注解拥有强大的表单验证功能，能够满足基本的需要。下面是一个使用@Valid注解的实例，要求姓名和年龄不能为空，年龄要大于18岁。实体类package com.vi.blog.domain;import javax.persistence.Entity;import javax.persistence.GeneratedValue;impo...
2018-06-04 09:43:47
5272
4
原创 SpringBoot初学习——jpa和事务
项目结构Jpa依赖需要添加jpa依赖和mysql依赖（数据库使用mysql） 配置文件在application.yml文件中配置jpa连接参数 ddl-auto是数据库表的生成规则 规则 含义 update 加载时，自动更新数据库结构 validate 加载时，验证创建数据库表结构 create 每次项目启动都会...
2018-06-03 23:38:09
1702
1
原创 SpringBoot初学习——配置文件的使用
properties文件配置用Idea创建springBoot项目后，会自动生成.properties文件，可以在这个文件中编辑配置参数。项目启动后会自动加载文件中的参数，并用于其他类中。如下： yml文件配置yml文件的可读性更高，编写起来也更简洁，而在.properties文件中需要写全量名，所以更推荐使用yml文件来配置参数，Idea也支持yml语法。比如，需要在配置文...
2018-06-03 20:20:01
495
原创 SpringBoot初学习——新建项目以及几种运行方式
新建SpringBoot项目环境JDK：1.8.0_171 Maven：3 IDE：Idea 镜像仓库：阿里云镜像 新建SpringBoot项目步骤： 根据实际情况在上图中更改Group和Artifact 上图是选择一些组件，基本的SpringBoot项目就只需要选择Web 上图是项目名和项目保存的路径 这样，一个基本的SpringBoot项目就创建完成...
2018-06-03 19:25:01
460
原创 nio（二）——大文件读取、文件加锁
内存映射文件文件加锁对映射文件的部分加锁内存映射文件 内存映射文件允许我们创建和修改那些因为太大而不能放入内存的文件。有了内存映射文件，我们就可以假定整个文件都放在内存中，而且可以完全把它当作非常大的数组来访问。如下代码：public class LargeMappedFiles { static int length = 0x8FFFFFF; // 12...
2018-01-02 22:02:30
555
原创 nio（二）——转换数据（编码问题）和获取基本数据类型
在nio(一)中的GetChannel.java这个类中，为了输出文件中的信息，我们必须每次只读取一个字节的数据，然后将每个byte类型强制转换成char类型。但是在java.nio.CharBuffer这个类中有一个toString()方法，它的定义是：“返回一个包含缓冲器中所有字符的字符串”。ByteBuffer可以看作是具有asCharBuffer()方法的CharBuffer。使用方法如下，
2017-12-28 18:26:02
390
原创 nio（一）——综述
背景组成部分通道和缓冲器读写实例背景 JDK1.4的java.nio.*包中引入了新的JavaI/O类库，其目的在于 提高速度。实际上，旧的I/O包已经使用nio重新实现过。因此，即使不显式使用nio编写代码，也能从中受益。 I/O的应用场景分为文件I/O和网络I/O，在这里之研究前者。组成部分 nio主要有三大组成部分：通道（Channel）、缓冲
2017-12-28 17:55:11
199
原创 volatile关键字
Java内存模型Java Memory Model为什么需要volatile为什么volatile有这样的作用volatile不能保证变量原子性什么时候使用volatile指令重排内存屏障volatile实现先行发生原则的方法结论Java内存模型（Java Memory Model） 上图大概示意了Java的内存模型，其中 主内存（Main Memory）：课件可以简单理解
2017-12-27 23:15:13
264
原创 单例模式
/* 1. 基本*/private static Singleton instance = new Singleton();private Singleton(){}public static Singleton getInstance(){ return instance;}/* 2. 保证线程安全一般套路private static Singleton instance
2017-12-27 10:16:13
203
原创 [深入理解Java虚拟机]虚拟机中的对象
对象的创建总结对象的内存布局总结对象的访问定位对象的创建当虚拟机遇到一条new指令时： 1. 首先将去检查这个指令的参数是否能在常量池中定位到一个类的符号引用，并且检查这个符号引用代表的类是否已被加载、解析、和初始化过。如果没有，那必须先执行相应的类加载过程。 2. 在类加载检查通过后，接下来虚拟机将为新生对象分配内存，对象所需内存的大小在类加载完成后便可完全确定，为对象分配空间
2017-12-26 22:41:42
248
原创 [深入理解Java虚拟机]运行时数据区域
五大内存区域程序计数器Java虚拟机栈本地方法栈Java堆方法区运行时常量池总结 Java虚拟机所管理的内存将会包括以下几个运行时区域： 五大内存区域程序计数器 程序计数器(Program Counter Register)是一块较小的内存空间，它可以看作是当前线程所执行的字节码的行号指示器，字节码解释器工作时就是通过改变这个计数器的值来选取下一条需要执行的字节码指令，分支、循环
2017-12-26 21:31:33
465
原创 [数据与处理]归一化（连续值和离散值）
归一化原因归一化目的连续值归一化常见方法Max-Min0均值标准化Z-Score对数函数法离散值归一化常见方法One-Hot编码归一化原因1. 如果多个特征之间数值差异较大，那么收敛速度会很慢。如吴恩达老师在《机器学习》中给出的例子：x1的取值为0-2000，而x2的取值为1-5，假如只有这两个特征，对其进行优化时，会得到一个窄长的椭圆形，导致在梯度下降时，梯度的方向为垂直等高线的
2017-12-25 21:08:28
6428
原创 [Spark_mllib]K-Means
K-means优缺点步骤使用后处理来提高聚类性能二分K-Means算法Spark实现KMeans关键步骤聚类个数K的选择初始聚类中心点的选择MLlib的K-means实现参数Spark_K-Means_PythonK-means优缺点优点：容易实现缺点：可能收敛到局部最小值，在大规模数据集上收敛较慢步骤选择K个点作为初始聚类中心计算其余所有点到聚类中心的距离，并把每个
2017-12-25 21:06:26
246
原创 [机器学习实战]kNN
原理源码加权kNN高斯函数交叉验证原理kNN（k近邻算法）的基本思想就是选择距离待分类点最近的K个点，统计这K个点中出现的分类的概率， 出现概率最高的分类即为待分类点的分类源码from numpy import *import operatordef createDataSet(): # create data set group = array([[1.0, 1.1],
2017-12-25 21:04:36
348
原创 [机器学习实战]决策树
原理步骤分解完整代码原理 通过提问的方式，根据不同的答案选择不同的分支， 完成不同的分类步骤分解1.遍历数据集， 循环计算提取每个特征的香农熵和信息增益， 选取信息增益最大的特征。 再递归计算剩余的特征顺序。 将特征排序。 并将分类结果序列化保存到磁盘当中def chooseBestFeatureToSplit(dataSet): # 选择最好的分类特征 """ :param
2017-12-25 21:03:38
256
原创 参数估计
样本的统计量设随机变量XX的NN个样本为X1,X2,...,XnX_1,X_2,...,X_n，则 1. 样本均值为：X¯¯¯=1n∑i=1nXi，\overline{X}=\frac{1}{n}\sum_{i=1}^{n}X_i， 2. 样本的方差为：S2=1n−1∑i=1n(Xi−X¯¯¯)2S^2=\frac{1}{n-1}\sum^{n}_{i=1}(X_i-\overline X)^2
2017-12-22 18:13:35
452
原创 数理统计（一）——统计量
期望方差标准差协方差协方差和独立不相关协方差的意义协方差的上界协方差矩阵独立和不相关Pearson相关系数偏度峰度矩期望期望可以简单理解为概率加权下的“平均值”，即试验中每次可能结果的概率乘以其结果的总和。它反映随机变量平均取值的大小： 离散型：E(X)=∑ixipiE(X)=\sum_ix_ip_i连续型：E(X)=∫∞−∞xf(x)dxE(X)=\int_{-\i
2017-12-22 09:23:39
2867
原创 常用数学公式（一）
自然常数ee=limx→∞=(1+1x)x=e=\lim_{x\rightarrow \infty} = (1 + \frac{1}{x})^x = e；导数就是曲线的斜率，反映曲线改变的快慢；二阶导数反映斜率改变的快慢，表征曲线的凹凸性；常用函数的导数： C′=0C'=0(xn)′=nxn−1(x^n)'=nx^{n-1}(sinx)′=cosx(\sin x)'=\cos x(c
2017-12-21 17:46:16
1517
原创 JDK1.8 ArrayList源码剖析（二）
JDK1.8中新增的特性： class Itr implements Iterator： void forEach(Consumer action)：JDK8中新特性，对list中每个元素分别进行操作，如：ArrayList al = new ArrayList;al.add(0);al.add(1);al.add(2);al.add(3);al.forEach(line ->
2017-12-21 10:40:57
209
原创 JDK1.8 ArrayList源码剖析（一）
类中常用到的变量和方法：int DEFAULT_CAPACITY=10：默认容量大小，自动扩容时用到，而非构造时指定为容量大小Object[] EMPTY_ELEMENTDATA = {}：空的数组Object[] DEFAULTCAPACITY_EMPTY_ELEMENTDATA = {};：空的数组Object[] elementData：实际保存数据的地方int size：Array
2017-12-20 17:54:16
319
原创 Spring中的事务管理
事务简介事务管理是企业级应用程序开发中必不可少的技术，用来确保数据的完整性和一致性事务就是一系列的动作，它们被当做一个单独的工作单元.这些动作要么全部完成，要么全部都不执行事务的四个关键属性（ACID） 原子性（Atomicity）：事务是一个原子操作，由一系列动作组成，事务的原子性确保动作要么全部完成要么全部不执行一致性（Consistency）：一旦所有事务动作完成，食物就被提交.数据
2017-12-16 14:59:56
213
原创 Spring对JDBC的支持
JDBCTemplate简介为了使JDBC更加易于使用，Spring在JDBC API上定义了一个抽象层，以此建立一个JDBC存取框架作为Spring JDBC框架的核心，JDBC模板的设计目的是为不同类型的JDBC操作提供模板方法。每个模板方法都能控制整个过程，并允许覆盖过程中的特定任务。通过这种方式，可以在尽可能保留灵活性的情况下，将数据库的存取工作降到最低。不支持级联属性，它只是一个JD
2017-12-04 23:17:21
179
原创 RedisCluster使用pipeline批量读取数据
因为公司的Redis是Cluster的，一共有三台主机，有个需求是同时读取三千条数据，因为是Cluster，所以没办法直接使用mget。 目前在网上找到的方法有两种，一种是写入时处理，一种是读取时处理。 先说一下RedisCluster针对每条数据的写入的方法。RedisCluster一共有16384个slot(槽位)，cluster每一个节点分管一部分slot。当有数据写入时，当用
2017-12-03 21:38:40
9797
4
原创 AOP基础
背景问题AOP简介AOP术语用AspectJ注解声明切面前置通知后置通知返回通知异常通知环绕通知引入通知较少使用切面的优先级重用切点表达式基于配置文件配置AOP背景问题代码混乱：越来越多的非业务需求（日志和验证等）加入后，原有的业务方法急剧膨胀.每个方法在处理核心逻辑的同时还必须兼顾其他多个关注点代码分散：以日志需求为例，只是为了满足这个单一需求，就不得不在多个模块（方
2017-11-26 23:18:26
225
原创 Bean相关问题
IOCDI概述配置bean自动装配Bean之间的关系继承依赖Bean的作用域singletonprototypeWEB环境作用域使用外部属性文件SpELSpring表达式语言Spring管理Bean的生命周期通过工厂方法配置Bean通过FactoryBean配置Bean通过注解配置Bean泛型依赖注入IOC&DI概述1.IOC（Inversion of Control）：其思
2017-11-26 17:00:05
300
原创 二次型
二次型及其矩阵化二次型为标准形用正交变换化二次型为标准形用配方法化二次型为标准形惯性定理正定二次型二次型及其矩阵含nn个变量x1,x2,...,xnx_1,x_2,...,x_n的二次齐次多项式f(x1,x2,...,xn)=a11x21+a22x22+...+annx2n+2a12x1x2+2a13x1x3+...+2an−1,nxn−1xn(1)f(x_1,x_2,...,x_n)
2017-10-16 16:43:25
3039
原创 矩阵的特征值与特征向量
矩阵的特征值与特征向量相似矩阵实对称矩阵的对角化向量的内积实对称矩阵的对角化矩阵的特征值与特征向量设矩阵AA是nn阶方阵，如果存在数λ\lambda和非零向量xx，使得Ax=λx，(1)Ax=\lambda x ，\tag{1}则称λ\lambda为矩阵AA的特征值，称xx为矩阵AA对应特征值λ\lambda的一个特征向量.式（1）可写成（A−λE）x=0，(2)
2017-10-15 20:07:15
11283
原创 向量组的线性相关性
向量组及其线性组合向量组的线性相关性向量组的秩向量空间线性方程组解的结构向量组及其线性组合nn个有次序的数a1,a2,...,ana_1,a_2,...,a_n所组成的一个有序数组(a1,a2,...,an)(a_1,a_2,...,a_n)称为一nn维向量，这nn个数称为该向量的nn个分量，其中aia_i称为第ii个分量.ai(i=1,2,...,n)a_i(i=1
2017-10-15 15:07:40
28825
1
原创 矩阵的初等变换与线性方程组
矩阵的初等变换初等矩阵矩阵的秩线性方程组的解矩阵的初等变换以下三种变换称为矩阵的初等行变换： 对调两行（对调第i,ji,j两行，记作ri↔rjr_i \leftrightarrow r_j）；以数k(≠0)k(\not= 0)乘以某一行中的所有元素（第ii行乘以数kk，记作ri×kr_i \times k）；把某一行所有元素的kk倍加到另一行对应的元素上（第jj行
2017-10-14 22:36:40
3153
hbase 资源合集 hbase 企业应用开发实战 权威指南 hbase 实战 hbase 应用架构
2022-04-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人