chenge_j-CSDN博客

原创 filebeat报错：Harvester could not be started on exist file

filebeat报错：Harvester could not be started on exist file问题描述：harvester_limit： 10000close_inactive： 5mscan_frequency： 10s采集10000个小文件，五分钟左右又写入了10000个小文件，此时原先开启的10000个harvester由于超过close_inactive关闭，...

2019-07-23 22:40:07 2738

原创 Hadoop学习笔记————MapReduce

简介MapReduce是一种编程模型，并且是处理和生成大数据集的相关实现。用户指定一个map函数去处理key/value对，生成一个包含新的key/value对的集合（中间数据）；reduce函数合并具有相同key值的中间数据。用户的程序按照这个模式编写，并且在一个集群上运行，这是利用分布式的一个典型的『并行』思想。用户无需关注输入文件的分割、任务在集群上的调度、集群内部的通信以及机器运行的失败...

2019-03-07 22:37:55 378

原创 CyclicBarrier和CountDownLatch的使用方法

CyclicBarrier使一组线程都到达某一个点时，再一起执行。线程调用CyclicBarrier的await()方法，等待其他线程的到来，直到所有目标线程都执行了await()方法后，这些线程才可以继续往下执行，或由最后一个到达的线程执行指定任务（传入Runnable参数）。使用举例闪电侠、绿箭侠和超人三人相约一起去拯救世界，三人必须都到齐了才能开始打Boss，谁最后到的，谁发...

2018-04-15 19:24:52 492

原创 Java实现快速排序、归并排序、堆排序和希尔排序

快速排序算法思想1.将数组的第一个元素取为target,定义两个指针i 和 j； 2.指针i ，从左向右找到第一个比target大的元素，指针j从右向左找到第一个比target小的元素，若i小于j,则交换i, j 指针指向的元素的值； 3.指针i继续从左向右搜索，指针j继续从右向左搜索，重复步骤2直到某一次停下来以后i>j，此时交换target与j指向元素的位置，这样即可保证...

2018-03-11 12:03:24 1228 2

原创动态规划编程实例——LeetCode 494.Target Sum

问题描述You are given a list of non-negative integers, a1, a2, …, an, and a target, S. Now you have 2 symbols + and -. For each integer, you should choose one from + and - as its new symbol.Find out how

2017-08-24 13:54:13 763

原创 MyBatis学习笔记

MyBatis学习1. 什么是mybatis?持久层框架2. 安装使用maven进行安装<dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis</artifactId> <version>x.x.x</version></dependency>3. SqlSessionFactorysqlSessionFacto

2017-06-16 19:28:48 650

原创 JAVA虚拟机（JVM）——虚拟机字节码执行引擎（二）

方法调用方法调用并不等同于方法执行，方法调用阶段唯一的任务就是确定调用哪一个方法，暂时还不涉及方法内部的具体运行过程。Class文件的编译过程中不包含传统编译中的连接步骤，一切方法调用在Class文件里存储的都只是符号引用，而不是方法在实际运行时内存布局中的入口地址（相当于之前说的直接引用）。虽然这个特性给Java带来了更强大的动态扩展能力，但也使Java方法调用过程，需要在类加载期间，甚

2017-06-16 17:26:49 557

原创 JAVA虚拟机（JVM）——虚拟机字节码执行引擎（一）

概述执行引擎是JVM最核心的组成部分之一。“虚拟机”是一个相对于“物理机”的概念，这两种机器都有代码执行能力，其区别是物理机的执行引擎是直接建立在处理器、硬件、指令集和操作系统层面上的，二虚拟机的执行引擎是由自己实现的，因此可以自行制定指令集与执行引擎的结构体系，并且能够执行那些不被硬件直接支持的指令集格式。在不同的虚拟机实现里面，执行引擎在执行Java代码的时候可能会有解释执行和

2017-06-16 14:10:59 821 1

原创 JAVA虚拟机（JVM）——类加载的过程（加载、验证、准备、解析、初始化）

加载“加载”是”类加载”过程的一个阶段。在加载阶段，虚拟机需要完成以下3件事情：1.通过一个类的全限定名来获取定义此类的二进制字节流。2.将这个字节流所代表的静态存储结构转化为方法区的运行时数据结构。3.在内存中生成一个代表这个类的java.lang.Class对象，作为方法区这个类的各种数据的访问入口。验证验证是连接阶段的第一步，这一阶段的目的是为了确保Class文件的字节流中包含的信息符合

2017-05-24 16:39:40 11507 1

原创 JAVA虚拟机（JVM）——类加载的时机之类的初始化

类的生命周期从类被加载到虚拟机内存中开始，到卸载出内存为止，它的整个生命周期包括如上的7个阶段。其中，验证、准备、解析这三个部分又被统称为“连接（Linking）。类的加载过程必须按照这种顺序按部就班的开始，而解析阶段则不一定，它在某些情况下是可以在初始化阶段之后再开始的，这是为了支持Java语言的运行时绑定（也称为动态绑定或晚期绑定）。对类进行初始化的条件什么情况下需要开始类加载

2017-05-24 15:00:30 2346 1

原创机器学习实战——python实现SOM神经网络聚类算法

算法基础SOM网络结构输入层：假设一个输入样本为X=[x1,x2,x3,…,xn]，是一个n维向量，则输入层神经元个数为n个。输出层（竞争层）：通常输出层的神经元以矩阵方式排列在二维空间中，每个神经元都有一个权值向量。假设输出层有m个神经元，则有m个权值向量，Wi = [wi1,wi2,....,win], 1<=i<=m。算法流程1. 初始化:权值使用较小的随机值进行初始化，并对输入向量和权

2017-05-19 15:50:35 38717 14

原创机器学习实战——python实现DBSCAN密度聚类

基础概念 ε-邻域：对于样本集中的xj, 它的ε-邻域为样本集中与它距离小于ε的样本所构成的集合。核心对象：若xj的ε-邻域中至少包含MinPts个样本，则xj为一个核心对象。密度直达：若xj位于xi的ε-邻域中，且xi为核心对象，则xj由xi密度直达。密度可达：若样本序列p1, p2, ……, pn。pi+1由pi密度直达，则p1由pn密度可达。算法过程输入：样本集D={x1,

2017-05-17 10:35:23 11047 4

原创机器学习实战——python实现knn算法

knn算法描述对需要分类的点依次执行以下操作：1.计算已知类别数据集中每个点与该点之间的距离2.按照距离递增顺序排序3.选取与该点距离最近的k个点4.确定前k个点所在类别出现的频率5.返回前k个点出现频率最高的类别作为该点的预测分类knn算法实现数据处理#从文件中读取数据，返回的数据和分类均为二维数组def loadDataSet(filename): dataSet = []

2017-05-15 09:30:11 1157

原创机器学习实战——python实现Logistic回归

简介Logistic回归的目的是寻找一个非线性函数Sigmoid的最佳拟合参数，一般使用梯度上升算法。对于有n个属性的train数据集(X1,X2,...Xn),我们寻找一组回归系数(W0,W1,W2,...,Wn)使得函数：sigmoid(W0+W1*X1+W2*X2+...+Wn*Xn)最佳拟合train数据集的labels。算法描述初始化回归系数（一般初始化为1）Repeat(N):

2017-05-13 15:20:33 3355

原创机器学习实战——python实现k-means聚类算法

k-means聚类算法k-means是发现给定数据集的k个簇的算法，也就是将数据集聚合为k类的算法。算法过程如下：1）从N个文档随机选取K个文档作为质心2）对剩余的每个文档测量其到每个质心的距离，并把它归到最近的质心的类，我们一般取欧几里得距离3）重新计算已经得到的各个类的质心4）迭代步骤（2）、（3）直至新的质心与原质心相等或迭代次数大于指定阈值，算法结束算法实现随机初始化k个质心，用d

2017-05-12 17:15:32 4231 3

原创实战——离散Hopfield神经网络的实现

Hopfield神经网络简介一种循环神经网络，主要用于联想记忆。离散Hopfield网络是一个单层网络，有n个神经元节点，每个神经元的输出均接到其它神经元的输入。各节点没有自反馈。每个节点都可处于一种可能的状态（1或－1），即当该神经元所受的刺激超过其阀值时，神经元就处于一种状态（比如1），否则神经元就始终处于另一状态（比如－1）。关于Hopfield网络的详细介绍，请看维基百科：Hopfiel

2017-05-11 18:27:41 11166 13

原创机器学习实战——python实现简单的朴素贝叶斯分类器

2017-05-11 12:31:47 4150 4

chenge_j的博客