qq_35170267的博客

原创 ElasticSearch7的基本原理和使用(借用Kibana可视化工具)

Elastic SearchElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。ElasticSearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官方客户端在Java...

原创 SQL Server 的查询过程、执行计划学习总结

SQL Server 的查询过程、执行计划Building Blocks的概念SQL Server的每一个查询都是由Building Block组成的集合，Building Block分为两种，operators和iterators。一个iterator从它的子iterator中获取数据，经过处理后返回给它的父iterator。所有iterator都实现了一个接口， 这个接口中有两个函数，O...

原创 ReactJS前端框架的基本原理和使用

React学习笔记开启React组件化编程组件化 Component页面上每个部分都可以是一个组件class的exportstate的概念当state或者props发生改变的时候，render重新执行当父组件的render重新执行的时候，它的子组件的render也会重新执行响应式事件绑定组件传值单向数据流PropTypes验证类型React的虚拟DOM如果没有虚拟DOM...

原创 Kafka分布式消息队列的基本原理和使用

学习kafka一、简介kafka是一个分布式的消息队列，可以集群部署，消息队列的作用如下。kafka对消息保存时根据Topic进行归类。发送消息者称为Producer，消息接受者称为Consumer。kafka集群有多个kafka实例，每个实例称为broker。无论是kafka就集群，还是consumer都依赖于zookeeper集群保存一些meta信息，保证系统可用性。...

原创 Docker的基本使用

Docker的基本使用一、Docker 学习1.1 Docker的理解Docker是一种虚拟化技术，它比虚拟机更轻量，不考虑考虑硬件设备的虚拟化，只提供需要的软件依赖。所以比虚拟机更加简便、容易移植。开发人员将软件产品和它的所有依赖库都打包到一个Docker镜像中，交给运维，大大减少了运维的工作量。因此开发可以代替运维，萌生出了一种新的职业，DepOps，开发/运维 工程师。1.2 Doc...

原创 Maven构建SpringBoot项目分离出依赖和配置文件

Maven构建SpringBoot项目分离出依赖和配置文件在我们做项目中很多时候，因为依赖太多，导致maven构建的速度非常慢，打出来的jar包非常大。如果有一种方式能把依赖和配置文件都分离出来，然后每次打包都不包含依赖，直接替换掉以前的项目jar包，那样就很快了。assembl用法assembly是一个maven打包的插件，字面意思是“装配”。可以按照自己的意愿进行装配，打包。对于Spr...

原创 左深度哈希树树

原创 蚂蚁金服-支付宝内推面试总结(已拿到offer)

蚂蚁金服-支付宝内推面试总结很幸运，这次春招内推面了三家公司，腾讯IEG，华为Cloud BU，蚂蚁金服-支付宝，全都拿到了offer。这三篇博客是按照offer的时间顺序连着的，有兴趣的话可以看我其他两篇博客。「阿里的面试向来是时间最长的，最耗精力的」，我说的。总共的面试时间持续了一个多月，共5次面试，每两次面试之间间隔一周左右。由于时间太久，只记得面试中大部分的内容。一面（简历面）简...

原创 华为Cloud BU内推面试总结(已拿到offer)

华为Cloud BU内推面试总结很幸运，这次春招内推面了三家公司，腾讯IEG，华为Cloud BU，蚂蚁金服-支付宝，全都拿到了offer。这三篇博客是按照offer的时间顺序连着的，有兴趣的话可以看我其他两篇博客。华为的一面和二面都是现场面，在我们学校的教室。两次面试是连在一起的，没有HR面。技术一面由于时间太久远,记不太清具体的问题。这里只说面试问题的大概。所有的问题包含以下几点：...

原创 腾讯IEG后台开发(已拿到offer)

今天是3月11日，鹅肠技术一面，电话面2019年3月11日 星期一本人浙江大学软件学院研一研究生。当时投递岗位的时候没有看清要求，写着后台开发岗，招C/C++/Java，果然越靠前越重要。。本来想投的是Java岗，奈何鹅肠后台C++偏多。结果面试的时候面的全是C++和Linux，Java一点没问。全程大概25分钟，总结如下。面试内容和我的回答先自我介绍一下吧好，我叫xx, 目前...

转载 Java中的STL-ConcurrentHashMap

Java中的STL-ConcurrentHashMappublic class ConcurrentHashMap<K,V> extends AbstractMap<K,V> implements ConcurrentMap<K,V>, Serializable 常用API// 创建一个带有默认初始容量 (16)、加载因子 (0.75) 和 co...

原创 Java中的STL-Hashtable

Java中的STL-Hashtablepublic class Hashtable<K,V> extends Dictionary<K,V> implements Map<K,V>, Cloneable, java.io.Serializable Hashtable继承Dictionary，实现Map接口Hashtable和HashMap的实现方式很...

原创 Java中的STL-HashMap中红黑树的原理和应用

Java中的STL-HashMap中红黑树的原理和应用红黑树我相信大部分程序员对红黑树这个数据结构都不陌生。下面来巩固一下红黑树数据结构。R-B Tree，全称是Red-Black Tree，又称为“红黑树”，它一种特殊的二叉查找树。红黑树的每个节点上都有存储位表示节点的颜色，可以是红(Red)或黑(Black)。它有以下几个特点。1、 每个节点或者是黑色，或者是红色。2 、根节点是黑...

原创 Java中的STL-Vector

Java中的STL-Vectorpublic class Vector<E> extends AbstractList<E> implements List<E>, RandomAccess, Cloneable, java.io.Serializable从JDK源码中Vector的声明可以看出Vector 是矢量队列，它是JDK1.0版本添...

原创 Java中的STL-Stack

Java中的STL-Stackpublic class Stack<E> extends Vector<E>从Stack的定义来看，它只是在Vector的基础上新增了自己的API,如下。 public E push(E item) { addElement(item); return item;}public synchronized E p...

原创 Java中的STL-HashMap

Java中的STL-HashMappublic class HashMap<K,V> extends AbstractMap<K,V> implements Map<K,V>, Cloneable, Serializable JDK1.8是这样定义的HashMap的，这里我有一个问题。AbstractMap实现了M

原创 Java中的STL-LinkedList

Java中的STL-LinkedListLinkedList的继承关系如下图所示Queue接口继承了Collection接口，另外提供了offer(E e)、remove()、poll()等方法完成一个队列的FIFO的基本操作。Deque接口继承了Queue接口，Deque是一个双端队列的接口，可以从前往后，也可以从后往前。LinkedList实际上就是一个双端队列的具体实现，因此它...

原创 Java中的STL-fail-fast原理和解决

fail-fastfail-fast是指java集合(Collection)中的一种错误检测机制，多个线程对同一集合的内容进行操作时，就可能产生fail-fast事件。ArrayList中的fail-fast示例当我们利用ArrayList中的iterater()对集合进行遍历操作时，如果其他线程修改了该list，就会报出ConcurrentModificationException异常。下...

原创 Java中的STL-Map

Java中的STL01-Map要点Set的实现是基于Map的，HashSet是基于HashMap的，TreeSet是基于TreeMap的。Map的继承关系如下图所示Map接口public interface Map<K,V> { }Map接口中的APIabstract void clear()abstract boolean ...

原创 Java中的STL-Collection

Java中的List和Set概述实现、继承和依赖关系如上图所示List 和Set，List中的元素可以重复，Set中的元素不可重复Collection接口List和Set接口都需要继承的接口，内部提供大部分集合需要的函数，如size() contains(…)…等等。Iterator是用来遍历一个集合的接口，提供两个方法，hasNext()、next()。List接口除了继承Col...

原创 Scrapy的基本用法

网上有很多关于Scrapy的安装方式，这里不再说了。新建一个爬虫项目scrapy startproject quotestutorial利用上面的命令新建一个scrapy项目,项目名是quotestutorial，因为我爬取的网址是http://quotes.toscrape.com,这是一个格言的网址。现在就可以在当前目录看到一个名为quotestutorial的文件夹。新建一个爬虫...

原创 高性能Mysql之索引基础

索引的优点索引大大减少了服务器需要扫描的数据量。索引可以帮助服务器避免排序和临时表。索引可以将随机I/O变为顺序I/O。Hash索引仅MEMORY存储引擎支持Hash索引哈希索引是基于哈希表实现的，对于每一行数据，存储引擎都会对所有的索引列计算一个哈希码。哈希码存储在索引中，同时在哈希表中保存指向每个数据行的指针。创建Hash索引例子如下create table testhas...

原创 LeetCode115:不同的子序列 [Python3实现]

题目给定一个字符串 S 和一个字符串 T，计算在 S 的子序列中 T 出现的个数。一个字符串的一个子序列是指，通过删除一些（也可以不删除）字符且不干扰剩余字符相对位置所组成的新字符串。（例如，“ACE” 是 “ABCDE” 的一个子序列，而 “AEC” 不是）示例 1:输入: S = “rabbbit”, T = “rabbit”输出: 3解释:如下图所示, 有 3 种可以从 S ...

原创 《Java高并发编程详解》前三章之认识线程、深入理解线程、线程API

《Java高并发编程详解》前三章之认识线程、深入理解线程、线程API继承 Thread类和实现Runnable接口的区别继承Thread类时，只能创建不同的类，线程类间的资源不可共享，而实现Runnable后，可以共享线程资源。一个号码机有四个出票口，总共只能出10张票，现在用java线程实现。public class NumberMachine { public static...

原创 LeetCode 887:鸡蛋掉落[Python实现]

你将获得 K 个鸡蛋，并可以使用一栋从 1 到 N 共有 N 层楼的建筑。每个蛋的功能都是一样的，如果一个蛋碎了，你就不能再把它掉下去。你知道存在楼层 F ，满足 0 <= F <= N 任何从高于 F 的楼层落下的鸡蛋都会碎，从 F 楼层或比它低的楼层落下的鸡蛋都不会破。每次移动，你可以取一个鸡蛋（如果你有完整的鸡蛋）并把它从任一楼层 X 扔下（满足 1 <= X &l...

原创 Pyhton实现决策树算法 MNIST数据集

Pyhton实现决策树算法 MNIST数据集决策树是一种比较接近人类思维方式的算法，将样本通过每个特征值的信息增益进行划分，从而保证每个划分之后的结果信息熵的消减量达到最大。具体的原理请大家自己查找相关资料。sklearn实现代码如下, 准确率可以达到90%左右。from sklearn import treeimport numpy as npfrom tensorflow.examp...

原创 Python实现支持向量机(SVM) MNIST数据集

Python实现支持向量机(SVM) MNIST数据集SVM的原理这里不讲，大家自己可以查阅相关资料。下面是利用sklearn库进行svm训练MNIST数据集，准确率可以达到90%以上。from sklearn import svmimport numpy as npfrom tensorflow.examples.tutorials.mnist import input_data...

原创 Python 实现朴素贝叶斯 MNIST数据集

Python实现朴素贝叶斯算法朴素贝叶斯是机器学习的一种算法，之所以成为朴素，是因为它的想法“简单”，简单地认为样本中所有的特征都无关，即P(AB) = P(A)P(B)。所以，有P(y|xi) = P(y)P(x0 = xi0|y)P(x1 = xi1|y)P(x2 = xi2|y)…P(xk = xik|y)y是贝叶斯对于xi是y类的估计大小最终对xi的预测分类是argmaxP(y|x...

原创 Tensorflow实现KNN算法

tensorflow实现KNN算法KNN算法应该是机器学习中比较好理解的一种算法，它没有训练的过程，就是看样本点中与测试点距离(可以是欧式距离，也可以是曼哈顿距离等等)最近的K个点的分类。采用投票的方式，即K个点中最多的分类即是该测试点的分类。tensorflow的代码如下。这里我以MNIST数字识别作为样本，最后的测试准确率可以达到95%以上。import tensorflow as t...

原创 Tensorflow: MNIST数据集实现DNN、CNN、LSTM神经网络

最近学了一下tensorflow的基本用法，这里做一下总结全连接深度神经网络(FC-DNN)全连接深度神经网络，每一层的神经元直接都是全连接，并且不共享权值。在普通的分类的问题中表现的不错，但是对于图片处理等具有网格形式的数据，最好采用CNN(卷积神经网络)，对于序列化数据如NLP(自然语言处理)、文字分析等采用RNN(循环神经网络)表现更佳。DNN用tensorflow的实现代码如下。i...

原创 kd-tree找最邻近点 Python实现

kd-tree找最邻近点 Python实现基本概念kd-tree是KNN算法的一种实现。算法的基本思想是用多维空间中的实例点，将空间划分为多块，成二叉树形结构。划分超矩形上的实例点是树的非叶子节点，而每个超矩形内部的实例点是叶子结点。超矩形划分方法有数据集datalist，其中的数据是Xi,每个Xi由多个特征值组成。首先将所有数据的Xi[0]找出，取得Xi[0]的中位数center，在树的...

原创 LeetCode:862. 和最短为k的最短子数组[Java实现]

题目返回 A 的最短的非空连续子数组的长度，该子数组的和至少为 K 。如果没有和至少为 K 的非空子数组，返回 -1 。 示例 1：输入：A = [1], K = 1输出：1示例 2：输入：A = [1,2], K = 4输出：-1示例 3：输入：A = [2,-1,2], K = 3输出：3 提示：1 <= A.length <= 500...

原创 Python梯度下降法实现二元逻辑回归

Python梯度在下降法实现二元逻辑回归二元逻辑回归假设函数定义当函数值大于等于0.5时，结果为1，当函数值小于0.5时，结果为0.函数的值域是(0, 1)。二元逻辑回归的损失函数上图为二元逻辑回归的概率公式，则代价函数可以表示为损失函数求偏倒数为可以发现和线性回归的结果是一样的，只不过是假设函数h发生了变化。正则化为了避免过拟合，通常在代价函数后加一个正则化项，针对二元逻...

原创 Python3利用Axes3D库画3D模型图

Python3利用Axes3D库画3D模型图最近在学习机器学习相关的算法，用python实现。自己实现两个特征的线性回归，用Axes3D库进行建模。python代码import numpy as npfrom scipy import statsimport matplotlib.pyplot as pltfrom mpl_toolkits.mplot3d import Axes3D...

原创 Hadoop学习3-Macbook环境在IDEA中编写MapReduce程序

Hadoop学习3-Macbook环境在IDEA中编写MapReduce程序新建一个Maven项目不用说了，普通的Maven项目就行。加入Hadoop依赖其中的${hadoop.version}对应自己使用的Hadoop版本hadoop-client<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop...

原创 Hadoop学习2-hdfs节点间文件块分配原理

hdfs节点间文件块分配原理hdfshdfs的全称是Hadoop Distributed File System，是一个常用的分布式文件系统。当然也可以选择其他文件系统。hdfs中的文件保存方式在hdfs中，文件被客户端分解成若干块，每一块都有多份拷贝(拷贝的数量可配置)，每一份拷贝在不同的datanode节点上。这就保证了如果其中一台datanode节点宕机，文件数据也不会丢失。元数...

原创 CentOS虚拟机修改ip为静态IP地址

CentOS虚拟机修改ip为静态IP地址很多同学在玩耍虚拟机的时候使用的是NET模式，这种方式为虚拟机申请ip地址默认是DHCP，也就是动态申请的，ip地址经常变化，不方便操作。在虚拟机里使用ifconfig命令查看自己的虚拟机用的是哪一种网络。比如我这里使用的是ens33，记住这个。sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33...

原创 Hadoop学习1-MacBook下Hadoop-2.9的配置

MacBook下Hadoop-2.9的配置由于研究生课程需要，今天下午搭建了本地Hadoop环境。我用的是Hadoop-2.9版本，不打算一上来就3.x（其实是因为大部分教程都是2.x, 呵呵）。本人MacBook Pro配置是 8G内存，256GSSD，InterCore I5处理器。跑起来3个CentOS虚拟机+IDEA+网易云+有道云笔记+QQ+微信+20个Chrome网页不成问题，大概...

原创 PAT题目：1124. Raffle for Weibo Followers (20)

1124. Raffle for Weibo Followers (20)时间限制400 ms内存限制65536 kB代码长度限制16000 B判题程序Standard作者CHEN, YueJohn got a full mark on PAT. He was so happy that he decided to hold a raffle（抽奖） f...

原创 LeetCode:228. 汇总区间[Java实现]

给定一个无重复元素的有序整数数组，返回数组区间范围的汇总。示例 1:输入: [0,1,2,4,5,7] 输出: [“0->2”,”4->5”,”7”] 解释: 0,1,2 可组成一个连续的区间; 4,5 可组成一个连续的区间。 示例 2:输入: [0,2,3,4,6,8,9] 输出: [“0”,”2->4”,”6”,”8->9”] 解释: 2,3,4 ...