- 博客(42)
- 收藏
- 关注
RSS订阅
转载 Redis、Kafka、Storm
一、Redis【1】Redis指令查询手册：https://redis.io/commands#hash【2】Redis 是一个完全开源免费的高性能的key-value数据库，常常用作缓存，它有丰富的API接口，其使用类似类似于普通数据库操作，先进行redis客户端的链接，然后进行相应的类似增删改查操作，相关API接口与命令行命令基本是一一对应的。maven依赖：<depe...
2018-07-03 10:29:24
707
转载 多线程
StampedLockThreadPoolExecutor详解ThreadPoolExecutor四种策略Java 并发工具包 java.util.concurrent java.util.concurrent 多线程的总结，戳我获取列表吧！(一) 基础篇01. Java多线程系列--“基础篇”01之 基本概念02. Java多线程系列--“基础篇”02之 常用...
2018-04-04 21:51:18
217
转载 IO总结
同步IO、异步IO、阻塞IO、非阻塞IO Java NIO详解 Java NIO详解 Java NIO Buffer详解 Java 网络IO编程总结（BIO、NIO、AIO均含完整实例代码）
2018-04-04 16:01:26
145
转载 Storm知识点学习
1 并行度一个运行的topology由3类物理实体构成Worker进程 Executor线程 Task实例当运行一个topology的时候，首先会在storm集群中启多个worker进程，每个worker进程中再起若干的executor线程，每个executor线程中运行一个或多个task的实例，每个executor中的task都属于同一个spout或者bolt。默认每个execut...
2018-11-19 17:43:52
1351
转载 GSON、LinkedTransferQueue、StringUtils
Gson-Typetokenpublic class JsonUtils { private static final Gson gson = new Gson(); public static <T> T fromJson(String jsonStr, Class<T> clazz) { return gson.fromJson(...
2018-11-19 16:18:42
302
转载 流动计算框架-SOA
1 SOA基本概念SOA（Service-Oriented Architecture），中文意思是中文面向服务编程，是一种思想，一种方法论，一种分布式的服务架构。SOA解决多服务凌乱问题，SOA架构解决数据服务的复杂程度，同时SOA又有一个名字，叫做服务治理。优点： 1、降低用户成本，用户不需要关心各服务之间是什么语言的、不需要知道如果调用他们，只要通过统一标准找数据总线就可以。 ...
2018-11-17 14:38:00
2600
转载 中间件
目录 1 Java中间件的定义2 三种中间件2.1 远程过程调用和对象访问中间件2.2 JMS 叫做 Java 消息服务（Java Message Service）2.3 数据访问中间件1 Java中间件的定义 在Java web开发的演进与进化中，我们对于消息系统，数据库，服务化接口的抽象等，涉及数据分离的过程中，在分离过程中，就会涉及到分离后系统间，数据...
2018-11-17 13:23:10
342
转载 分布式服务架构-RPC
目录 1 架构演变2 RPC（Remote Procedure Call Protocol，远程过程调用）：分布式服务架构的核心2.1 RPC同步调用2.2 RPC异步调用2.2.1 MOM（Message-oriented middleware）2.2.2 JMS(Java Message Service)2.2.3 常用的消息队列1 架构演变单一应...
2018-11-17 13:03:25
1081
转载 java专业术语
SDKSDK是一系列程序接口，文档，开发工具的集合，是的，集合，sdk即单单不是一个开发工具，也不是一个程序。一个完整的SDK应该包括以下内容：（1）接口文件和库文件（2）帮助文档（3）开发示例（4）实用工具。 接口文件和库文件就是API，将底层的代码进行封装保护，提供给用户一个调用底层代码的接口； 帮助文档解释接口文件和库文件功能，以及介绍相关的开发工具，操作...
2018-11-17 10:33:25
730
转载 Hadoop基础
转载地址：https://www.cnblogs.com/gala1021/p/8552850.htmlQ1.什么是 Hadoop？ Hadoop 是一个开源软件框架，用于存储大量数据，并发处理/查询在具有多个商用硬件（即低成本硬件）节点的集群上的那些数据。总之，Hadoop 包括以下内容： HDFS（Hadoop Distributed File System，Hadoop 分布...
2018-09-09 22:09:04
197
转载 设计模式总结
一、创建型【1】简单工厂模式（静态工厂方法）简单工厂模式是由一个工厂对象决定创建出哪一种产品类的实例。模式的核心是工厂类，这个类含有必要的逻辑判断，可以决定在什么时候创建哪一个产品类的实例，而调用者则可以免除直接创建对象的责任。工厂类集中了所有的创建逻辑，当有复杂的多层次等级结构时，所有的业务逻辑都在这个工厂类中实现。什么时候它不能工作了，整个系统都会受到影响。【2】工厂模式有...
2018-09-03 22:47:01
200
转载 数据结构面试准备
转载：https://blog.csdn.net/u010983881/article/details/78896293【1】有一个单向链表，链表当中有可能出现“环”，就像题图这样。如何用程序判断出这个链表是有环链表？不允许修改链表结构。 时间复杂度O(n)，空间复杂度O(1)。方法一、穷举遍历方法一：首先从头节点开始，依次遍历单链表的每一个节点。每遍历到一个新节点，就从头节点...
2018-09-03 11:42:55
167
原创 算法笔试总结
【1】信息增益和信息增益率的区别 用信息增益作为评判划分属性的方法其实是有一定的缺陷的，信息增益准则对那些属性的取值比较多的属性有所偏好，也就是说，采用信息增益作为判定方法，会倾向于去选择属性取值比较多的属性。那么，选择取值多的属性为什么就不好了呢？举个比较极端的例子，如果将身份证号作为一个属性，增益率准则对属性取值较少的时候会有偏好，为了解决这个问题，C4.5并不是直接选择增益率...
2018-09-01 15:31:15
4059
原创 手撕代码
参考：https://blog.csdn.net/ryjflyshy/article/details/78250348【1】二叉树前序遍历的非递归实现树结构//树的节点类class Node { public int val; //节点值 public Node left; //左子树 public Node right; //右子树 public Node() {} p...
2018-08-31 21:14:26
1141
转载 树结构总结
转载：https://blog.csdn.net/benpaobagzb/article/details/50805711红黑树和B树应用场景有何不同？2者都是有序数据结构，可用作数据容器。红黑树多用在内部排序，即全放在内存中的，Java的TreeMap和TreeSet的内部实现就是红黑树。B树多用在内存里放不下，大部分数据存储在外存上时。因为B树层数少，因此可以确保每次操作，读取磁盘...
2018-08-31 16:18:36
197
转载 算法工程师面试准备
【1】机器学习解决问题的通用流程 首先需要收集问题资料，深入理解问题，明确业务，将问题抽象成机器学习可解决的问题，也就是输入是什么，也就是通常所说的特征，输出是什么，也就是预测值，通过分析首先确定这是一个需要预测（分类、回归）还是需要聚类的问题。然后大致分为三个步骤：一是针对特征的，特征是连续还是离散（涉及需不需要离散化），是稀疏还是密集，高维度还是低维度（需不需要降维），是都含有...
2018-08-31 15:57:28
19994
转载 Spark选择题
转载：http://www.aboutyun.com/thread-24246-1-1.html1. Spark 的四大组件下面哪个不是 (D )A.Spark Streaming B. Mlib C Graphx D.Spark R2.下面哪个端口不是 spark 自带服务的端口 (C )A.8080 B.4040 C.8090 D.18080备注：8080：spark...
2018-08-30 21:28:10
6612
转载 Spark和Hadoop基础知识
spark和hadoop初步掌握，参考：http://www.aboutyun.com/thread-24246-1-1.html<1> spark有哪些组件？ 答：主要有如下组件：1）master：管理集群和节点，不参与计算。 2）worker：计算节点，进程本身不参与计算，和master汇报。 3）Driver：运行程序的main方法，创建spark context对象...
2018-08-30 21:27:42
3668
原创 IDEA快捷键
IDEA快捷键：ctrl+H <-> 得到类的继承关系ctrl+alt+B <-> 查看子类方法的实现ctrl+N <-> 定位类文件ctrl+shift+N <-> 按文件名搜索文件ctrl+F <-> 本页查找ctrl+shift+F <-> 全文查找coment with line <->
2018-08-20 12:56:10
140
转载 Scala教程
搭建Scala开发环境：01、Intellij IDEA 14.1.4 Scala开发环境搭建 Scala入门到精通：01、Scala入门到精通——第一节 Scala语言初步02、Scala入门到精通——第二节Scala基本类型及操作、程序控制结构03、Scala入门到精通——第三节 Array、List04、Scala入门到精通——第四节 Set、Map、Tuple、...
2018-05-31 20:35:50
2100
1
原创 利用Avro实现Kakfa序列化和反序列化
1 在pom.xml中添加依赖， 1.1 在dependencies中配置：<dependency> <groupId>org.apache.avro</groupId> <artifactId>avro</artifactId> <version>1.8.2</...
2018-05-31 18:35:33
5310
2
转载 kafka.admin.*常用类简介
一、AdminOperationException.scala一个异常类，表示执行admin命令时候抛出的异常二、AdminUtils.scalaadmin一些常用工具方法：1. assignReplicasToBrokers：负责分配副本到不同的broker上。主要有两个目标：① 尽可能均匀地在不同的broker上分配副本；② 对于被分配到同一个broker上的分区而言，它们的其...
2018-05-30 16:04:58
557
原创 maven相关
<1>Maven修改JDK版本解决方法一：在项目中的pom.xml指定jdk版本<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> ...
2018-05-30 08:55:53
637
原创 使用Java API进行kafka topic开发
package org.sunny.two;import kafka.admin.AdminClient;import kafka.admin.AdminUtils;import kafka.admin.TopicCommand;import kafka.server.ConfigType;import kafka.utils.ZkUtils;import org.apache....
2018-05-29 19:21:49
12412
原创 Zookeeper和Kafka
Zookeeper1.zookeeper启动：zkServer.sh start 2.zookeeper关闭：zookeeper.sh stop 3.启动zookeeper客户端：zkCli.sh -server localhost:2181,server-1:2181（使用到的时候，用[zkCli]标示） Kafka1.kafka启动：Kafka-server-s...
2018-05-29 18:09:39
404
转载 zkCli命令
连接：./zkCli.sh -timeout 0 -r -server ip:port-timeout：当前会话的超时时间，zookeper依靠与客户端的心跳来判断会话是否有效，单位是毫秒-r： 只读模式，zookeeper的只读模式指一个服务器与集群中过半机器失去连接以后，这个服务器就不在不处理客户端的请求，但我们仍然希望该服务器可以提供读服务。-server： zookeeper服...
2018-05-29 10:06:43
6370
原创 带权活动安排（动态规划）
package org .sunny.dynamicProgram;import java.util.Arrays;import java.util.Scanner;/** * 有若干个活动，第i个活动的开始时间和终止时间分别为si和fi，活动之间不能交叠， * 举办一个活动可以得到的收益为wi，求最多能得到的最大收益。 * 输入样例：第一行：活动的数目；之后每一行输入...
2018-04-24 21:51:00
3263
3
原创 不重复子序列的个数
package org.sunny.dynamicProgram;import java.util.Arrays;import java.util.Scanner;public class SubNumbers { public static void main(String[] args){ Scanner scanner = new Scanner(Syst...
2018-04-24 20:57:42
1088
转载 Linux指令
常用的Linux监控指令Linux大全 统计一个文件中某个字符串的个数，其实就像在一块沙地里面找一块石头，有的人看到石头以后，在上面做个标记（grep），然后记住自己做了多少个标记；有的人看到石头以后，把它跳过去（awk），然后统计自己跳了多少次。方法1: grep 复制代码代码如下:grep -o ‘keyword’ my_file.txt | wc -l方法...
2018-04-24 17:49:52
95
转载 网络基础小结
part1: 标准的http协议是无状态的，无连接的标准的http协议指的是不包括cookies, session，application的http协议，他们都不属于标准协议，虽然各种网络应用提供商，实现语言、web容器等，都默认支持它 无连接指的是什么 每一个访问都是无连接，服务器挨个处理访问队列里的访问，处理完一个就关闭连接，这事儿就完了，然后处理下一个新的 无连接的含义是限制每次连...
2018-04-24 10:37:00
254
转载 算法（普通算法+大数据）
【1】100亿个整数，内存足够，如何找到中位数？内存不足，如何找到中位数？（双桶排序） 内存不够：题目说是整数，我们认为是带符号的int,所以4字节，占32位。 假设100亿个数字保存在一个大文件中，依次读一部分文件到内存(不超过内存的限制)，将每个数字用二进制表示，比较二进制的最高位(第32位，符号位，0是正，1是负)，如果数字的最高位为0，则将这个数字写入 fi...
2018-04-24 09:51:07
7393
转载 后台开发
原文地址：https://blog.csdn.net/sinat_35512245/article/details/78569318Java基础问题String的’+’的性能及原理java之yield(),sleep(),wait()区别详解-备忘笔记深入理解Java Stream流水线抽象 & abstract关键字Java final 修饰符知识点总结(必看篇)...
2018-04-19 08:04:38
299
转载 HBase
Hbase语法：https://www.cnblogs.com/nexiyi/p/hbase_shell.htmlhttps://blog.csdn.net/haoxiaoyan/article/details/52607795Hbase基础知识：https://www.ibm.com/developerworks/cn/analytics/library/ba-cn-bigdata-hb...
2018-04-17 17:21:27
132
转载 HDFS
转载：http://www.aboutyun.com/thread-7088-1-1.htmlhttp://www.cnblogs.com/sky-sql/p/6881757.html1.job的本质是什么？在MapReduce中，一个准备提交执行的应用程序称为“作业（job）”2.任务的本质是什么？从一个作业划分出 得、运行于各个计算节点的工作单元称为“任务（task）”3.文件系统...
2018-04-17 16:05:26
191
转载 java后台开发基础
给自己定一个小目标（把里面的问题吃透）Part1 复习一下这几个方法： Integer.toBinaryString(); //位图法，从海量数据中查找 记住Map的两个函数： Object computeIfPresent(Object key,(key,value)->newValue); //key存在，oldValue!=nul...
2018-04-12 20:33:31
2010
转载 Mysql多列索引和MyISAM、InnoDB存储引擎以及乐观锁和悲观锁
part1:两种存储引擎在索引以及锁机制上的实现方式的区别多列索引1多列索引2 MySql中的多列索引。1)联合索引又叫复合索引。对于复合索引:Mysql从左到右的使用索引中的字段，一个查询可以只使用索引中的一部份，但只能是最左侧部分。例如索引是key index (a,b,c). 可以支持a | a,b| a,b,c 3种组合进行查找，但不支持 b,c进行查找 .当最左侧...
2018-04-12 16:08:07
467
原创 数据库范式
之所以使用范式，往往是设计不规范的数据库表可能造成大量的数据冗余，也可能在发生插入、删除、修改操作后出现各种各样的不合理的问题。1）1NF（第一范式）：属性不可分， 数据库表的每一列都是不可分割的基本数据项。 如“电话号码”这个属性可以继续被分割为“办公电话”、“手机号码”等属性，在第一范式的语义下不应该被作为单独的一列出现。设有关系 R(S,D,M), 其函数依赖集 F={S,D,D-&...
2018-04-04 21:09:10
446
原创 Files-Paths
Paths类：创建路径Path(1)创建本地路径：static Path get(String first, String... more) （2）创建网络URL路径： static Path get(URI uri) Path类：（1）为某一个Path注册事件管理器WatchService，然后获得事件集合WatchKey，之后就可以获取具体事件的信息了。...
2018-04-04 13:06:25
270
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人