u013063153-CSDN博客

转载字节数组的妙用

在计算机高级语言中，字节属于最小单位，例如在Java中，int占用4个字节，long占用8个字节等。基本上所有基本类型(包括String)都可以转换成字节，那么这到底有何作用，本篇博客主要是记录了我使用字节数组的经验，希望可以给大家提供一些思路。缓存对象缓存类型大小分析在实际开发中，经常会用到本地缓存，或使用Redis或者Memcached来作分布式缓存,Java一般存入缓存中的对象无非是

2018-01-02 18:11:18 12742 1

转载 Java对象与byte[]数组之间的相互转化，压缩解压缩操作

原文：http://blog.csdn.net/NsdnResponsibility/article/details/51028739#comments下面介绍一下java对象之间和byte[]数组之间的相互转化。并对byte[]数据进行压缩操作。java对象转化为byte[]数组可用于redis中实现缓存。（这里暂不做介绍）.话不多说直接开实例：首先我们创建一个java对象：P

2018-01-02 17:40:01 4964

转载 Java中如何判断两个对象是否相等（Java equals and ==）

原文：https://www.dutycode.com/post-140.html如何判断两个对象相等，这个问题实际上可以看做是如何对equals方法和hashcode方法的理解。从以下几个点来理解equals和hashCode方法：1、equals的作用及与==的区别。2、hashcode的作用及与equals的关系。1、equals的作用及与==的区别。

2017-12-15 02:16:13 99083 11

原创 Prototype design pattern in Java

package com.design.prototype;/** * Prototype design pattern in Java */public class Book { private int bid; private String bname; public int getBid() { return bid; }

2017-12-04 17:34:17 827

转载 Java String、变量、类与对象、集合类、SSH(二)

原文：http://blog.csdn.net/zhangerqing/article/details/8786435这章我们还是接着上一章的，继续整理。1、数组有没有length()这个方法? String有没有length()这个方法？数组没有length()这个方法，有length的属性。String有有length()这个方法。2、下面这条语句一共创建

2017-11-19 00:16:39 946

转载 Java String、变量、类与对象、集合类、SSH

原文：http://blog.csdn.net/zhangerqing/article/details/8763583近期赶上春季招聘的小高潮，顺便发一些基础面试题出来。包含：基本语法，类，内部类，继承相关，异常，线程，集合，io，虚拟机等。本篇题目整理时参照了传智播客（http://www.itcast.cn）的一篇面试题，传说是张孝祥老师亲自写的，我本人很佩服他，也相信他出的题目有

2017-11-19 00:14:52 751

转载 Java最小堆解决TopK问题

原文：http://blog.csdn.net/xiao__gui/article/details/8687982TopK问题是指从大量数据（源数据）中获取最大（或最小）的K个数据。TopK问题是个很常见的问题：例如学校要从全校学生中找到成绩最高的500名学生，再例如某搜索引擎要统计每天的100条搜索次数最多的关键词。对于这个问题，解决方法有很多：

2017-11-18 20:31:17 661

转载 Scala的协变covariant(+)，逆变contravariant(-)，上界(<:)，下界(>:)

原文：https://my.oschina.net/xinxingegeya/blog/486671Scala的协变(+)，逆变(-)，上界(:)协变covariant、逆变contravariant、不可变invariant对于一个带类型参数的类型，比如 List[T]，如果对A及其子类型B，满足 List[B]也符合List[A]的子类型，那么就称为covariance(协

2017-11-09 00:23:07 1173

转载 Java-比较器(Comparable、Comparator)

原文：http://blog.csdn.net/itmyhome1990/article/details/8952722Comparable接口的作用之前Arrays类中存在sort()方法，此方法可以直接对对象数组进行排序。 Comparable接口可以直接使用java.util.Arrays类进行数组的排序操作，但对象所在的类必须实现Comparab

2017-11-05 16:16:18 930

转载八大排序算法总结与Java实现

原文：https://itimetraveler.github.io/2017/07/18/%E5%85%AB%E5%A4%A7%E6%8E%92%E5%BA%8F%E7%AE%97%E6%B3%95%E6%80%BB%E7%BB%93%E4%B8%8Ejava%E5%AE%9E%E7%8E%B0/概述因为健忘，加上对各种排序算法理解不深刻，过段时间面对排序就蒙了。

2017-11-03 01:33:49 3155 1

转载 Redis中删除过期Key的三种策略

项目中有个接口要频繁调用查询数据库中的数据，为了降低数据库的压力，所以把一部分记录先缓存在redis中，对redis中的数据设置了期限。今天无意间发现一个问题，使用dbsize查询出来的数量，比实际缓存量要高一部分。用redis-cli keys '*'|wc -l1获取到的数据和实际情况是一样的。如下面两图：对比发现，redis中key的总量为286957，比数据库

2017-10-20 17:11:09 7762

转载 spark将数据写入hbase以及从hbase读取数据

原文：http://blog.csdn.net/u013468917/article/details/52822074本文将介绍1、spark如何利用saveAsHadoopDataset和saveAsNewAPIHadoopDataset将RDD写入hbase2、spark从hbase中读取数据并转化为RDD操作方式为在eclipse本地运行spark连接到远

2017-10-20 16:20:19 1557

转载 Spark 下操作 HBase（1.0.0 新 API）

原文：http://wuchong.me/blog/2015/04/06/spark-on-hbase-new-api/HBase经过七年发展，终于在今年2月底，发布了 1.0.0 版本。这个版本提供了一些让人激动的功能，并且，在不牺牲稳定性的前提下，引入了新的API。虽然 1.0.0 兼容旧版本的 API，不过还是应该尽早地来熟悉下新版API。并且了解下如何与当下正红的 Spark

2017-10-20 16:14:53 551

原创 HBase Connection Pooling

两种方法获得连接：Configuration configuration = HBaseConfiguration.create();ExecutorService executor = Executors.newFixedThreadPool(nPoolSize);（1）旧API中： Connection connection = HConnectionManag

2017-10-20 14:02:25 1164

转载 [转]Java中byte数组转换int时为何与0xff进行与运算

在剖析该问题前请看如下代码public static String bytes2HexString(byte[] b) { String ret = ""; for (int i = 0; i String hex = Integer.toHexString(b[ i ] & 0xFF); if (hex.length() == 1) { hex = '

2017-10-20 10:26:07 856

转载 Linux查看机器是几核的

2017-10-19 08:52:36 11082 1

转载计算机网络基础知识总结

原文：http://www.cnblogs.com/maybe2030/p/4781555.html计算机网络学习的核心内容就是网络协议的学习。网络协议是为计算机网络中进行数据交换而建立的规则、标准或者说是约定的集合。因为不同用户的数据终端可能采取的字符集是不同的，两者需要进行通信，必须要在一定的标准上进行。一个很形象地比喻就是我们的语言，我们大天朝地广人多，地方性语言也非常丰富，而且

2017-10-12 16:09:45 510

转载 Java DecimalFormat 用法（数字格式化）

import java.text.DecimalFormat;public class Test { public static void main(String[] args) { double pi=3.1415927;//圆周率 //取一位整数 System.out.println(new DecimalFormat("0").f

2017-10-12 15:05:12 5212

转载 Java并发编程：Callable、Future和FutureTask

原文：http://www.cnblogs.com/dolphin0520/p/3949310.htmlJava并发编程：Callable、Future和FutureTask　　在前面的文章中我们讲述了创建线程的2种方式，一种是直接继承Thread，另外一种就是实现Runnable接口。　　这2种方式都有一个缺陷就是：在执行完任务之后无法获取执行结果。　　如果需要获取执行结果，

2017-10-09 17:06:18 486

转载深入理解Java：注解（Annotation）自定义注解入门

原文：http://www.cnblogs.com/peida/archive/2013/04/24/3036689.html要深入学习注解，我们就必须能定义自己的注解，并使用注解，在定义自己的注解之前，我们就必须要了解Java为我们提供的元注解和相关定义注解的语法。元注解：　　元注解的作用就是负责注解其他注解。Java5.0定义了4个标准的meta-annotat

2017-10-09 14:33:31 539

转载 Java通过BufferedWriter追加内容到文件末尾的几种常用方法

import java.io.BufferedWriter; import java.io.FileOutputStream; import java.io.FileWriter;

2017-09-29 12:55:24 824

转载 kafka offset判断

原文：http://blog.csdn.net/rongyongfeikai2/article/details/50727661在使用Spark streaming读取kafka数据时，为了避免数据丢失，我们会在zookeeper中保存kafka的topic对应的partition的offset信息（每次执行成功后，才更新zk中的offset信息）；从而保证执行失败的下一轮，可以从特定的o

2017-09-28 12:43:08 626

转载 kafka 消费者offset记录位置和方式

原文：http://www.mamicode.com/info-detail-1969443.htmlkafka消费者在会保存其消费的进度，也就是offset，存储的位置根据选用的kafka api不同而不同。首先来说说消费者如果是根据javaapi来消费，也就是【kafka.javaapi.consumer.ConsumerConnector】，通过配置参数【zookeepe

2017-09-28 11:52:12 24776 1

转载 CentOS设置网络代理

设置全局代理,方法如下:修改 /etc/profile 文件,添加下面内容:http_proxy=http://username:password@yourproxy:8080/ftp_proxy=http://username:password@yourproxy:8080/export http_proxyexport ftp_proxy如果没有密码限制,则以上

2017-09-28 10:47:37 10614 1

转载 java中byte数组与int，long，short间的转换

2017-09-22 14:55:10 935

原创【原创】kafka安装与启动

在spark001、spark002、spark003三台机器上。版本：kafka_2.10-0.8.2.1.zip启动命令：nohup bin/kafka-server-start.sh start.sh config/server.properties > kafka.log 2>&1 &在spark001上：vim server.properties```

2017-09-20 21:52:37 2882

转载 Kafka文件存储机制那些事

原文：https://tech.meituan.com/kafka-fs-design-theory.htmlKafka是什么Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了A

2017-09-20 21:36:24 423

原创 kafka概念

broker物理机器，一个broker管多个partitiontopic：一个topic可以由多个partitionpartition：一个partition对应一个broker为什么Storm需要一个消息队列？解决和其他系统耦合的问题。如何获取输入数据？- Storm没有自己的接收器- 而且从数据源拉(pull)可以更好地控制流量如何把输出结果

2017-09-20 20:49:14 436

转载 Linux平台卸载MySQL

原文：http://www.cnblogs.com/kerrycode/p/4364465.html 如何在Linux下卸载MySQL数据库呢？下面总结、整理了一下Linux平台下卸载MySQL的方法。 MySQL的安装主要有三种方式：二进制包安装（Using Generic Binaries）、RPM包安装、源码安装。对应不同的安装方式，卸载的步骤有些不同。文章中如有不足或不对的地方，

2017-08-30 21:17:48 436

原创 Map<String, Map<String, String>>转String，再转回Map

import org.junit.Test;import java.util.*;import java.util.regex.Pattern;/** * */public class Test2 { @Test public void test() { Map testMap1 = new HashMap(); testMap1.

2017-08-28 13:24:20 10038 4

转载 Oozie和Azkaban的技术选型和对比

原文：http://blog.csdn.net/gaoqida/article/details/52165204Oozie和Azkaban的技术选型和对比一．Azkaban和Oozie的工作流程1.1 Azkaban工作流程Azkaban将需要操作的信息打包成zip文件发送给Server端，Server对用户的信息进行存储。用户在Web UI 或者通过HTTP Client

2017-08-23 17:25:28 1924

转载 Java transient关键字使用小记

原文：http://www.cnblogs.com/lanxuezaipiao/p/3369962.html1. transient的作用及使用方法我们都知道一个对象只要实现了Serilizable接口，这个对象就可以被序列化，java的这种序列化模式为开发者提供了很多便利，我们可以不必关系具体序列化的过程，只要这个类实现了Serilizable接口，这个类的所有属

2017-08-19 17:01:47 316

转载通过FastJson把字符串转换成JSON和Map和List对象处理json数据

原文：http://blog.csdn.net/jilongliang/article/details/42870951 Fastjson是一个Java语言编写的高性能功能完善的JSON库。Fastjson是一个Java语言编写的JSON处理器,由阿里巴巴公司开发。1、遵循http://json.org标准，为其官方网站收录的参考实现之一。2、功能qia

2017-08-18 13:06:10 824

转载 Java：String、StringBuffer和StringBuilder的区别

原文：http://blog.csdn.net/kingzone_2008/article/details/92206911 StringString：字符串常量，字符串长度不可变。Java中String是immutable（不可变）的。String类的包含如下定义：[java] view plain copy/** The

2017-08-18 09:43:39 262

转载搜索文本内容——Java代码的简单实现(修改版)

原文：http://blog.csdn.net/newjueqi/article/details/4210495【文章标题】搜索文本内容——Java代码的简单实现(修改版)【文章作者】曾健生【作者邮箱】[email protected]【作者QQ】190678908【作者博客】http://blog.csdn.net/newjueqi【编程环境】JDK 1.6.0

2017-08-16 11:20:16 1411

转载 scala.sys.process简介及实战

原文：http://itang.iteye.com/blog/1126777简介Ruby很方便的支持操作系统的调用，如: Ruby代码 irb> system 'dir' irb> system 'ls -la' irb> system 'curl -I http://www.iteye.com' irb> result

2017-08-15 17:27:16 2756

原创 scala implicit class使用

官方文档：http://docs.scala-lang.org/zh-cn/overviews/core/implicit-classes.html介绍Scala 2.10引入了一种叫做隐式类的新特性。隐式类指的是用implicit关键字修饰的类。在对应的作用域内，带有这个关键字的类的主构造函数可用于隐式转换。隐式类型是在SIP-13中提出的。用法创建隐式类时，

2017-08-15 16:55:04 2028 1

转载 Zeppelin on spark

原文：https://my.oschina.net/yjwxh/blog/620368摘要: Zeppelin是一个web版的notebook, 用于做交互式数据分析以及可视化，背后可以接入不同的数据处理引擎，包括spark,hive,tajo等。原生支持scala, shell, markdown,shell等。内置spark 引擎，也可以通过配置方式对接到自己部署的spark 集群。

2017-08-14 21:36:02 1312 2

转载正排索引和倒排索引

倒排索引（英语：Inverted index），也常被称为反向索引、置入档案或反向档案，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。有两种不同的反向索引形式：一条记录的水平反向索引（或者反向档案索引）包含每个引用单词的文档的列表。一个单词的水平反向索引（或者完全反向索引）又包含每个单词在一个文档中的位置。后

2017-08-14 11:13:07 3264

原创 JVM虚拟机原理

虚拟机，就是一台虚拟的机器。它是一款软件，用来执行一系列虚拟计算机指令，大体上虚拟机可以分为系统虚拟机和程序虚拟机。系统虚拟机：例如Visual Box、VMare，它们完全是对物理计算机的仿真，提供了一个可以运行完整操作系统的软件平台。程序虚拟机：例如JVM，它专门为执行单个计算机程序而设计，在JVM中执行的指令为Java的字节码指令。无论是系统虚拟机还是程序虚拟机，在上面运行的软件

2017-08-12 21:21:31 679

空空如也

空空如也