开心大魔豆-CSDN博客

原创 hive 单节点环境搭建指南 1.2.1版本

1、本文讲述在基于hadoop2.6.0 基础上搭建hive，关于hadoop2.6.0集群搭建，详见我另一片文章。 linux环境为centos，数据库版本为mysql5.6，关于mysql在linux下搭建，详见我另一片文章。2、步骤。 1、检查hadoop是否启动，注意此处没有通过yarn去配置，也没有配置zookeeper。进入h

2016-09-06 11:50:15 2189

转载 Kafka技术内幕：消费者（高级和低级API）和协调者

生产者发送消息时在客户端就按照节点和Partition进行分组，属于同一个目标节点的多个Partition会作为同一个请求传送到服务端，作为目标节点的服务端也可以处理来自不同生产者客户端的请求。如果从网络层通信来看，客户端和服务端都会使用队列的方式确保顺序地客户端发送请求，服务端接收请求，服务端发送响应，客户端接收响应。从存储层来看，生产者会将消息分发到不同节点的不同Partition上，服务端的

2016-06-02 13:22:22 8884

原创 kafka-系列1

问题导读1.Kafka独特设计在什么地方？2.Kafka如何搭建及创建topic、发送消息、消费消息？3.如何书写Kafka程序？4.数据传输的事务定义有哪三种？5.Kafka判断一个节点是否活着有哪两个条件？6.producer是否直接将数据发送到broker的leader(主节点)？7.Kafa consumer是否可以消费指定分区消息？8.Kafka消息是

2016-05-30 10:59:54 5823

原创容器编排kubernetes1-容器编排工具比较kubernetes、Swarm、mesos

即将更新容器编排工具三大比较，敬请期待！

2018-05-25 10:21:36 1533 1

原创 kubernetes集群centos-7集群搭建过程的各种坑

1、解决kubectl get pods时 No resources found.问题原因：搭建环境时，如果是非安全模式，需要做以下操作：1、$vi /etc/kubernetes/apiserver2"KUBE_ADMISSION_CONTROL="--admission_control=NamespaceLifecycle,NamespaceExists,LimitRanger,Securit...

2018-05-19 12:00:48 569

原创 Tensorflow--Tensorboard 可视化好帮手

在使用这个问题时，发现一个问题：No graph definition files were found.经过几天的尝试，终于发现问题所在，Tensorboard 已经支持wins，但是一直在家不到数据，然后呢，把日志直接放在C：logs；然后再运行，C:\>tensorboard --logdir=logs然后，奇迹出现了：附上测试代码，一个神经网络代码，其中一

2017-09-26 15:17:36 382

原创 maven 上传解决The current branch is not configured for pull No value for key branch.master.merge found i

1、找到git目录，在里面，在.git目录下，找到config文件，增加 [branch "master"] remote = origin merge = refs/heads/master

2017-07-13 18:14:24 271

原创 Guava - 并行编程Futures

这里转载一篇关于Guava - 并行编程Futures介绍，随后附上自己的调用：1、介绍Guava为Java并行编程Future提供了很多有用扩展，其主要接口为ListenableFuture，并借助于Futures静态扩展。继承至Future的ListenableFuture，允许我们添加回调函数在线程运算完成时返回值或者方法执行完成立即返回。对ListenableFuture添

2017-07-04 14:37:01 1563

原创 Guava并发：SettableFuture与CheckedFuture

上一篇介绍了下guava关于并发的实现与支持，其中涉及到两个内置接口实现，分别是SettableFuture与Checkedfuture，今天分别介绍下这两种内置实现：1、SettableFuture 查看源码，我们可以发现，SettableFuture继承了AbstractFuture抽象类，AbstractFuture抽象类实现了ListenableFuture接口，所以S

2017-07-04 14:29:50 6288

原创 Guava并发：ListenableFuture使用介绍以及示例

最近在写新一代devopts东西，里面有一个异步并发场景，那就是微服务的单个服务注册中心，所有的微服务都需要在etcd中进行注册，这其中涉及到了ListenableFuture下去查了写相关的资料，总结一下：1、介绍： ListenableFuture顾名思义就是可以监听的Future，它是对java原生Future的扩展增强。我们知道Future表示一个异步计算任务，当任务完成

2017-07-04 14:23:30 1039

转载关于AsyncHttpClient的使用

最近在做新一代devopts微服务架构相关的东西，服务之间的注册于发现时基于etcd去做的，这里涉及异步请求调用，异步消息的返回等方面。现在说说在其中用到的AsyncHttpClient这个异步调用类。首先，你要在你的项目里引入AsyncHttpClient,如果你使用maven来构建，可以很简单的引入： dependency> groupId>co

2017-07-04 13:52:52 3783

转载 AtomicInteger简介

AtomicInteger,类这个类真的非常实用，更重要的是它确实非常简单：附上自己的代码，可以自己试试：AtomicInteger，一个提供原子操作的Integer的类。在Java语言中，++i和i++操作并不是线程安全的，在使用的时候，不可避免的会用到synchronized关键字。而AtomicInteger则通过一种线程安全的加减操作接口。代码

2017-07-04 10:50:52 335

转载协同过滤算法

转载一篇协同过滤算法以及原理

2017-06-19 13:40:45 267

转载 mybatis实战讲解

转载一篇mybatis实战讲解，http://blog.csdn.net/kutejava/article/details/9164353#t5博主写的很专业

2017-05-24 14:31:42 268

原创 java如何正确停止一个线程

Thread类中有start(), stop()方法，不过stop方法已经被废弃掉。平时其实也有用过，共享一个变量，相当于标志，不断检查标志，判断是否退出线程如果有阻塞，需要使用Thread的interrupt()方中断阻塞，线程开始检查标志（PS：抛出异常不会退出循环）如何停止java的线程一直是一个开发多线程程序常遇到的一个问题。也有好多人问过我，所以今天在这里

2017-05-23 19:08:18 600

原创 redis集群链接-java

java链接redis集群报错：redis.clients.jedis.exceptions.JedisDataException: MOVED 13102 127.0.0.1MOVED indicates that you're using Redis Cluster. ShardedJedis is not for Redis Cluster, so you s

2017-05-16 16:26:09 1629

原创 redis-应用场景

关于redis，大家可能再熟悉不过了，关于redis的具体应用场景，它适合那些场景，现在我们来看下：毫无疑问，Redis开创了一种新的数据存储思路，使用Redis，我们不用在面对功能单调的数据库时，把精力放在如何把大象放进冰箱这样的问题上，而是利用Redis灵活多变的数据结构和数据操作，为不同的大象构建不同的冰箱。希望你喜欢这个比喻。下面是一篇新鲜出炉的文章，其作者是Redis

2017-05-15 16:35:49 250

原创 redis读写速度

关于Redis读写速度问题，不禁会问，redis读写速度真的有这么快吗？我们知道，mysql是持久化存储，存放在磁盘里面，检索的话，会涉及到一定的IO，为了解决这个瓶颈，于是出现了缓存，比如现在用的最多的 memcached(简称mc)。首先，用户访问mc，如果未命中，就去访问mysql，之后像内存和硬盘一样，把数据复制到mc一部分。　　redis和mc都是缓存，并且都是驻留在内存中运

2017-05-15 14:12:18 3637

原创 redis-系列之一JedisPool(非切片链接池)和ShardedJedisPool(切片链接池)有什么区别

1、redis部署方式分为单节点与集群部署，JedisPool连一台Redis，ShardedJedisPool连Redis集群，通过一致性哈希算法决定把数据存到哪台上，算是一种客户端负载均衡，所以添加是用这个（Redis 3.0之后支持服务端负载均衡）

2017-05-12 10:48:23 3331 1

转载 docker与虚拟机性能比较

在此转载一篇，关于docker与虚拟机性能比较的文章。from：http://blog.csdn.net/cbl709/article/details/43955687

2017-03-06 13:42:24 1025

转载 Linux的SOCKET编程详解

转载一篇linux 的socket编程详解http://blog.csdn.net/hguisu/article/details/7445768/

2017-03-01 15:57:21 225

原创细说"Callable"与"Runable接口"

如我们所知，直线多线程一般采用两种方式，实现runable接口或集成thread类。但是还有一种，Callable，今天我们就简单说下这两个接口差别。Callable是Java在后续版本中为了适应多并法才加入的，Callable是类似于Runnable的接口，实现Callable接口的类和实现Runnable的类都是可被其他线程执行的任务。Callable的接口定义如下；

2017-02-28 13:47:35 369

原创 hibernate两级缓存

1、关于hibernate两级缓存介绍，这里分享两篇文章，讲得不错。http://blog.csdn.net/defonds/article/details/2308972http://blog.csdn.net/sd0902/article/details/83937502、后面我给予spring mvc 3.0写一个demo,展示如何使用ehcache缓存类配置使用,稍后贴

2017-02-28 11:43:03 325

原创多线程的“并发”和“并行”

并发在单核和多核都可存在，就是同一时间有多个可以执行的进程。但是在单核中同一时刻只有一个进程获得CPU,虽然宏观上你认为多个进程都在进行。并行是指同一时间多个进程在微观上都在真正的执行，这就只有在多核的情况下了。多线程不是万能的.它是并发的,也就是说,它在创建和切换资源时还要额外消耗资源.而线程1执行完后线程2才能执行,这样用多线程的效率是不如串行处理的.

2017-02-28 11:36:19 472

转载 Tcp/IP下Socket 网络性能优化

转载一篇，写的还不错。http://blog.csdn.net/hzrandd/article/details/50578373

2017-02-24 13:40:57 2692

原创 Redis在传统web工程中替代memcached方案实践

Redis在传统web工程中替代memcached方案实践，正在完善

2017-01-05 10:20:31 803

原创 yarn介绍

问题导读：1、什么是yarn？2、Yarn 和MapReduce相比，它有什么特殊作用？背景Yarn是一个分布式的资源管理系统，用以提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改，可是随着

2016-12-05 10:38:56 458

原创通过java客户端连接hbase 注意事项

1、通过java客户端连接hbase，其中hbase通过zookeeper去管理，需要注意的是客户端端口。通过在浏览器端输入地址查看：http://192.168.3.206:60010/master-status 可以看到端口与地址。2、注意在win环境下，需要在C:\Windows\System32\drivers\etc的hosts文件加上一句： 192.16

2016-11-17 10:43:07 7263 1

转载 HCatalog

•A table and storage management layer for Hadoop that enables users with different data process tool-Pig, MapReduce and Hive – to more easily read and write data on the grid. HCatalog屏蔽了底层数据存储

2016-11-16 13:25:17 687

原创 mysql 允许远程登录

Mysql为了安全性，在默认情况下用户只允许在本地登录，可是在有此情况下，还是需要使用用户进行远程连接，因此为了使其可以远程需要进行如下操作：一、允许root用户在任何地方进行远程登录，并具有所有库任何操作权限，具体操作如下：在本机先使用root用户登录mysql： mysql -u root -p"youpassword" 进行授权操作：mysql>GRANT ALL PR...

2016-11-14 12:46:11 321

原创 hadoop 2.6.0单节点环境搭建

1、基于centos，hadoop2.6.0版本，搭建hadoop单节点环境。2、下载hadoop2.6.0 配置jdk，hadoop环境变量与path， 3、解压文件hadoop 修改配置文件 core-site.xml: fs.defaultFS hdfs://localhost:9000

2016-09-06 11:56:54 579

原创 golang 构建web应用

1、介绍涵盖内容：为载入和保存方法创建一个数据结构体引用http包来创建一个web应用引用template包来处理HTML模板引用regexp包来验证用户的输入引用闭包操作可能涉及到的知识：设计经验明白基础的web技术（HTTP，HTML）一些UNIX命令行知识2、你要有一个可以运行Go语言的计算机或虚拟机，怎么样安装Go，请参考安装G

2016-06-16 20:17:18 1814

原创 docker系列-初识

是

2016-06-14 14:15:51 310

原创 linux 环境 mysql 远程登录配置

1、登陆数据库。mysql -uroot -p（密码）。2、2、创建用户用来远程连接GRANT ALL PRIVILEGES ON *.* TO 'itoffice'@'%' IDENTIFIED BY 'itoffice' WITH GRANT OPTION;（第一个itoffice表示用户名，%表示所有的电脑都可以连接，也可以设置某个ip地址运行连接，第二个it

2016-06-14 14:13:57 392

原创 centos 安装mysql最新版mysql

Step1: 检测系统是否自带安装mysql# yum list installed | grep mysqlStep2: 删除系统自带的mysql及其依赖命令：# yum -y remove mysql-libs.x86_64Step3: 给CentOS添加rpm源，并且选择较新的源命令：# wget dev.mysql.com/get/mysql-com

2016-06-03 16:54:07 751

原创 spark环境搭建，伪分布式、集群

spark集群环境搭建，整理中

2016-06-02 17:19:14 478

原创大数据架构

Big Data非常复杂，涉及到的技术繁多。我们常“耳闻”的技术，如果MapReduce, Hadoop等处于哪一层次，下图会给你一个整体印象。图片：databricks.jpg下面是常见的技术简介：HBase ：是一个分布式的、面向列的开源数据库。其设计理念源自谷歌的 BigTable，用 Java 语言编写而成。MongoDB ：是目前非常流行的一种非关

2016-06-02 13:41:50 464

原创使用消息队列的十个理由

过去几年中，我们一直在使用、构建和宣传消息队列，我们认为它们是很令人敬畏的，这也不是什么秘密。我们相信对任何架构或应用来说，消息队列都是一个至关重要的组件，下面是十个理由:1. 解耦在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。消息队列在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口。这允许你独立的扩展或修改两边的处理过程，只要确保它们遵

2016-05-31 10:29:02 487

原创 kafka系列4-什么是kafka

关于什么是kafka，看过一个简单例子。举个例子，生产者消费者，生产者生产鸡蛋，消费者消费鸡蛋，生产者生产一个鸡蛋，消费者就消费一个鸡蛋，假设消费者消费鸡蛋的时候噎住了（系统宕机了），生产者还在生产鸡蛋，那新生产的鸡蛋就丢失了。再比如生产者很强劲（大交易量的情况），生产者1秒钟生产100个鸡蛋，消费者1秒钟只能吃50个鸡蛋，那要不了一会，消费者就吃不消了（消息堵塞，最终导致系统超时），消费

2016-05-31 09:22:01 448

原创 kafka系列3-分布式消息系统

Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应用（消

2016-05-31 09:17:54 414