- 博客(121)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spring Cloud Config/Bus 使用
Spring Cloud Config Server 依赖<dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-config-server</artifactId></dependency>Spring Cloud Config Client 依赖<dependency>
2018-04-16 15:51:12
460
3
原创 Spring Cloud Ribbon 客户端负载均衡器
两种方式实现默认负载均衡 第一种:使用RestTemplate@SpringCloudApplicationpublic class EurekaconsumerApplication { /** * LoadBalanced 注解用于使用应用名进行查找,并负载均衡 * @return RestTemplate */ @Bean @LoadB
2018-04-15 18:51:42
322
原创 Spring Cloud Eureka 服务注册与发现
Eureka是Netflix开源的一个RESTful服务，主要用于服务的注册发现。Eureka由两个组件组成：Eureka服务器和Eureka客户端。Eureka服务器用作服务注册服务器。Eureka客户端是一个java客户端，用来简化与服务器的交互、作为轮询负载均衡器，并提供服务的故障切换支持。Eureka Server 提供用于Client的服务注册与发现Applicati...
2018-04-13 20:08:13
293
原创 Docker Dockerfile 创建镜像
从刚才的 docker commit 的学习中，我们可以了解到，镜像的定制实际上就是定制每一层所添加的配置、文件。如果我们可以把每一层修改、安装、构建、操作的命令都写入一个脚本，用这个脚本来构建、定制镜像，那么之前提及的无法重复的问题、镜像构建透明性的问题、体积的问题就都会解决。这个脚本就是 Dockerfile。# 第一行必须指定基于的基础镜像FROM centos#维护者信息MAINTAI
2018-03-31 18:53:17
323
原创 Docker 简介 安装 启动 常用命令
简介 Docker是一个开放源代码软件项目，让应用程序布署在软件容器下的工作可以自动化进行，借此在Linux操作系统上，提供一个额外的软件抽象层，以及操作系统层虚拟化的自动管理机制[1]。Docker利用Linux核心中的资源分脱机制，例如cgroups，以及Linux核心名字空间（name space），来创建独立的软件容器（containers）。这可以在单一Linux实体下运作，避免...
2018-03-30 21:04:43
2588
原创 JAVA JMS Java消息服务（Java Message Service） 的实现ActiveMQ
JMS即Java消息服务（Java Message Service）应用程序接口是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。Java消息服务是一个与具体平台无关的API，绝大多数MOM提供商都对JMS提供支持。 JMS是一种与厂商无关的 API，用来访问消息收发系统消息。它类似于JDBC(Java Da...
2018-03-23 13:55:41
374
原创 JAVA 并发编程 线程池
1、 Single Thread Executor : 只有一个线程的线程池，因此所有提交的任务是顺序执行， 代码： Executors.newSingleThreadExecutor()2、 Cached Thread Pool : 线程池里有很多线程需要同时执行，老的可用线程将被新的任务触发重新执行，如果线程超过60秒内没执行，那么将被终止并从池中删除， 代码：Executors....
2018-03-22 19:24:43
197
原创 Zookeeper 结构 命令行操作
Zookeeper 特性1、Zookeeper：一个leader，多个follower组成的集群 2、全局数据一致：每个server保存一份相同的数据副本，client无论连接到哪个server，数据都是一致的 3、分布式读写，更新请求转发，由leader实施 4、更新请求顺序进行，来自同一个client的更新请求按其发送顺序依次执行 5、数据更新原子性，一次数据更新要么成功，要么失败...
2018-03-21 08:27:40
177
原创 Zookeeper 基础
Apache ZooKeeper is an effort to develop and maintain an open-source server which enables highly reliable distributed coordination.Zookeeper 直译过来是 动物园管理员 说白了就是用来管理Hadoop(大象),Hive(蜜蜂) 的分布式协调服务Z...
2018-03-20 17:06:29
189
原创 [排序]简单选择排序
private static void selectSort(int[] list) { int i, j, min; for (i = 0; i list.length; i++) { min = i; for (j = i + 1; j list.length; j++) { if
2018-01-28 18:33:47
181
原创 [排序]冒泡排序及优化
private static void bubblesort(int[] list) { int i, j; //循环次数 for (i = 0; i list.length; i++) { //这里是从后往前循环 for (j = list.length - 2; j >= i; j--) {
2018-01-28 15:29:27
167
转载 Spark 广播规则
原文: https://www.kancloud.cn/kancloud/spark-internals/45238顾名思义，broadcast 就是将数据从一个节点发送到其他各个节点上去。这样的场景很多，比如 driver 上有一张表，其他节点上运行的 task 需要 lookup 这张表，那么 driver 可以先把这张表 copy 到这些节点，这样 task 就可以在本地查表了。如何实
2018-01-20 12:25:16
633
原创 spark checkpoint
/** * Mark this RDD for checkpointing. It will be saved to a file inside the checkpoint * directory set with `SparkContext#setCheckpointDir` and all references to its parent * RDDs will be re
2018-01-20 12:15:23
235
原创 Spark RDD缓存方式
RDD通过persist方法或cache方法可以将前面的计算结果缓存，但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD将会被缓存在计算节点的内存中，并供后面重用。 System.setProperty("hadoop.home.dir", "G:\\hadoop-common-2.2.0-bin") val conf = new Spar
2018-01-20 12:04:20
2647
原创 Spark RDD的依赖关系
RDD和它依赖的父RDD（s）的关系有两种不同的类型即 窄依赖（narrow dependency） 宽依赖（wide dependency）。 窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 总结：窄依赖我们形象的比喻为独生子女宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition 总结：窄依赖我们形象的比
2018-01-20 11:54:31
271
原创 Spark 安装配置启动,蒙特·卡罗算法求PI
Apache Spark是一个开源集群运算框架，最初是由加州大学柏克莱分校AMPLab所开发。相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark使用了内存内运算技术，能在数据尚未写入硬盘时即在内存内分析运算。Spark在内存内运行程序的运算速度能做到比Hadoop MapReduce的运算速度快上100倍，即便是运行程序于硬盘时，Spark也能快上10倍速度。[
2018-01-20 11:20:24
472
原创 Scala apply() unapply() update() 方法
apply()有如下类和伴生对象class Test {}object Test { def apply(): Test = new Test() def main(args: Array[String]): Unit = { println(Test()) println(Test()) }}程序执行的结果:Test@10dba097Test@1786f9d5可知,当
2018-01-13 12:56:19
562
原创 Scala 隐式转换 隐式参数
隐式转换 所谓隐式转换函数(implicit conversion function)指的是那种以implicit 关键字声明的带有单个参数的函数首先,看这个例子implicit def file2RichFile(from: File): RichFile = new RichFile(from)这是一个隐式转换方法,方法名为 file2RichFile 意为File转换成RichFile类
2018-01-13 12:13:49
237
原创 Scala 类的主构造方法中属性修饰符的作用与区别
众所周知,Scala 是运行于Java平台（Java虚拟机）的,那么Scala程序编译之后会生成对应的字节码文件,我们将字节码文件反编译成Java文件即可知Scala 为我们都做了什么.Scala 源代码class Test4(a: String)class Test5(val b: String, var c: String)class Test6(private val d
2018-01-13 11:12:54
591
原创 Scala 类中属性和属性生成的方法的区别
众所周知,Scala 是运行于Java平台（Java虚拟机）的,那么Scala程序编译之后会生成对应的字节码文件,我们将字节码文件反编译成Java文件即可知Scala 为我们都做了什么.首先我们有一个Scala 源文件//Scala源代码class Test3 { val a = "a" var b = "b" private val c = "c" private var d =
2018-01-13 10:36:47
466
原创 Scala 介绍 下载 IntelliJ IDEA 插件安装 配置
介绍 维基百科: Scala（发音为/ˈskɑːlə, ˈskeɪlə/）是一门多范式的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。 官方网站 http://www.scala-lang.org/下载注意: 确定电脑装有 1.8 或 更高版本的 JDK 1. 首先进入Scala 官网 点击download 按钮 2. 将网页下拉到最后
2018-01-13 09:37:31
2622
原创 Scala 入门 函数/方法
函数函数定义需要 => 符号val fun1 = (x: Int, y: Int) => x + y方法def test(f: (Int, Int) => Int): Int = { f(3, 3) }
2018-01-08 22:02:47
280
原创 Flume 常用配置
配置文件文件名任意a1.sources = r1a1.sinks = k1a1.channels = c1其中a1 是agent 的名字r1 是sources 的名字c1 是channels的名字k1 是sinks的名字这些名字都是任意起的 接下来的配置是sourcesa1.sources.r1.type = netcata1.sources.r1.bind = localhost
2017-12-15 12:08:59
361
原创 Kafka 安装&常用操作命令
Kafka https://kafka.apache.org/ Apache Kafka是由Apache软件基金会开发的一个开源消息中间件项目，由Scala写成。Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。—– from wikipediaKafka 安装
2017-11-27 20:59:22
297
原创 Storm WordCount 代码
WordCountTopologMainpackage top.itning.storm;import org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.topology.TopologyBuilder;import org.apache.storm.tuple.Fields
2017-11-27 20:40:45
264
原创 Storm 集群安装&常用操作命令
Apache Storm http://storm.apache.org/安装备份 mv /export/servers/storm/conf/storm.yaml /export/servers/storm/conf/storm.yaml.bak修改 vi /export/servers/storm/conf/storm.yaml#指定storm使用的zk集群storm.zoo
2017-11-27 20:34:52
343
原创 Storm 编程模型 核心组件 Stream Grouping 数据分组策略
官网: http://storm.apache.org/ Apache Storm是一个免费的开源分布式实时计算系统。Storm可以很容易地可靠地处理无限的数据流，从而实时处理Hadoop为批处理所做的事情。Storm很简单，可以和任何编程语言一起使用 Storm编程模型其中Spout 一条一条从数据源获取外部数据Spout 在内部发送Tuple给Bolt ; Bolt 根据业务进行处理
2017-11-12 18:23:10
812
原创 Hbase API
package cn.itcast_01_hbase;import java.util.ArrayList;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop
2017-11-10 13:34:00
422
1
原创 sqoop 安装
官网:http://sqoop.apache.org/ 下载:sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 1cd SQOOP_HOME/conf $ mv sqoop-env-template.sh sqoop-env.sh 打开sqoop-env.sh并编辑下面几行： export HADOOP_COMMON_HOME=/home/hadoo
2017-11-10 11:51:32
229
原创 azkaban 编译使用方法
azkaban github 地址:https://github.com/azkaban/azkaban git clone 地址:https://github.com/azkaban/azkaban.git编译$git clone https://github.com/azkaban/azkaban.git$cd azkaban$git checkout 版本号 版本号通过 https:
2017-11-10 11:18:39
2426
原创 日志采集框架Flume
1. Source：采集源，用于跟数据源对接，以获取数据 2. Sink：下沉地，采集数据的传送目的，用于往下一级agent传递数据或者往最终存储系统传递数据 3. Channel：angent内部的数据传输通道，用于从source将数据传递到sink安装解压修改conf下的flume-env.sh，在里面配置JAVA_HOME# example.conf: A single-node F
2017-11-10 11:01:01
237
原创 hadoop集群安装 7节点;HA
教程使用版本: hadoop-2.8.1.tar.gz zookeeper-3.4.10.tar.gz Linux: Centos 7 x64 (CentOS-7-x86_64-DVD-1708)前期准备:集群规划： 主机名 IP 安装的软件 运行的进程 node1 192.168.66.3 jdk、hadoop...
2017-11-01 17:50:27
773
原创 MapReduce 另一种写法
public class Runner extends Configured implements Tool { @Override public int run(String[] args) throws Exception { return 0; } public static void main(String[] args) throws Exce
2017-10-31 18:09:30
357
原创 MapReduce 自定义outputFormat
写一个类继承 FileOutputFormat 泛型为最终输出的数据类型public class MyFileOutputFormat extends FileOutputFormat<Text, NullWritable> {重写getRecordWriter(TaskAttemptContext context)方法maptask或者reducetask在最终输出时，先调用OutputForm
2017-10-31 16:25:24
423
原创 MapReduce 分组GroupingComparator
public class GroupingComparator extends WritableComparator { //传入作为key的bean的class类型，以及制定需要让框架做反射获取实例对象 protected ItemidGroupingComparator() { super(OrderBean.class, true); } @Ove
2017-10-31 14:59:45
534
原创 MapReduce 缓存文件
/** * Called once at the beginning of the task. */ protected void setup(Context context ) throws IOException,InterruptedException { BufferedReader bufferedReader = new BufferedReader(new Fi
2017-10-31 14:38:31
1126
1
原创 MapReduce MapTask任务数量,切片大小笔记
MapReduce 运行流程概括MapTask任务数量的决定因素每一个split分配一个mapTask并行实例处理切片实现由FileInputFormat实现类的getSplits()方法实现切片默认切片大小就是Block块大小(默认块大小128M)在FileInputFormat中，计算切片大小的逻辑代码为：Math.max(minSize, Math.min(maxSize, bloc
2017-10-30 19:37:37
2773
原创 HDFS,数据块,NameNode&DataNode概念及一些原理
分布式文件系统 ?管理网络中跨多台计算机存储的文件系统称为分布式文件系统(distributed fileSystem)HDFS ?HDFS 即 Hadoop Distributed FileSystem(Hadoop分布式文件系统)超大文件:上百M,GB,T的文件流式数据访问:一次写入,多次读取是最高效的访问模式不适合需要低时间延迟的数据访问:HDFS为高数据吞吐量应用优化,可能会以时间为代价
2017-10-29 20:02:31
4859
原创 Hadoop 客户端 CRUD
package cn.itning.testimport org.apache.commons.io.IOUtilsimport org.apache.hadoop.conf.Configurationimport org.apache.hadoop.fs.FileSystemimport org.apache.hadoop.fs.Pathimport org.junit.Beforeim
2017-10-27 11:31:45
397
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人