5 white_fisher

尚未进行身份认证

源码有毒

等级
TA的排名 1w+

Docker基本概念

Docker基本概念镜像容器仓库Docker镜像Docker 镜像是一个特殊的文件系统,除了提供容器运行时所需的程序、库、资源、配置等文件外,还包含了一些为运行时准备的一些配置参数(如匿名卷、环境变量、用户等)。镜像不包含任何动态数据,其内容在构建之后也不会被改变。 镜像只是一个虚拟的概念,其实际体现并非由一个文件组成,而是由一组文件系统组成,或者说,由多...

2018-08-23 16:02:54

CentOS7.3安装最新版Docker无法启动

官方安装手册 方式一:yum install docker-ce默认安装最新稳定版本,当前最新稳定版本为:18.06.1.ce-3.el7 方式二: 使用转包的方式进行安装,下载地址:HTTPS://download.docker.com/linux/centos/7/x86_64/stable/Packages/yum install /path/to/package....

2018-08-23 14:39:04

软件七大设计原则

开闭原则对拓展开发,对修改关闭;用抽象构建框架,用实现拓展细节;优点:提高软件系统的可复用性和可维护性;依赖倒置原则高层模块不应该依赖底层模块,二者都应该依赖其抽象;抽象不应该依赖细节,细节应该依赖抽象;针对接口编程,不要针对实现编程;优点:可以减少类间的耦合性、提系统稳定性,提高代码可读性和可维护性,可降低修改程序所造成的风险;单一职责原则不要...

2018-08-20 15:50:50

Spring Boot 一分钟拥有支付宝支付功能

创建SpringBoot项目并添加如下引入依赖<dependency><groupId>white.fisher</groupId><artifactId>alipay-starter</artifactId><versio...

2018-07-25 18:01:40

SpringBoot自定义Starter

一、创建stater项目创建一个maven项目并在pom中引入Spring依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0&quot

2018-06-15 14:21:48

设计模式

一、创建型创建对象的同时隐藏创建逻辑1. 工厂模式2. 单例模式3. 建造者模式4. 原型模式二、 结构型关注类和对象的结合1. 适配器模式2. 桥接模式3. 过滤器模式4. 组合模式5. 装饰器模式6. 外观模式7. 享元模式8. 代理模式三、行为型关注对象之间的通信1. 责任链模式...

2018-06-13 15:44:03

ffmpeg安装(linux-centos)

官网下载ffmpeg源码包ffmpeg-xxx.tar.bz2,下载地址解压bz2安装包tar -xjvf ffmpeg-3.3.1.tar.bz2如果缺少bzip2包需要先安装yum install -y bzip2编译cd ffmpeg-xxx/./configure --enable-shared --prefix=/app/ffmpeg编译可能错...

2018-04-24 11:17:06

Spark整合Mongodb

环境准备 mongodb下载 解压安装启动mongodb服务$MONGODB_HOME/bin/mongod --fork --dbpath=/root/data/mongodb/ --logpath=/root/data/log/mongodb/mongodb.log pom依赖 <dependency> <groupId>org.mongodb.spark</groupI

2017-11-13 18:14:36

Spark源码无法下载

官方源码下载地址 选择版本,选择源码如图: 下载连接依然指向的是编译好的二进制文件。F12 Spark官网的js竟然报错了 = _ =!!。 还好官网源码提供了下载路径 https://archive.apache.org/dist/spark/

2017-11-06 17:54:28

Spark Programming Guide(五)

RDD PersistenceOne of the most important capabilities in Spark is persisting (or caching) a dataset in memory across operations. When you persist an RDD, each node stores any partitions of it that it c

2017-09-26 09:39:02

Spark Programming Guide(四)

Shuffle operationsCertain operations within Spark trigger an event known as the shuffle. The shuffle is Spark’s mechanism for re-distributing data so that it’s grouped differently across partitions. Th

2017-09-23 12:03:46

Spark Programming Guide(三)

WorkingwithKey-ValuePairsWhilemostSparkoperationsworkonRDDscontaininganytypeofobjects,afewspecialoperationsareonlyavailableonRDDsofkey-valuepairs.Themostcommononesaredis

2017-09-22 10:36:56

Spark Programming Guide(二)

spark中文文档 Spark Programming Guide(二)

2017-09-19 15:58:53

Spark官方文档翻译:Spark Programming Guide(一)

spark中文文档

2017-09-06 11:54:10

Spark官方文档翻译:Quick Start

Spark中文文档

2017-09-05 12:46:11

Spark入门(七):Spark运行时架构

在一个 Spark 集群中,有一个节点负责中央协调,调度各个分布式工作节点。这个中央协调节点被称为驱动器(Driver)节点,与之对应的工作节点被称为执行器(executor)节点。驱动器节点可以和大量的执行器节 点进行通信,它们也都作为独立的 Java 进程运行。驱动器节点和所有的执行器节点一起被称为一个 Spark 应用(application)。一、Spark驱动程序Spark 驱动器是执行

2017-08-24 16:08:08

Spark入门(六):共享变量(累加器和广播变量)

1.共享变量1.1累加器对信息进行聚合,常见用途是在调试时对作业执行过程中的时间进行计数使用过程通过在驱动器中调用 SparkContext.accumulator(initialValue) 方法,创建出存有初 始值的累加器。返回值为 org.apache.spark.Accumulator[T] 对象,其中 T 是初始值 initialValue 的类型。park闭包里的执行器代码可以使

2017-08-16 10:18:05

Spark入门(五):键值对RDD

1.创建PairRDD普通RDD转Pair RDDval rdd = sc.parallelize(Array("java","scala"))rdd.foreach(println)//java//scalaval pairRdd = rdd.map(w => (w,"编程语言"))pairRdd.foreach(print)//(java,编程语言)//(scala,编程语言)2

2017-08-14 16:30:24

Spark入门(四):RDD基本操作

1.RDD转换RDD的所有转换操作都不会进行真正的计算1.1单个RDD转换操作#创建测试RDDvalrdd=sc.parallelize(Array("helloworld","java","scalaeasy"))#1.map():遍历RDD中的每个元素,将返回值构成新的RDD,返回值类型可和原RDD不一致valmapRdd=rdd.map(x=>"map:"+x)m

2017-08-14 10:29:34

Spark入门(三):RDD概述

1.RDD概述Spark 对数据的核心抽象—弹性分布式数据集(Resilient Distributed Dataset,简 称 RDD)1.1 不可变RDD是一个不可变的分布式对象集合,一旦创建便不能修改。1.2 分区每个RDD都可被分为多个分区,分布在不同的节点机器之上1.3 转换(transformation)转化操作会由一个 RDD 生成一个新的 RDD,从已有的RDD派生出新的RDD,S

2017-08-12 22:39:28

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!