- 博客(12)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 spark2.2内核剖析---checkpoint与presist
1、checkpoint1、如何调用？2、框架底层给我们做了什么？1、执行的当时做了什么？2、在action的时候做了什么？3、总结2、presist
2017-08-11 11:17:50
363
原创 Spark2.2内核剖析
目录1、master启动过程2、worker启动过程3、driver启动过程4、任务提交过程5、总结sprak集群的启动和任务提交6、RDD内部详解7、stage划分算法8、task提交算法9、shuffle机制10、spark缓存机制11、spark存储模块
2017-08-11 11:10:02
176
原创 c++设计模式（4）------建造者模式
建造者模式简介1）适合的场景：对于对象的创建很复杂，而且对象的创建过程可以任意组合的情况。 2）举例：建造房子，要建造墙壁、窗户、门；而且假设可以以任何顺序来建造，那么这个的情景就适合建造者模式 3）类图的表示：#include<iostream>#include<stdlib.h>#include<string>using namespace std;class Home{pub
2015-12-10 21:31:14
174
原创 c++设计模式（3）--------工厂模式
摘要1、什么是工厂模式 也是创建型模式，又称多态工厂模式。意义在于定义一个创建产品的工厂接口，将实际创建工作推迟到工厂子类中。 2、和简单工厂模式的比较例子抽象工厂类和抽象产品类class AbstrctFriut{public: virtual void sayName() = 0;};class AbstractFactory{public: virutal Ab
2015-12-07 21:33:55
80
原创 c++设计模式（2）--------简单工厂模式
简介简单工厂模式，也叫做静态工厂模式，通过专门定义一个类来负责其他类的创建，被创建的类通常有一个共同的父类。 1）工厂角色：是工厂模式的核心，负责创建实例对象内部的逻辑。可以被外界调用，创建所需要的产品。 2）抽象产品：简单工厂模式所创建产品的父类，负责描述产品的公共接口 3）具体产品：具体的实例对象 优缺点：工厂类是简单工厂模式的核心所在，包含必要的创建逻辑，能够根
2015-12-07 17:16:59
140
原创 c++设计模式学习（1）--------单例模式
设计模式基本原则：1）开放封闭原则：对扩展代码开放，对修改代码封闭。2）依赖倒置原则：依赖于抽象接口，不依赖与具体类。针对接口（抽象类）编程。3）迪米特法则：一个对象应当尽可能少的了解另一个对象，从而降低各个对象之间的耦合性。4）优先使用组合而不是继承原则。如果使用继承，那么父类的任何变化都会影响到子类行为;使用组合关系可以减低这种依赖关系。单例模式什么是单例模式？单例模式是一个创建型模式，
2015-12-07 12:35:23
154
原创 Linux ipc 编程以及线程同步
摘要：本文主要介绍管道，ystemv ipc机制，包括消息队列、信号量，共享内存。套接字也是进程间通信的一种机制。只是前面的机制都是在一台主机上的进程间通信。共享内存shmget shmat shmdt shmctl消息队列msgget msgctl msgsnd msgrcv信号量semget semctl semop
2015-11-28 18:45:00
302
原创 Linux 下socket编程总结，注意事项（1）
（一）基本socket api介绍—-TCP协议socket 创建一个通信的端点。返回的是一个文件描述符fd：对于客户端来说，就是通过fd来与服务器来发起通信的，对于服务器来说，这个就是一个监听套接字。 bind 把socket创建的套接字绑定到指定的ip和port，因为socket系统调用就是告诉操作系统，我要一个通信啦，你要给我准备好来，这样，os就给我们创建了一个基本的数
2015-11-27 22:10:27
222
原创 多进程
一、fork调用 #include SRCS=$(wildcard *.c)OBJS=$(SRCS:.c=.o)CC=gccCFLAGS=-g -Wallmy_app:$(OBJS) $(CC) $^ -o $@ %.o:%.c $(CC) -c $< $(CFLAGS)clean: rm *.omakefile编写的另外一个实
2015-05-22 02:33:15
195
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人