- 博客(6)
- 收藏
- 关注
RSS订阅原创 TCP协议和UDP协议区别
1.基于连接和无连接 2.TCP是可靠的，UDP不是可靠的 3.TCP有序，UDP无序 4.UDP传输比较快，TCP比较慢 5.TCP的头比UDP大 6.TCP是流模式，UDP是数据报模式 7.TCP只能是点到点的，UDP可以是一对一，一对多，多对多的连接 TCP对应的协议： （1） FTP：定义了文件传输协议，使用21端口。 （2） Telnet：一种用于远程登陆的端口，...
2019-01-10 19:43:38
181
原创 MapReduce工作原理
MapReduce2.0运行流程 MapReduce2.0比之前最大的改动就是加入了yarn，具体的yarn工作机制请参考 yarn的工作机制 MapReduce工作原理 首先程序根据InputFormat将输入文件分成多个spilts，每个spilt对应一个map task的输入 接下来就是MapReduce的shuffle过程，具体来说shuffle过程就是从map产生输出...
2018-09-12 11:02:42
784
原创 计算机网络的一些整理
一、网络7层协议 应用层 网络服务与最终用户的一个接口。 协议有：HTTP FTP TFTP SMTP SNMP DNS TELNET HTTPS POP3 DHCP 表示层 数据的表示、安全、压缩。（在五层模型里面已经合并到了应用层） 格式有，JPEG、ASCll、DECOIC、加密格式等 会话层 建立、管理、终止会话。（在五层模型里面已经合并到了应用层） 对应主机进程...
2018-09-11 22:40:40
163
原创 单例设计模式的集中实现方法（java）
1.饿汉式：线程安全，调用效率高，但不能延时加载 这种方式是最基本的实现方式，这种实现最大的问题就是不支持多线程。因为没有加锁 synchronized，所以严格意义上它并不算单例模式。这种方式 lazy loading 很明显，不要求线程安全，在多线程不能正常工作。 public class Singleton { private static Singleton instance...
2018-09-03 20:44:37
196
原创 hdfs随缘记录
hdfs以流式数据访问模式来存储超大文件，其构建思路为：一次写入，多次读取是最高效的访问模式；hdfs是为了搞数据吞吐量优化的；hdfs只支持单个写入者，而且写操作总是以 “ 只添加 ” 的方式在文件末尾写数据。 hdfs概念 1.块（block） hdfs的块默认为128M，hdfs上的文件也被划分为块大小的多个分块，作为独立的存储单元。但与面向单一磁盘的文件系统不同的是，hdfs中小于一...
2018-08-15 16:44:05
174
转载 关于yarn的工作机制
Yarn是hadoop2.0的资源管理系统，它的基本设计思想是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建一个全局的ResourceManager 和若干个针对应用程序的ApplicationMaster YARN总体上仍然是Master/Slave结构，在整个资源管理框架中，ResourceManager为Master，NodeMan...
2018-05-21 14:10:27
284
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人