4 盲流子开发

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 7w+

Hadoop分布式搭建

1. 环境准备准备三台centos7虚拟机,设置静态IP(192.168.1.103,192.168.1.104,192.168.1.105)主机名称分别用hadoop3,hadoop4,hadoop5命名三台机器安装好java环境,并准备好上一篇博客中编译好的hadoop压缩包2. 集群规划部署HDFS有三个组件:NameNode(很重要,占资源)部署在一个节点上(企业级不会将其他模块与NameNode 部署在一起),用于查找数据块DataNode为实际存放数据的模块,

2020-06-03 11:13:18

Hadoop单机版搭建

1. Jar包准备在上一篇博客中已经准备好linux环境,看本篇博客之前请看楼主上一篇大数据简介博客,准备系统环境下载以下jar包,传入linux服务器的opt目录下hadoop-2.7.2-src.tar.gz ,apache-maven-3.6.0-bin.tar.gz,apache-ant-1.9.15-bin.tar.gz,protobuf-2.5.0.tar.gz1.1 安装maven# 1. 解压maven包tar -zxvf apache-maven-3.6.0-bin.tar.g

2020-05-20 16:24:08

大数据简介

1. 大数据简介大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。目前主要解决海量数据的存储和海量数据的分析计算问题。按顺序给出数据存储单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。1Byte = 8bit 1K = 1024Byte 1MB = 1024K1G = 1024M 1T = 1024G 1P = 1024T1.2 大数

2020-05-18 17:53:15

notify和notifyall的区别

讲解之前先贴上一篇代码,如下代码线程A中执行lock.wait()方法,不设置等待时间,设置无限等待public static void main(String[] args) { final Object lock = new Object(); new Thread(new Runnable() { @Override ...

2020-03-26 16:48:38

sleep和wait的区别

1. 基本的差别sleep是Thread类的方法,wait是Object类中定义的方法sleep方法可以在任何地方使用 ,wait方法只能在synchronized方法或synchronized块中使用2. 最主要的本质区别Thread.sleep只会让出CPU, 不会导致锁行为的改变即如果当前线程拥有锁,那么Thread.sleep不会让线程释放锁,而只会主动让出CPU,CPU会可以去...

2020-03-26 15:57:13

线程的状态

我们打开Thread类的源码,搜索State字段,会看到State的枚举值 public enum State { /** * Thread state for a thread which has not yet started. */ NEW, /** * Thread state for...

2020-03-26 14:54:52

实现处理线程的返回值

1. 给run()方法传参实现的方式主要有三种构造函数传参成员变量传参(set)回调函数传参这里不贴具体代码。可以自行实验2. 如何实现处理线程的返回值2.1 主线程等待法主线程等待法实现起来比较简单,但是必须自己实现线程等待逻辑,当需要等待的变量一多,代码会变得异常的臃肿,而且无法控制等待多久,无法精准控制2.2 使用Thread类的join()阻塞当前线程以等待子线...

2020-03-26 14:10:13

Thread和Runnable的关系

1. 简介Thread是一个类,而Runnable是一个接口。Thread类实现了Runnable接口,Runnable接口里只有一个抽象的run()方法。说明Runnable不具备多线程的特性。Runnable依赖Thread类的start方法创建一个子线程,再在这个子线程里调用run()方法,才能让Runnable接口具备多线程的特性2. 使用Thread创建线程创建一个自定义类...

2020-03-26 11:42:18

线程的start方法和run方法的区别

1. 使用run方法启动线程public class ThreadTest { private static void attack() { System.out.println("Fight"); System.out.println("Cuurrent Thread is : " + Thread.currentThread().getName());...

2020-03-26 11:13:30

vue-element-admin配置讲解

1. 项目初始化git clone https://github.com/PanJiaChen/vue-element-admincd vue-element-adminnpm install npm run dev 2. 项目精简删除scr/views下的源码, 保留:dashboard:首页error-page:异常页面login:登录redirect:重定向...

2020-03-17 14:53:24

RocketMQ总结与补充

1. 消息队列优缺点优点:1. 异步2. 解耦3. 削峰缺点:1. 系统可用性越低:外部依赖越多,依赖越多,出问题风险越大2. 系统复杂性挺高:需要考虑多种场景,比如消息重复消费,消息丢失3. 需要更多的机器的人力:消息队列一般集群部署,而且需要运维和监控,例如topic申请等2. 消息队列怎么避免重复消费任何一个消息队列无法保证消息不重复消费,RocketMQ也一样不保证消息...

2020-02-19 14:37:52

RocketMQ分布式事务消息

1. 分布式事务消息介绍简单的说,就是一次大的操作由不同的小操作组成,这些小的操作分布在不同的服务器上,且属于不同的应用,分布式事务需要保证这些小操作要么全部成功,要么全部失败。本质上来说,分布式事务就是为了保证不同数据库的数据一致性。2. RocketMQ4.X分布式事务消息架构讲解RocketMQ事务消息:RocketMQ提供分布式事务功能,通过RocketMQ事务消息能达到分布...

2020-02-16 15:53:34

RocketMQ消费者核心配置和核心知识讲解

1. RocketMQ消费者核心配置讲解consumeFromWhere配置1. CONSUME_FROM_FIRST_OFFSET:初次从消息队列头部开始消费,即历史消息(还存在broker的),全部消费一遍,后续再启动接着上次消费的进度开始消费2. CONSUME_FROM_LAST_OFFSET:默认策略,初次从该队列最尾开始消费,即跳过历史消息,后续再启动接着上次消费的进度开始消费...

2020-02-14 21:29:00

RocketMQ生产者核心配置和核心知识讲解

1. 消息队列RocketMQ生产者核心配置生产者常见核心配置:compressMsgBodyOverHowmuch:消息超过默认字节4096后进行压缩retryTimesWhenSendFailed:失败重复次数maxMessageSize:最大消息配置,默认128ktopicQueueNums:主题下面的队列数量,默认是4autoCreateTopicEnable:是否自动创建t...

2020-02-13 16:26:58

RocketMQ集群架构分析与主从模式搭建

1. RocketMQ集群模式架构分析1.1 单节点优点:本地开发测试,配置简单,同步刷盘消息一条都不会丢缺点:不可靠,如果宕机,会导致服务不可用1.2 主从(异步、同步消息)优点:同步双写消息不丢失,异步复制存在少量丢失,主节点宕机,从节点可以对外提供消息的消费,但是不支持写入缺点:主备有短暂消息延迟,毫秒级,目前不支持自动切换,需要脚本或者其他程序进行监测然后进行停止broker,...

2020-02-12 12:07:29

RocketMQ介绍与安装

1.RocketMQ简介RocketMQ是Apache RocketMQ֢作为阿里开源的一款高性能、高吞吐量的分布式消息中间件特点:支持Broker和Consumer端消息过滤支持发布订阅模型,和点对点支持拉pull和推push两种消息模式单一队列百万消息、亿级消息堆积支持单master节点,多master节点,多master多slave节点任意一点都是高可用,水平拓展,prod...

2020-01-19 10:39:52

RabbitMQ--核心概念及AMQP协议

1. 互联网大厂为什么选择RabbitMQRabbitMQ的高性能之道是如何做到的什么是AMQP高级协议AMQP核心概念是什么

2020-01-14 16:16:15

rabbitmq、kafka、activemq、rocketmq之间对比,区别

1. 为什么使用消息队列使用消息队列主要应用于三个场景:解耦、异步、削峰1.1 解耦传统模式:传统模式的缺点:系统间耦合性太强,如上图所示,系统A在代码中直接调用系统B和系统C的代码,如果将来D系统接入,系统A还需要修改代码,过于麻烦!中间件模式:中间件模式的的优点:将消息写入消息队列,需要消息的系统自己从消息队列中订阅,从而系统A不需要做任何修改。1.2 异步传统...

2020-01-13 14:42:58

Redis--秒杀系统分析需求

1. 秒杀系统业务分析2. 秒杀系统结构分析如图所示,第一层是前端拦截层、第二层是网关处理层、第三层是业务逻辑层、第四层是DB入库。在第三层中我们会用到Redis,这篇博客是秒杀系统中的Redis的应用场景,所以这篇博客主要讲解业务逻辑层。2.1 网关处理层简单讲一件网关处理层的实现,网关处理层主要处理后端流量数据的拦截,比如说我们有几十万的用户同时进行一个秒杀的功能,那么我们就会有这...

2020-01-08 16:43:54

Redis--布隆过滤器

1. 简介布隆过滤器可以用来判断一个元素是否在一个集合中。它的优势是只需要占用很小的内存空间以及有着高效的查询效率布隆过滤器是什么,一定要用吗?黑客流量攻击:故意访问不存在的数据,导致程序不断访问DB数据库的数据黑客安全阻击:当黑客访问不存在的缓存时迅速返回避免缓存及DB挂掉思考:50亿个电话号码,现有10万个电话号码,如何判断这10万个是否已经存在在50亿个之中?(可能方案:数...

2020-01-04 16:08:07

查看更多

勋章 我的勋章
  • 阅读者勋章Lv1
    阅读者勋章Lv1
    授予在CSDN APP累计阅读博文达到3天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。