- 博客(11)
- 收藏
- 关注
RSS订阅
原创 spark操作hive初实验
spark操作hive初实验IDEA基于mave搭建spark操作hive环境pom.xml配置如下<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSc...
2019-10-29 10:48:24
253
原创 零拷贝
零拷贝介绍零拷贝是从操作系统角度看的，是没有CPU拷贝零拷贝不是不需要拷贝，而是减少不必要的CPU拷贝次数主要是指计算机操作的过程中，CPU不需要为数据在内存之间的拷贝消耗资源 ，也就是说缓冲区之间没有数据是重复的零拷贝是网络编程的关键，很多性能优化都离不开它零拷贝的优势减少甚至完全避免不必要的CPU拷贝，从而让CPU解脱出来去执行其他的任务减少内存带宽的占用通常零拷贝技术还能够...
2020-02-06 10:23:21
325
原创 基于NIO的聊天室
功能1)编写一个 NIO 群聊系统，实现服务器端和客户端之间的数据简单通讯（非阻塞）2)实现多人群聊3)服务器端：可以监测用户上线，离线，并实现消息转发功能4)客户端：通过channel 可以无阻塞发送消息给其它所有用户，同时可以接受其它用户发送的消息(由服务器转发得到)基本知识三种网络I/OBIO同步阻塞 IO，Block IO，IO 操作时会阻塞线程，并发处理能力低。Sock...
2020-02-06 10:16:26
879
原创 spark streaming背压机制
spark streaming背压机制背压机制产生的背景背压(back pressure)机制主要用于解决流处理系统中，业务流量在短时间内剧增，造成巨大的流量毛刺，数据流入速度远高于数据处理速度，对流处理系统构成巨大的负载压力的问题。如果不能处理流量毛刺或者持续的数据过高速率输入，可能导致Executor端出现OOM的情况或者任务崩溃。旧版背压机制(spark1.5之前)旧版架构图r...
2020-01-10 13:27:09
1897
1
原创 Leetcode--91.Decode Ways
Decode Ways题目链接https://leetcode.com/problems/decode-ways/题目表述A message containing letters from A-Z is being encoded to numbers using the following mapping:'A' -> 1'B' -> 2...'Z' -> 26...
2019-12-02 20:47:40
144
原创 hive中map/reduce数量的问题
hive的map和reduce数量如何确定map的数量确定map的数量：主要决定因素有input文件的总个数，input中文件的大小，集群设置的文件块大小(默认128M，可在hive shell中通过set dfs.block.size查看)三种举例：文件不足128M则当做一个块，大于128M则拆分input目录下有七个文件，大小均为64M，则共7个mapinput目录下有10M，1...
2019-11-03 22:39:23
1063
原创 spark中aggregateByKey算子详解
参数：(zeroValue:U,[partitioner: Partitioner]) (seqOp: (U, V) => U,combOp: (U, U) => U)作用：在kv对的RDD中，，按key将value进行分组合并，合并时，将每个value和初始值作为seq函数的参数，进行计算，返回的结果作为一个新的kv对，然后再将结果按照key进行合并，最后将每个分组的value...
2019-10-16 16:19:23
411
原创 JAVA API连接HBase 错误：java.net.UnknownHostException
使用java api连接hbase时提示如下错误环境hostnameipuserjpsmayfly192.168.1.102mayflyJps， HRegionServer， QuorumPeerMain， Kafka， JobHistoryServer， NameNode， HMaster， DataNode， NodeManagermayfly192...
2019-09-24 10:13:33
3166
原创 ubuntu /etc 设置权限777带来的问题--/sudoers权限错误
错误sudo: /etc/sudoers is world writablesudo: no valid sudoers sources found,quittingsudo: unable to initialize policy plugin解决方案？首先网上的大多数教程是，使用su命令，但是ubuntu默认禁用了root用户，所以这个行不通网上的另一批教程，使用命令pkexe...
2019-09-24 09:17:08
1598
原创 kafka集群安装
kafka的安装1. 解压安装包tar -zxvf kafka_2.11-0.11.0.0.tgz -C target_dir/2. 修改文件名称mv kafka_2.11-0.11.0.0/ kafka3. 在kafka目录下创建logs文件夹mkdir logs4. 修改配置文件vim kafka/config/server.properties修改内容如下:#broker...
2019-09-18 09:57:56
74
原创 spring boot @RequestMapping详解
@RequestMapping参考： https://www.oschina.net/translate/using-the-spring-requestmapping-annotation这个注解会将 HTTP 请求映射到 MVC 和 REST 控制器的处理方法上。注:path和value这两个属性是一样的，用于指定HTTP请求资源（URI）的实际映射地址，当不指定具体的属性值时，默认是给...
2019-08-20 09:37:23
1462
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人