- 博客(29)
- 收藏
- 关注
RSS订阅原创 JAVA基础知识
Stream API静态方法 Stream.of(1,2,3,4,5,6,7), Stream.generate(Math::random), Stream.iterate(0, (x)->x+3)stream()和parallelStream()并行流处理文本中的每行 new BufferReader(“F://a.text”); text.lines(); streamx.forEach(System.out::println);文本分隔，Pattern.compile(“,”);pa
2022-05-30 10:15:38
111
原创 MySQL-Binlog结构及如何使用
Binlog结构类似于 update user 表 id=1 将数据改为xxxbinlog操作格式化查看 mysqlbinlog log_file_name跳过前5项 mysqlbinlog -O 5 bin000001.log从第6项开始 mysqlbinlog -j 6 bin000001.log > mybinglog.text设置保存天数 set GLOBAL expire_log_days=2显示binlog文件概况 show binary logs显示最近binlog
2022-05-30 09:55:08
190
原创 Netty笔记（一）
1. NioEventLoopGroup -> MultithreadEventLoopGroup -> EventLoopGroup 将Channel注册，拿到ChannelFuture，添加监听方法2. 非阻塞I/O，应用进程不断进行系统调用recvfrom I/O复用模型，系统提供select/poll系统调用，应用将一批socket fd提供给系统，进行轮训；epoll使用基于事件驱动方式代替顺序扫描，性能更高；回调函数rollback select 数据准备好 recvf...
2022-02-12 21:27:36
205
原创 【Tomcat 8默认使用的网络模型】
Tomcat 8网络模型tomcat默认使用的网络模型是怎么样子的呢？我们知道tomcat有一个或多个连接线程监听外部请求，然后连接线程将请求交给工作线程池处理BO、NIO、AIONIO模型可以让一个工作线程处理多个连接在server.xml中默认定义了<Connector port=“8080” protocol=“HTTP/1.1”connectionTimeout=“20000”redirectPort=“8443” />除此之外，还有其他protocol可供选择pr
2021-12-19 00:15:37
421
原创 认知觉醒-2.元认知
模糊的人表现为：想看书学习，却又刷起手机来；-- 当下注意力一天做了很多琐碎的事情，重要的事情没做，一天又过去了; – 当日安排，重要的事情和不重要的事情分不清给自己制定了读书、跑步、写作的计划，却又没有毅力执行；–长远目标不清晰，不清楚目标的意义这是为什么呢？人脑的潜意识和理智脑的分层决定；是的，潜意识里面，我们是短视主义者，急功近利、没有耐心、及时享乐；带来了模糊；什么是元认知？简单来讲，就是自省、自我监督的能力训练元认知能力，是为了做好以下三点：当下的注意力一天的事情安排
2021-07-25 20:34:57
299
原创 1.认知觉醒-大脑构造
人性的弱点：趋易避难、及时满足为什么呢？这个由我们的大脑构造决定的；因为生物进化的缘故，我们的大脑分为三层：本能脑，情绪脑，理智脑大约在3亿年前，地球出现了爬行动物，进化出本能脑，依靠本能反应生存，遇到危险就逃跑或者战斗，遇到食物就捕食，遇到异性就追求；爬行动物没有情感与理智，没有感恩、快乐、悲伤、怜悯；农夫与蛇讲的就是这个道理；地球在2亿年前，哺乳动物进化出了情绪脑，情绪脑会产生各种情绪；遇到危险我们会产生恐惧情绪，帮助我们躲避危险；狩猎时产生兴奋情绪，让我们专注狩猎；愉悦情绪能拉近同伴之间的感
2021-07-24 17:09:42
317
原创 Yarn运行原理
Yarn运行原理简单描述yarn运行原理详细讲述yarn运行原理Yarn详细图解：作业提交流程简单描述yarn运行原理用户向客户端ResourceManager提交一个作业，同是指定提交到哪个队列和需要多少资源；通过读取计算引擎(如hadoop、spark)的设置参数，如果没有则默认ResourceManager在收到请求之后，会根据哪个队列和资源量大小，选取一个NodeManager，通知它启动一个特殊的container–ApplicationMaster,后面的流程交由它处理Applicat
2020-11-29 16:46:03
163
转载 Java Thread Dump日志分析
三个实例演示 Java Thread Dump 日志分析jstack Dump 日志文件中的线程状态dump 文件里，值得关注的线程状态有：死锁，Deadlock（重点关注）执行中，Runnable等待资源，Waiting on condition（重点关注）等待获取监视器，Waiting on monitor entry（重点关注）暂停，Suspended对象等待中，Object.wait() 或 TIMED_WAITING阻塞，Blocked（重点关注）停止，Parked下面我们先
2020-11-24 14:44:10
247
原创 如何获取java字节码文件以及native方法查看
获取java字节码java文件编译成class，示例:javac E:\Cleaner.java -d E:\temp\ 2. class文件翻译成字节码，示例:javap-verbose E:\temp\sun\misc\Cleaner.class > E:\temp\Cleaner.txtJava的native方法查看1.下载openjdk源码2. 打开相应的路径，找到对应java文件的c文件...
2020-09-22 22:58:59
174
原创 Hive数仓实战--用户行为分析-ADS层日活
在进行本次统计之前，假设你已经完成了服务数据层DWS的数据准备 ：dws_uv_detail_daily 每日活跃明细dws_uv_detail_wk 每周活跃明细dws_uv_detail_mn 每月活跃明细如果没有，请参考上一集Hive数仓实战–用户行为分析-每日周月活跃设备统计建相关表create table if exists ads_uv_count;create external table ads_uv_count( `dt` string COMMENT '统计
2020-06-06 16:36:45
522
原创 Hive数仓实战--用户行为分析-每日周月活跃设备统计
业务背景：通过用户的登录行为，分析用户的日周月活跃指标在进行本次实践之前，假设你已经产生了用户的登录日志, 并保存于Hive数仓中的dwd_start_log分层说明:ODS 原始数据层（original data） DWD明细数据层 (结构与原始数据层基本保持一直)，存放经过清洗过滤之后的数据 DWS服务数据层 ，轻度汇总，细粒度的统计 ADS数据应用层 ，通常为宽表每日活跃用户明细创建hive表drop table if exists dws_uv_daily_da...
2020-06-06 15:51:49
1495
1
原创 参数调优提升系统高并发
参数调优提升系统高并发NginxTomcatRedis客户端数据连接池MySQLLinuxNginx修改nginx工作线程数量，默认1024，实际可支持上w线程数量。worker_processes 10000Tomcat修改tomcat server.xml 中线程池，修改最大处理连接数 maxThreads(默认150)为800，参数如下：<Executor name="tomcatThreadPool" 线程名称 namePrefix="catalina-ex
2020-05-17 16:26:08
158
原创 JVM调优常用命令
java -jar xxx.jarjinfo -syspropes 进程号 查看java系统的扩展参数jinfo -flags 进程号 查看jvm参数jstat -class 进程号 类加载情况jstat -gc 进程号 垃圾回收统计jstat -gccapacity 进程号 堆内存统计jstat -gcnew 进程号 新生代统计jstat -gcnewcapacity 进程号 新生...
2020-04-16 06:37:51
164
原创 mysql忘记密码怎么办(5.7 8)
登录 Access denied…忘记密码怎么办？mysql 5.7 ，(进入到MySQL bin目录下):设置 ：mysqld -nt --skip-grant-tables免密登录： mysql -uroot -p修改密码 ：update mysql.user set password=password(‘新密码’) where user=‘root’ and host=‘local...
2020-04-03 17:20:10
66
原创 Git 回退到某一次提交
假设在分支dev上, 需要将代码回退到某次提交(如 bc8348g)切换到分支：git ckeckout dev查看提交记录 git log -n 100 找到需要回退的提交记录 假如是 bc8348ggit reset --hard bc8348g,这是控制台提示: HEAD now is at bc8348ggit push -f original dev ,注意 dev是你所在的...
2020-04-02 14:23:54
1111
原创 记一次Feign报400排错过程
1.在报错的代码中发现一行at feign.codec.ErrorDecoder$Default.decode(ErrorDecoder.java:93)2.点进去，debug这一行FeignException exception = errorStatus(methodKey, response);3.查看response，发现POST请求的参数带在header了上4.查看代码，原来是...
2020-03-23 21:07:07
2843
原创 IDEA快速kill占用端口号的进程
在IDEA终端 terminal 或CMD 命令窗口中 中输入下面命令：netstat -ano|findstr “9977” 其中9977是端口号taskkill /f /t /im 1111 其中1111是上面命令查出来的进程ID...
2020-03-10 20:33:53
2422
原创 Hive安装与配置
1.官网下载软件包，镜像地址: https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.2/2.执行解压安装命令 tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /hive-z 使用gzip过滤压缩文件-x 解压文件-v 详细列出处理的文件-f 使用压缩文件-C 改变至目录3.待续…...
2020-03-08 22:42:05
80
原创 IDEA远程Debug
IDEA远程Debug项目中，针对日志不全，无法定位问题的情形，可以使用远程debug模式进行代码调试服务器配置打开tomcat bin 目录下的catalina.sh脚本在JAVA_OPT后加上 -Xdebug - Xrunjdwp:transport=dt_socket,address=8788,server=y,suspend=n重启tomcatIDEA配置在IDEA...
2020-01-08 15:25:45
112
原创 Hadoop性能测试
向HDFS集群写10个128M文件hadoop jar /opt/module/hadoop-2-7-2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB测试读hadoop jar /opt/module/...
2019-12-29 19:52:56
188
原创 Kafka原理概述
kafka消息队列的两种模式： 1.一对一模式，消费者主动拉取数据 2.订阅模式，生产者推送数据 kafka架构 producer->kafka cluster->consumer producer->Topic Apartition 0 producer->Topic A partition 1 集群的leader follower-消息备份...
2019-12-24 23:05:01
65
原创 Hadoop知识筆記
1.集群规模每天日活100万，每人一天平均100条数据，每条日志1kb左右，半年内不扩容，保存3副本，预留20%-30%buffer,数仓分层2.框架版本选型apache大公司，运维麻烦，组件间兼容性需要自己调研CDH 用的多，中小公司用得多HDP开源3.服务器选型 1)物理机 2)云主机4.什么是shuffMap Reduce5.分区排序左侧写数据，右侧写索...
2019-12-24 22:50:16
65
原创 Linux常用命令
Linux常用命令内存磁盘\IO网络运行\进程Shell 常用工具新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导...
2019-12-24 22:49:10
48
原创 Kafka压力测试
kafka producer测试 官方自带脚本CPU内存网络IO一般都是网络IO达到 cd /kafaka/bin/kafka-producer-perf-test.sh --topic test --record-size 100 --num-records 100000 --throughput 1000说明: record-size一条多大，单位字节through...
2019-12-04 23:56:58
194
原创 Kafka安装
安装 下载kafka jar包 复制到/opt/software 删除flume jar包（减少空间占用） rm -rf apacche-flume-1.7.0-bin.tar.gz 解压 tar -zxvf kafka_2.11-0.11.0.2.tgz-C /opt/module 修改名称 cd module/ mv kafka_2.11-...
2019-12-04 23:28:41
67
原创 zookeeer安装
安装 上传zookeeper包到 /opt/software目录下 解压安装 cd /opt/software tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module 配置 新建zkData目录 cd /opt/module/zookeeper-3-4-10 mkdir zkData 新建myid用于标识服务器ID tou...
2019-12-01 18:45:49
104
原创 HDFS的多目录存储
命令查看磁盘存储df -h 在 hdf-site.xml文件中配置多目录 <property> <name>dfs.datanode.data.dir</name> <value>file:///${h...
2019-12-01 15:22:11
500
原创 Hadoop安装--环境准备
集群规划步骤 克隆虚拟机 修改主机名Name=eth0 命令：vim /etc/udev/rule.d/70-persistant-net.rules 克隆虚拟机之后会生产新的MAC地址，复制Mac物理地址，我们需要更新配置 vim/etc/sysconfig/network-scripts/ifcf...
2019-12-01 14:26:25
136
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人