- 博客(43)
- 收藏
- 关注
RSS订阅原创 论文阅读-《Lite Pose: Efficient Architecture Design for 2D Human Pose Estimation》
这篇论文主要研究了2D人体姿态估计的高效架构设计。姿态估计在以人为中心的视觉应用中发挥着关键作用，但由于基于HRNet的先进姿态估计模型计算成本高昂（每帧超过150 GMACs），难以在资源受限的边缘设备上部署。因此，该论文提出了一个核心问题：在轻量模型上，高分辨率+多分支结构是否真正必要。为了解决这一问题，论文作者设计了一个渐进收缩实验，发现高分辨率分支对于低计算区域的模型是多余的。基于这一发现，他们提出了LitePose，这是一种用于自底向上姿态估计的高效架构。
2024-03-27 01:27:32
501
原创 论文阅读-《HigherHRNet: Scale-Aware Representation Learning for Bottom-Up Human Pose Estimation》
自下而上的HPE在预测小个体的正确姿态方面存在困难，故提出HigherHRNet——使用高分辨率特征金字塔学习尺度感知表示。通过高分辨率特征金字塔和多分辨率监督与聚合，解决了尺度变化带来的挑战，实现了更精确的关键点定位，尤其在处理小个体时表现优异。特征金字塔的主要思想是通过构建多尺度的特征表示，使得模型能够在不同尺度下对目标进行预测。二维人体姿态估计旨在定位人体的关键点或部位，是理解人类行为的重要技术。目前的方法主要分为自上而下和自下而上两类。
2024-03-26 14:20:37
935
原创 论文阅读：《Deep Learning-Based Human Pose Estimation: A Survey》——Part 1：2D HPE
2D HPE 依然面临的。
2024-02-13 00:07:19
1464
原创 SQL over()开窗函数详解
做SQL题时碰到了over()函数不太理解，这篇博文对over()开窗函数讲解非常透彻，对我帮助很大，分享给大家！SQL开窗函数 - 我俩绝配 - 博客园
2021-09-11 21:11:27
763
原创 Zookeeper的Java API操作（一）：创建、删除节点
Zookeeper是基于Java开发的分布式应用程序协调服务，使用java操作zookeeper,zookeeper的javaclient 使我们更轻松的去对zookeeper进行各种操作
2021-08-20 12:20:48
2045
原创 Zookeeper的集群命令行操作
通过上一篇博文知道了Zookeeper的基本概念之后，并且在Linux操作系统中安装了Zookeeper后，下一个操作就是在命令行运行Zookeeper。该文介绍了Zookeeper命令行的基本操作，并且Zookeeper的数据监听机制以及如何写数据进行了详细的阐述。
2021-08-19 20:08:28
1256
原创 Zookeeper概述
众所周知大数据是由一群“动物”组成的，而根据命名就可以知道Zookeeper就是这群“动物”的管理者。Zookeeper是一个不同于HDFS的为分布式应用提供协调服务的Apache项目，他与HDFS的不同之处就在于Zookeeper可以监听存储在其中的数据变化。所以Zookeeper究竟是怎么实现这些功能的呢？先来看一些Zookeeper的基本信息吧！
2021-08-19 19:34:30
207
原创 解决Zookeeper无法启动
通过命令：zkServer.sh start启动Zookeeper后，jps查看进程发现全部启动正确，但是在通过zkServer.sh status查看启动状态，却出现如下现象：通过上述问题可以考虑到的点是配置的三台节点另外两台没有启动。但是可以确定的是另外两台节点也都启动了Zookeeper。解决方案：1. 首先查看防火墙是否关闭。如果防火墙开启会影响三点节点的通信，导致接收不到另外两台节点信息。我是上午关闭了虚拟机，下午再打开时没有将防火墙关闭，查看防火墙果然处于活跃状态！赶紧将防火
2021-08-19 17:52:23
17536
3
原创 Linux上安装Zookeeper集群
一、环境准备 安装jdk 通过xftp工具拷贝zookeeper到到linux系统下，为了方便我已经将安装包存储在百度网盘里啦！ 链接：https://pan.baidu.com/s/1Z6-ZG7JUvkLcwabJtGYy7A 提取码：1234 将拷贝过来的zookeeper压缩包解压到指定目录（我的压缩包在/opt/source目录下，安装包在/opt/app目录下） [root@shixun source]# tar -zxvf zookeeper-3.5.7-b..
2021-08-19 16:24:43
573
原创 MapReduce框架-数据压缩
目录一、概述二、MR支持的压缩编码三、压缩方式的选择1. Gzip压缩2. Bzip2压缩3. Lzo压缩4. Snappy压缩四、采用压缩的位置五、压缩配置参数六、压缩案例1. 压缩2. 解压缩七、压缩的应用1. map阶段的压缩2. reduce阶段的压缩八、总结一、概述 压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadood下，尤其是数据规模很大和工作负载密集的情况下，使用数据
2021-08-16 22:42:27
416
原创 MapReduce框架-Join的使用
目录一、引言二、关系型数据库MySQL中Join的用法笛卡尔积：CROSS JOIN内连接：INNER JOIN左连接：LEFT JOIN右连接：RIGHT JOIN外连接：OUTER JOIN三、Reduce Join1. Reduce Join介绍2. 案例2.1 需求：2.2 实现思路：reduce端表合并（数据倾斜）2.3 步骤2.4 源代码2.5 运行截图3.Reduce Join缺点四、Map Join1. 使用场景2.
2021-08-13 13:04:17
1020
原创 MapReduce框架原理-OutputFormat
目录一、OutputFormat概述二、自定义OutputFormat自定义OutputFormat的详细流程：三、案例实操案例一：存储数据到MySQL中案例二：存储数据到HDFS本地指定文件夹中一、OutputFormat概述OutputFormat主要是用来指定MR程序的最终的输出数据格式 。默认使用的是TextOutputFormat，默认是将数据一行写一条数据，并且把数据放到指定的输出目录下，以 part-r-xxxxx数字开头。并且默认情况下有几个R
2021-08-13 11:40:36
296
原创 MapReduce框架原理-MapTask和ReduceTask工作机制
一、MapTask工作机制（一）并行度机制1）问题引出maptask的并行度决定map阶段的任务处理并发度，进而影响到整个job的处理速度。那么，mapTask并行任务是否越多越好呢？2）MapTask并行度决定机制一个job的map阶段MapTask并行度（个数），由客户端提交job时的切片个数决定。切片(逻辑上的切分)大小默认等于128M，和block大小相等，原因是如果不按照block大小进行切分，可能会涉及到一些不同节点之间数据的传输。（二）MapTask...
2021-08-11 12:19:43
403
原创 MapReduce框架原理-Shuffle机制
Shuffle机制Mapreduce确保每个reducer的输入都是按键排序的。系统执行排序的过程（Map方法之后，Reduce方法之前的数据处理过程）称之为Shuffle。partition分区Partition分区流程处于Mapper数据属于初到环形缓冲区时进行，此时会将通过Partition分区获取到的每一行key-value对应的分区值计入环形缓冲流的左。问题引出要求将统计结果按照条件输出到不同文件中（分区）。比如：将统计结果按照手机归属地不同省份输出到不同文件中（分区）
2021-08-11 10:58:01
586
原创 MapReduce工作流程
目录一、MapReduce工作流程图二、流程详解（重点）1. MapTask2. ReduceTask3. Shuffle三、总结一、MapReduce工作流程图二、流程详解（重点）1. MapTask待处理的文本通过submit()方法，获取待处理的数据信息，然后根据InputFormat切片方法机制，生成切片方法文件。把切片方法文件和资源配置文件全部提交在资源路径。提交的信息有：Job.split、wc.jar、Job.xml 把资源提交路径下...
2021-08-08 16:11:34
326
原创 MapReduce框架原理-InputFormat数据输入
一、InputFormat简介InputFormat是一个抽象类，没有实现怎么切片，怎么转换，由它的子类实现。其中InputFormat的默认实现类是FileInputFormat，其也是一个抽象类，没有具体实现，最终是由FileInputFormat的子类去实现的。子类一共有五个，每一个子类的分片机制和转换成key-value键值对数据的格式都不一样，其中默认使用的是TextInputFormat<K,V>InputFormat是一个抽象类，里面有两个方法：getSplit...
2021-08-07 19:11:33
693
原创 MapReduce概述
目录单词计数案例需求环境准备Java实现Java操作注意事项MapReduce实现编写MR程序过程：源代码：为什么要使用MapReduce分布式方案考虑的问题：MapReduce核心思想-----分而治之，先分后合MapReduce进程MapReduce编程规范（八股文）Mapper阶段----编写Mapper类，即MapTask任务Reducer阶段----编写Reducer类，即ReduceTask任务Driver阶段----关联MapTa
2021-08-05 12:53:40
266
原创 MapReduce框架原理-Writable序列化
单词计数案例需求在一堆给定的文本文件中统计输出每一个单词出现的总次数环境准备在 /opt/test 目录下创建一个文件 wordcount.txt ，里面键入几个单词，并用空格分隔开Java实现package com.zyd;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileSyst
2021-08-05 12:39:43
325
原创 HDFS中DateNode工作机制
目录DateNode工作机制详细流程数据完整性掉线时限参数设置DateNode目录结构目录目录结构具体解释服役新数据节点需求环境准备服役新节点具体步骤退役旧的数据节点DataNode多目录配置DateNode工作机制详细流程一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 DataNode启动后向namenode注册，通过后，周期性（1小时）
2021-07-30 23:22:45
459
1
原创 HDFS总结
目录HDFS的组成NameNodeDataNodeSecondaryNameNodeHDFS的操作HDFS的命令行操作Java API操作hadoop分布式文件存储系统，用来解决海量数据的存储问题HDFS的组成------核心配置文件：hdfs-site.xml、core-site.xmlNameNode：负责整个HDFS集群的管理（比如监控DataNode的运行状态、调度DataNode去处理数据）；存储元数据（包含数据的基本信息，有两个重要文件：fsimage,
2021-07-30 22:51:32
314
原创 HDFS读写流程
HDFS写数据流程数据写入流程 客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。 namenode返回是否可以上传。 客户端请求第一个block上传到哪几个datanode服务器上。 namenode返回3个datanode节点，分别为dn1、dn2、dn3。 客户端请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。 dn1、dn2、dn3逐级应答客.
2021-07-29 20:47:46
47
原创 HDFS中NameNode工作机制
引言NameNode：存储元数据 管理整个HDFS集群DataNode：存储数据的blockSecondaryNameNode：辅助HDFS完成一些事情NameNode和SecondaryNameNode工作流程编辑日志文件：edits记载客户端对HDFS的增删改查的操作日志镜像文件：fsimage记载元数据（HDFS上存储的文件目录）及操作日志NameNode和SecondaryNameNode工作机制工作流程详解...
2021-07-29 20:46:23
591
原创 HDFS的Java API操作
通过Java代码操作HDFS集群目录引言Idea连接HDFS第一步：引入HDFS依赖第一种引入方式（jar包）第二种引入方式（使用maven引用）引入项目依赖的时候：maven项目的几个核心的生命周期：第二步：idea操作配置HDFS的访问路径单元测试HDFS的JavaAPI基本操作Maven依赖准备hdfs文件系统的API使用操作HDFS：连接HDFS文件系统------是必备操作（见二、idea连接HDFS）对HDFS进行操作递.
2021-07-29 17:01:25
1165
原创 HDFS（Hadoop Distributed File System ）概述
目录一、HDFS概述二、HDFS特点三、HDFS集群组成：主从架构---一个主节点，多个从节点1. NameNode（名称节点 / 主节点）-----HDFS集群的管理者2. DataNode （数据节点 / 从节点）3. SecondaryNameNode （第二名称节点）三、HDFS传输文件方式四、HDFS常用命令五、如何实现启动HDFS和yarn的时候不输入密码一、HDFS概述Hadoop 分布式文件系统，用于存储文件，与Windows不同的是他是一个分布.
2021-07-26 11:06:47
292
原创 CentOS的crond系统定时服务
crond 服务管理[root@node01 ~]# service crond start （启动服务）[root@node01 ~]# service crond stop （关闭服务）[root@node01 ~]# service crond restart （重启服务）[root@node01 ~]# service crond reload （重新载入配置）查看 crontab 服务状态：[r...
2021-07-24 19:04:25
129
原创 CentOS时间日期类语法
目录一、date时间日期类1. date显示当前时间2. date 显示非当前时间3. date 设置系统时间二、cal 查看日历一、date时间日期类date [OPTION]... [+FORMAT]1. date显示当前时间基本语法 date 显示系统当前时间 date +%Y 显示当前年份 date +%m 显示当前月份 ...
2021-07-24 19:00:16
375
原创 CentOS后台服务管理类
目录一、service 后台服务管理（临时，只对当前有效）二、chkconfig 设置后台服务的自启配置（永久）三、CentOS7 后添加的命令：systemctl一、service 后台服务管理（临时，只对当前有效）基本语法service 服务名 status/stop/start/restartNotes：常见服务：firewalld：防火墙network：网卡案例service network status 查看指定服务的状态service ne...
2021-07-24 18:47:59
263
原创 CentOS帮助类语法
目录一、man获取帮助信息二、help获得shell内置命令的帮助信息三、history查看所有命令历史补充：Linux常用快捷键一、man获取帮助信息基本语法：man [命令或配置文件] 获得帮助信息显示说明： NAME 命令的名称和单行描述 SYNOPSIS 怎样使用命令 DESCRIPTION 命令功能的深入讨论 EXAMPLES..
2021-07-24 18:34:34
102
原创 CentOS文件目录类语法
目录一、目录查看切换类1. pwd 显示当前工作目录的绝对路径2. ls 列出目录的内容二、文件与目录创建删除类1. mkdir 创建一个新目录2. touch 创建空文件3. rmdir 删除一个空的目录4. rm 移除文件或目录三、文件权限类 1. 文件属性2. chmod 改变权限四、文件复制移动类1. cp 本机复制文件或目录2. mv 移动文件与目录或重命名3. scp 实现文件远程复制五、文件查看与数据追加相关命令...
2021-07-24 18:09:23
167
原创 5.1 剑指 Offer 03. 数组中重复的数字
类型题：剑指 Offer 03. 数组中重复的数字找出数组中重复的数字。在一个长度为 n 的数组 nums 里的所有数字都在 0～n-1 的范围内。数组中某些数字是重复的，但不知道有几个数字重复了，也不知道每个数字重复了几次。请找出数组中任意一个重复的数字。这个题的思路参考 5 找重复数 可以有两种解题思路：思路1：HashSet --------- 4 ms / 48.3 MBclass Solution { public int findRepeatNumber(int[] n...
2021-07-24 17:30:07
59
原创 5 找重复数
给定一个整数数组，判断是否存在重复元素。如果存在一值在数组中出现至少两次，函数返回 true 。如果数组中每个元素都不相同，则返回 false 思路1：使用快速排序将数组排序，然后遍历看相邻元素是否相等 ----- 提交超时了！！！！！！class Solution { public void quickSort(int a[], int left, int right) { if(left > right) { return;
2021-07-24 17:14:13
98
原创 CentOS7 配置网络和主机映射
目录虚拟机网络的三种配置方式配置虚拟机IP主机映射问题配置虚拟机的主机名虚拟机远程登录虚拟机网络的三种配置方式桥接模式：当前虚拟机与主机在同一个局域网下，同一个局域网下的所有电脑都可以访问这台虚拟机。如果局域网可以联网，那么虚拟机也可以联网。 NAT模式：把我们主机的 IP 当做公网 IP ，虚拟机只能和宿主机互相访问，并且如果宿主机有望，虚拟机也能联网。 仅主机模式：虚拟机不能联网，并且虚拟机和宿主机之间不能互相访问。配置虚拟机IP1. CentOS7 ...
2021-07-20 19:10:12
1660
转载 神奇的动态规划
什么是动态规划？转自：https://www.cnblogs.com/cthon/p/9251909.html图文有点长，慢慢看————————————题目：有一座高度是10级台阶的楼梯，从下往上走，每跨一步只能向上1级或者2级台阶。要求用程序来求出一共有多少种走法。比如，每次走1级台阶，一共走10步，这是其中一种走法。我们可以简写成 1,1,1,1,1,1,1,1,1,1。再比如，每次走2级台阶，一共走5步，这是另一种走法。我们可以简写成 2
2021-07-17 17:47:42
460
1
原创 剑指Offer53-在排序数组中查找数字
统计一个数字在排序数组中出现的次数。示例 1:输入: nums = [5,7,7,8,8,10], target = 8输出: 2示例2:输入: nums = [5,7,7,8,8,10], target = 6输出: 0限制：0 <= 数组长度 <= 50000排序数组中的搜索问题，首先想到二分法解决。使用遍历数组再 count++ 的话，时间复杂度是 O(n)但是使用二分法，使时间复杂度降低到 O(log n)自己第一...
2021-07-16 14:57:16
66
转载 3. 有效的括号
解题思路：算法原理栈先入后出特点恰好与本题括号排序特点一致，即若遇到左括号入栈，遇到右括号时将对应栈顶左括号出栈，则遍历完所有括号后 stack 仍然为空；建立哈希表 dic 构建左右括号对应关系：keykey 左括号，valuevalue 右括号；这样查询 22 个括号是否对应只需 O(1)O(1) 时间复杂度；建立栈 stack，遍历字符串 s 并按照算法流程一一判断。算法流程如果 c 是左括号，则入栈 pushpush；否则通过哈希表判断括号对应关系，若 stack 栈顶出栈括号 st
2021-07-14 16:39:24
1425
原创 2. 最长公共前缀
编写一个函数来查找字符串数组中的最长公共前缀。如果不存在公共前缀，返回空字符串""。（原题）示例 1：输入：strs = ["flower","flow","flight"]输出："fl"示例 2：输入：strs = ["dog","racecar","car"]输出：""解释：输入不存在公共前缀。提示：0 <= strs.length <= 200 0 <= strs[i].length <= 200 strs[i]仅由小写英文字母组成..
2021-07-14 10:48:12
79
原创 1. 两数之和
给定一个整数数组 nums和一个整数目标值 target，请你在该数组中找出 和为目标值 target 的那两个整数，并返回它们的数组下标。你可以假设每种输入只会对应一个答案。但是，数组中同一个元素在答案里不能重复出现。（原题）示例 1：输入：nums = [2,7,11,15], target = 9输出：[0,1]解释：因为 nums[0] + nums[1] == 9 ，返回 [0, 1] 。示例 2：输入：nums = [3,2,4], target = 6...
2021-07-13 16:08:35
62
原创 Linux无法下载GCC
Linux：ping百度ping不通因为作业需要今天使用Linux下载GCC编译器，却发生了不可预知的错误：Errors during downloading metadata for repository 'AppStream': - Curl error (28): Timeout was reached for http://mirrorlist.centos.org/?release=8&arch=x86_64&repo=AppStream&infra=stock [
2021-07-13 16:02:36
2089
原创 货仓选址问题——Python
题目描述在一条数轴上有 N 家商店，它们的坐标分别为 A1~AN。现在需要在数轴上建立一家货仓，每天清晨，从货仓到每家商店都要运送一车商品。为了提高效率，求把货仓建在何处，可以使得货仓到每家商店的距离之和最小。输入格式第一行输入整数N。第二行N个整数A1~AN。输出格式输出一个整数，表示距离之和的最小值。数据范围1≤N≤100000,0≤Ai≤40000输入样例46 2 9 1输出样例12题目分析这是一道非常基础的算法题，要求一个货仓到
2021-07-12 17:15:19
1785
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人