- 博客(69)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 openpose环境搭建（全教程）
目录一、Ubuntu的安装制作启动盘装机二、安装nvidia显卡驱动第一步 获取显卡型号第二步 去NVDIA driver search page查看支持 GTX1080ti 显卡的驱动的最新版本的版本号第三步 查询支持GTX1080ti显卡的显卡驱动的其他驱动版本第四步 安装三、安装cuda+cudnn第一步 安装nvida驱动第二步 安装cuda8....
2018-08-08 19:38:50
59518
27
原创 Map输入切片和记录的过程
MapReduce在执行map()函数之前，还做了大量的工作，例如数据的切片，将切片生成键值对传给map()函数等等，在执行map()之前做了很多的事情，今天就记录一下输入数据的切片和记录。（tips：由于也是刚刚学，看了权威指南，分享一下心得，有什么问题希望大家指正） 1、简单介绍一下切片，记录以及map()方法之间的联系 一个输入的切片（split）就是一个...
2018-06-14 22:11:57
885
转载 MapReduce中shuffle和排序(转)
我觉得这篇博客写的很好，hadoop权威指南没有讲清楚的、没看懂的这个上面都讲的很详细，收藏一下！点击打开原文MapReduce简介在Hadoop MapReduce中，框架会确保reduce收到的输入数据是根据key排序过的。数据从Mapper输出到Reducer接收，是一个很复杂的过程，框架处理了所有问题，并提供了很多配置项及扩展点。一个MapReduce的大致数据流如下图：...
2018-06-12 19:19:51
2381
原创 hbase完全分布式环境搭建
1、环境准备linux系统：centos6.6java环境： jdk1.8.0_144hadoop环境：hadoop-2.4.1zookeeper环境:zookeeper-3.4.6如果有环境准备问题，请参考下面文章linux环境：点击打开链接hadoop搭建：点击打开链接zookeeper搭建：点击打开链接2、上传hbase安装包3、解压tar -zx...
2017-10-31 19:41:55
2988
原创 windows可以ping通linux虚拟机的ip，但是ping不通主机名称
linux虚拟机能ping通windows主机，windows主机ping不通linux虚拟机的解决办法
2017-10-30 15:22:10
5499
原创 clickhouse使用pagehelper进行分页
目录现象数据库方言helperDialect是如何指定数据库方言的？clickhouse使用pageHelper现象当我们使用pageHelper对MySQL或者oracle进行分页的时候，它能自动的帮我们实现分页，但是当使用pageHelper对clickHouse进行分页的时候，就会报错：org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.exceptions.Pe
2021-01-23 16:09:10
6944
4
转载 Hive常用开窗函数总结(常见面试题)
本文链接：https://www.cnblogs.com/liuwchao/articles/11535282.html背景：平常我们使用 hive或者 mysql时，一般聚合函数用的比较多。但对于某些偏分析的需求，group by可能很费力，子查询很多，这个时候就需要使用窗口分析函数了~注：hive、oracle提供开窗函数，mysql8之前版本不提供，但Oracle发布的MySQL 8.0版本支持窗口函数（over）和公用表表达式（with）这两个重要的功能！版本：Hive 1.1.0 ..
2020-08-24 19:28:06
1578
原创 Mysql 更新&查询数据流程（原理）
学习了丁奇的mysql后，自己做一些总结，主要是包含以下几个方面：一、更新数据流程二、innodb中binlog、redolog持久化流程三、脏数据页flush到磁盘流程四、查询数据流程
2020-08-13 22:50:35
732
原创 万恶之源-链表反转
//链表反转 public ListNode reverseList(ListNode head){ ListNode pre = null; ListNode next = null; while (head != null) { next = head.next; head.next = pre; pre = head; head = next; ..
2020-06-27 15:58:25
142
原创 53. 最大子序和
点我进入原题给定一个整数数组nums，找到一个具有最大和的连续子数组（子数组最少包含一个元素），返回其最大和。示例:输入: [-2,1,-3,4,-1,2,1,-5,4],输出: 6解释:连续子数组[4,-1,2,1] 的和最大，为6。解法一：暴力破解class Solution { public int maxSubArray(int[] nums)...
2020-05-03 22:11:51
125
原创 70. 爬楼梯
假设你正在爬楼梯。需要n阶你才能到达楼顶。每次你可以爬 1 或 2 个台阶。你有多少种不同的方法可以爬到楼顶呢？注意：给定n是一个正整数。示例 1：输入： 2输出： 2解释： 有两种方法可以爬到楼顶。1. 1 阶 + 1 阶2. 2 阶示例 2：输入： 3输出： 3解释： 有三种方法可以爬到楼顶。1. 1 阶 + 1 阶 + 1 阶2. ...
2020-04-26 23:21:40
134
原创 96. 不同的二叉搜索树
给定一个整数n，求以1 ...n为节点组成的二叉搜索树有多少种？示例:输入: 3输出: 5解释:给定 n = 3, 一共有 5 种不同结构的二叉搜索树: 1 3 3 2 1 \ / / / \ \ 3 2 1 1 3 2 ...
2020-04-26 22:53:10
142
原创 先序序列和中序序列构造二叉树
1、题目描述：求先序序列(ABCDEFGHI)和中序序列(BCAEDGHFI)所确定的一个二叉树解题思路：首先，由先序序列可知A为二叉树的根节点。中序序列中A之前的BC为左子树的中序序列，EDGHFI为右子树的中序序列。然后由先序序列可知B是左子树的根节点，D是右子树的根节点。依次列退，就能将剩下的节点全部分解下去，最后得到二叉树如图(c)public class 由遍历序列构...
2020-04-19 16:27:07
2291
原创 mysql行转列列转行在线求助！！！！！！！！！！
mysql 行转列、列转行求助！！！！！现在需求是将表t1转化为表t2，要求仅查询一次t1表。 附1是表ddl语句，附2是使用union all写的SQL，由于多次查询表t1，所以当t1中指标很多（例如h_score、w_score、x_score....）的情况下不适用,寻求最优解。表t1如图所示： ...
2020-04-13 20:37:33
294
原创 Calendar获取当前季度、月、周的开始时间结束时间
java在很多场合下会根据当前时间计算本季度的开始时间结束时间、当前月份的开始时间结束时间、当前周的开始时间以及结束时间。我这里整理下一个时间加工类，作为工具类记录下。一、获取计算相关时间的方法如下：(如果有错误请指出，感谢！)public class TimeUtils { /** * 初始化时间盒子 * @return timeBox */ ...
2020-02-03 16:29:02
3976
1
原创 如何快速入手公司的项目
今天是2019年10月21日，距离正式入职有了3个月又21天。针对自己入职以来的心得体会，在这儿总结下。网上很多有什么该说的就说不该说的就不说这样杂七杂八的我就不扯了，主要是针对如何快速上手公司的项目并且很轻松的将这个项目拿下来展开。我目前主要负责一个业务的数据报表平台以及几个实时流离线流等，然后数据报表平台涉及到很多的表众多的字段，实时流以及离线计算涉及到众多的上游各个模块打印的日志。所...
2019-10-21 23:22:24
479
2
原创 mysql查询优化实战一（合理使用索引）
背景：手动制造了一张百万级别的表，根据时间筛选做个sum统计。由于不合理的索引设计，导致之前查询时间为9s，经过索引优化后只需100ms，下面就是见证奇迹的时刻！这次优化的是一张report表，表里面有百万数据量。1、查看表结构：mysql> desc report;+---------------+----------------------+------+-----+--...
2019-09-14 13:50:31
241
原创 mysql索引新手入门详解以及优化实战
前言： 最近遇到百万级以及千万级别的mysql表做查询，查询的效率很低，相应一般都在2s左右更有甚者在8s以上，这样用户体验太差了，我就开始琢磨这去从索引下手。然后找了一些资料，我觉得对刚开始入门索引优化的老铁来说还是有一定的帮助的。 尽量保持文章持续更新，对查询优化有收获的部分也和大家一起分享！如果是新手入门的话，请查看这两篇文章，讲的很好！1、首先推荐大家...
2019-09-14 13:25:13
263
原创 安装pandas的时候报错：cannot uninstall 'numpy'. It is a distutils installed project and thus we ...
背景：使用pip安装Python的依赖库pandas的时候报错，错误提示类似如下所示：Cannot uninstall 'numpy'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a...
2019-09-07 10:28:15
2853
3
转载 hive行转列以及列转行（面试必问）
点我进入原文1.行转列1.1 问题引入：如何将a b 1,2,3c d 4,5,6变为：a b 1a b 2a b 3c d 4c d 5c d 61.2...
2019-08-17 14:30:46
336
原创 初入职场的自己
To 初入职场的自己： 在此，再次提醒自己需要做到的： 1 摆正心态，学会忍耐 可能工作内容会和预想的差距太大，可能上面下达的任务过于繁重，可能和同事和领导有不愉快的沟通与合作等等。请你一定要冷静，一定要忍耐，职场如战场，苦是你该吃的，咬着牙也要坚持。同时，多角度、换位思考，是不是沟通不到位，有没有更好的解决办法？ 2 杜绝抱怨，做一个正能量的人 少说...
2019-07-14 12:50:27
226
4
转载 Cannot create encoder for Option of Product type, because Product type is represented as a row
点我查看原文使用sparksql会遇到下面错误：Cannot create encoder for Option of Product type, because Product type is represented as a row, and the entire row can not be null in Spark SQL like normal databases. You ...
2019-02-28 11:32:14
712
原创 scala高阶函数练习题
/** 练习题目1 * 编写函数values(fun:(Int)=>Int,low:Int,hight:Int) * * 该函数输出一个集合，对应给定区间内给定的给定函数的输入和输出，R比如values(x=>x*x,-5,5) * 应该产出一个对偶集合（-5，25），（-4，16），（-3，9）...（5，25） * */ def values(fu...
2019-01-30 16:24:13
1235
1
原创 scala 主构造函数和辅助构造函数
package scala.day01import scala.beans.BeanProperty/** * 注意：@BeanProperty会生成四个方法 * name:String * name_ = (new Value:String):Unit * getName():String * setName(new Value:String):Unit * ...
2019-01-30 16:05:25
1297
转载 storm定时任务使用实例
作者：剪刀手麦小孩 来源：CSDN 原文：https://blog.csdn.net/maixiaohai/article/details/51685581版权声明：本文为博主原创文章，转载请附上博文链接！--------------------- 1.背景需要在bolt中定时执行某些操作2.方法都是利用系统自带的定时tuple来完成，相当于系统自动发一个带有特殊标记的...
2019-01-17 19:44:24
201
原创 maven项目dependences全是红色波浪线
首先交代一下背景环境OS--macosidea--2018.3jdk--1.8maven--3.6起因clone一个项目，所有的dependences都是红线！！！编译不通过！！！（如下图）开始以为是代码冲突，但是别人的却不冲突，排除！怀疑是环境问题。然后，删除maven、删除idea....这个玩意整了我一整天经过1、将所有pom.xml中<...
2019-01-14 22:21:46
5759
3
转载 DSP、SSP、RTB的理解--计算广告
作者：炸乌鸦面链接：https://www.zhihu.com/question/23458646/answer/130631448来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。进入了广告的行业，开始了解业务，计算广告看的一头雾水，这个写的很通俗，收藏一下！ 比如我是一个创业公司，没啥钱，老板给了1000块钱预算，让我去投互联网广告，对我说：“...
2019-01-02 15:25:44
1031
原创 网易杭研大数据面试题
一面：hdfs读写过程MR原理讲项目 balabala...差不多40几分钟吧二面：讲项目，项目一个点一个点的问。主要讲的是PV、UV的统计、其中设计到rowkey冲突怎么处理。接着讲项目balabala差不多40多分钟吧HR面（一个男面试官）:自我介绍！然后问项目（当时怀疑他是不是做技术的）balabala接着为什么选择网易？你还投了哪些公司？...
2018-11-21 21:33:09
269
原创 一点资讯大数据面试题
本人错过了秋招，到了十一月，疯狂的投补招。。。。好多公司简历都挂了十一月九日电话面试，十一月十二日北京现场面试。电话一面：1、自我介绍hdfs架构、原理2、MR原理3、执行MR的过程中，使用了哪些函数？4、shuffer版本迭代的过程中更新了什么？5、kafka原理，从生产者生产产品到消费者消费过程是怎样的？5、flume框架的原理，soure有哪些？sink有哪些？6、h...
2018-11-21 20:50:54
4471
12
原创 剑指Offer之对称二叉树
题目描述请实现一个函数，用来判断一颗二叉树是不是对称的。注意，如果一个二叉树同此二叉树的镜像是同样的，定义其为对称的。例如图4.3中，第一二棵树是对称的，第三棵不是对称的。解题思路：1、可以构造出这个树的镜像，然后遍历这个树的镜像和这原来这颗树，如果是一样的话，说明是对称二叉树。2、使用第二种方案：通过观察可知道，如果二叉树对称，则根左右遍历的结果和根右左遍历的结果是一样的，可以画...
2018-11-06 23:55:36
123
原创 剑指Offer之二叉树的镜像
题目描述操作给定的二叉树，将其变换为源二叉树的镜像。输入描述:二叉树的镜像定义：源二叉树 8 / \ 6 10 / \ / \ 5 7 9 11 镜像二叉树 8 / \ 10 6 / \ / \ 11 9 7 5...
2018-11-06 22:12:15
112
原创 剑指Offer之二叉树的镜像
题目描述操作给定的二叉树，将其变换为源二叉树的镜像。输入描述:二叉树的镜像定义：源二叉树 8 / \ 6 10 / \ / \ 5 7 9 11 镜像二叉树 8 / \ 10 6 / \ / \ 11 9 7 5...
2018-11-06 22:04:46
111
原创 剑指Offer之调整数组顺序使奇数位于偶数前面
题目描述输入一个整数数组，实现一个函数来调整该数组中数字的顺序，使得所有的奇数位于数组的前半部分，所有的偶数位于数组的后半部分，并保证奇数和奇数，偶数和偶数之间的相对位置不变。解题思路： 第一种：首先，说一种时间复杂度为O(n),但是空间复杂度较高的。但是这种代码，肯定不会是面试官喜欢的。我们申请另外两个数组，每次输入数据时，直接比对是奇数还是偶数，顺序存放在两个数组中，并...
2018-11-06 14:30:23
148
原创 ubuntu16.04下的apt-get内网光盘源（CD/DVD）的搭建以及局域网服务器源的搭建
目录ubuntu16.04下的apt-get内网CD源的搭建ubuntu16.04下的apt-get内网CD源的使用（虚拟机）一、光驱的挂载二、使用CD/DVD源三、使用完了，解除挂载ubuntu16.04下的apt-get内网使用apache2服务器作为局域网的源（基于平时apt-get install安装软件下载的deb文件）ubuntu16.04下的apt-get...
2018-11-06 12:00:17
3164
原创 Ucloud大数据面试题（二面凉凉）
ucloud一面：0、问项目1、java如何查看内存溢出（jvm\jps\jconsole\jmap等工具），程序出现故障了怎么查看哪儿出现了错误2、linux下，调用shell脚本后，如何判断脚本是否正常启动。 使用netstat查看3、线程和进程的区别4、说一下二叉排序树的定义5、说一三种及以上的排序。。。快速排序的时间复杂度是多少。。。emmm6、tcp三次握手连接7、d...
2018-10-31 14:16:02
1561
3
原创 基于人工智能的视频运动比对分析教学平台
留一个纪念，有时间把这个项目结构画一下hhh！由此进->第七届软件杯题目：基于人工智能的视频运动比对分析教学平台由此进->演示视频
2018-09-09 23:29:46
1083
原创 Ubuntu下搭建Nginx服务器+集成RTMP视频直播流处理（边做边做更新）
简介：要求：做一个网页获取摄像头的视频流，然后将视频流经过流服务器推送到后台视频处理服务器，再由后台视频处理服务器推送到流服务器，最终推送到页面。如图：经过查阅资料，目前有red5以及nginx+nginx-rtmp-module实现，选择第二种方式来实现。准备工作：第一步：准备一个ubuntu的系统。本人使用的是ubuntu16.0.4的系统。第二步：下载nginx以及相...
2018-09-09 23:22:30
1384
1
原创 storm整合kafka过程中解决log4j冲突问题（Could not initialize class org.apache.log4j.Log4jLoggerFactory）
1、在storm整合kafka后，运行storm程序，报错如下：12:47:09.110 [Thread-26-kafkaspout-executor[3 4]] ERROR org.apache.storm.util - Async loop died!java.lang.NoClassDefFoundError: Could not initialize class org.apach...
2018-08-08 12:53:59
1924
原创 返回进程线程信息工具类
说明：用于集群的不同的机器，将console打印到一个机器上去。返回主机名+当前进程id+线程信息+对象信息package cn.hbmy.stormwordcountdemo.utils;import java.io.OutputStream;import java.lang.management.ManagementFactory;import java.net.Inet...
2018-08-07 20:54:56
126
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人