自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

BigData私房菜

学习 分享 进步

  • 博客(43)
  • 收藏
  • 关注

原创 IDEA 打包source.jar到本地仓库的方法

工作中遇到需要给项目打source.jar到本地仓库便于另一个项目阅读,记录下实现方法添加maven-source插件<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-source-plugin</artifactId&g.

2021-11-03 16:08:53 1426 1

原创 以太坊错误记录

npm ERR! Command failed: git clone --mirror -q https://github.com/frozeman/bignumber.js-nolookahead.git /root/.npm/_cacache/tmp/git-clone-009e0edd/.gitnpm ERR! warning: 模版未找到 /tmp/pacote-git-templat...

2021-10-15 10:58:47 1109

原创 HDFS架构(官方文档翻译)

相似介绍了hdfs的架构设计和相关特性,适合初学者。

2021-10-15 10:45:16 639

翻译 Kerberos协议内容详解

这篇帮助文档是由 Fulvio Ricciardi所写。原文地址https://kerberos.org/software/tutorial.html,目前翻译只校对了1-4章文章目录1 介绍2 目标3 对象和术语的解释3.1 Realm3.2 Principal3.3 Ticket3.4 加密 Encryption3.4.1 加密类型 Encryption type3.4.2 加密密钥 Encryption key3.4.3 Salt3.4.4 密钥版本号 Key Version Number (kv

2021-09-08 19:06:45 1037

原创 以太坊从重新部署合约到把生产相关文件引入web3j到解析input data

重新在Remix上测试合约成功后,将dapp目录下的contracts下对应的sol文件替换(以webpack生成的包为例子); 一般我会选择删除测试私链的数据,然后重新初始化、启动geth、新建账户、挖矿等; rm -rf data/* nohup.out output.loggeth --datadir data/ init genesis.jsonnohup geth --data...

2020-04-18 11:16:07 1758

原创 用数组和链表实现泛型的栈和队列

注意的点:1.如何实现iterator:主类继承Iterable接口,嵌套类继承Iterator接口,主类提供iterator()方法获取嵌套类的迭代器对象,嵌套类要重写hasnext();next();remove;三个方法。代码中栈实现了Iterable接口。2.背包的实现只需要add方法,没有移除操作,比较简单, 因此不再实现3.对列的resize的实现,数组中的游离元素代码...

2020-01-11 22:32:29 275

原创 旋转数组的最小数字

题目描述把一个数组最开始的若干个元素搬到数组的末尾,我们称之为数组的旋转。输入一个非递减排序的数组的一个旋转,输出旋转数组的最小元素。例如数组{3,4,5,1,2}为{1,2,3,4,5}的一个旋转,该数组的最小值为1。NOTE:给出的所有元素都大于0,若数组大小为0,请返回0。思路我的初始想法:从头开始遍历元素,相邻两个元素应该是递增顺序,如果遇到第一个不递增的,则这个数即为最...

2019-12-12 16:41:58 113

原创 斐波那契数列

题目描述大家都知道斐波那契数列,现在要求输入一个整数n,请你输出斐波那契数列的第n项(从0开始,第0项为0)。n<=39 比如1、1、2、3、5、8、13、21、34分析首先想到递归的方法,根据公式F(n)=F(n-2)+F(n-1);(n>=3) 这种情况下 时间复杂度为O(2^n),空间复杂度O(1).代码public class Solution {...

2019-12-05 10:44:55 161

原创 用两个栈实现队列

题目描述用两个栈来实现一个队列,完成队列的Push和Pop操作。 队列中的元素为int类型。知识点栈和队列(先进后出和先进先出)分析边界条件:由于输入int型,无边界条件自己的思路push操作:若栈2为空,则直接往里push。若不为空,则先把栈2的元素依次出栈到栈1中,把新元素push到栈2,再把栈1的元素依次出栈到栈2中。通过这样的方式,保证每次入栈后新入栈的数据都是...

2019-12-04 15:28:11 143

原创 二叉树的下一个节点

题目描述给定一个二叉树和其中的一个结点,请找出中序遍历顺序的下一个结点并且返回。注意,树中的结点不仅包含左右子结点,同时包含指向父结点的指针。分析接着前一天的分析工作做的,参考了书籍的分析。今天的分析过程:使用一个番茄钟分析得出:根据中序遍历的特点,左子树-根节点-右子树。既然已经输出了根节点(即给定的节点),则下一步的输出存在两种情况:有无右子树。无右子树根据中序遍历的...

2019-12-04 11:18:54 92

原创 MySQL按时间周期聚合数据(任意天数)

查询需求: 查询仅位于A区域以外地区的温度传感器自2010年来的采样值的数量count(*)、平均温度avg(degree)、最高温度max(degree)和最低温度min(degree),将采集结果按照10天为周期进行聚合,并将结果按所处地域(location)和传感器类型(type)再次进行聚合。SELECT staLocation,staType,ROUND(DATED...

2019-11-27 12:55:58 2492

原创 重建二叉树

题目描述输入某二叉树的前序遍历和中序遍历的结果,请重建出该二叉树。假设输入的前序遍历和中序遍历的结果中都不含重复的数字。例如输入前序遍历序列{1,2,4,7,3,5,6,8}和中序遍历序列{4,7,2,1,5,3,8,6},则重建二叉树并返回。我的思路:二叉树的遍历方式可以看这https://blog.csdn.net/wjwfighting/article/details/81670...

2019-11-24 20:24:13 103

原创 从尾到头打印链表

题目描述输入一个链表,按链表从尾到头的顺序返回一个ArrayList。我的思路 遍历列表,依次存入一个ArrayList中,然后再从后往前将其存入另一个ArrayList中复杂度: 这样的方法时间复杂度O(n),空间复杂度O(n);/*** public class ListNode {* int val;//该节点存...

2019-11-22 11:53:29 84

原创 替换空格

题目描述请实现一个函数,将一个字符串中的每个空格替换成“%20”。例如,当字符串为We Are Happy.则经过替换之后的字符串为We%20Are%20Happy。我的思路:调用系统函数,StringBuilder.replace("","%20")。但这样肯定不行的,不能这样做。剑指Offer提供的解法:要和面试官沟通是否在原来的字符串上进行替换。如果不在的话,就新建,然后复制...

2019-11-22 09:36:47 162

原创 判断数组中是否存在重复数字

题目描述 在一个长度为n的数组里的所有数字都在0到n-1的范围内。 数组中某些数字是重复的,但不知道有几个数字是重复的。也不知道每个数字重复几次。请找出数组中任意一个重复的数字。 例如,如果输入长度为7的数组{2,3,1,0,2,5,3},那么对应的输出是第一个重复的数字2。我的解题思路: 暴力穷举法,依次对比每个数,有重复就return。边界条件: ...

2019-11-21 10:17:03 5768 1

原创 查找一个数是否在二维数组中

题目描述在一个二维数组中(每个一维数组的长度相同),每一行都按照从左到右递增的顺序排序,每一列都按照从上到下递增的顺序排序。请完成一个函数,输入这样的一个二维数组和一个整数,判断数组中是否含有该整数。我的解题思路: 分析发现,左上角和右下角的数分别对应着数组的最小值和最大值。二维数组中对角线的元素分别对应着行列两种情况。通过分别判断这个数是否落在该元素对应的行或列中(行列的...

2019-11-20 10:40:48 1477

原创 IDEA构建Spring In Action/Spring 实战 第5章 web项目

刚开始用idea构建spring mvc项目,代码没问题都是跟着书敲,但是配置真的是一言难尽,网上有些教程,但idea的比较少,对我这种菜鸟不友好,在自己遇到很多坑后,终于解决了,记录下。。首先电脑上要装有tomcat来发布web项目,版本在7以上,为了兼容servelet3.0从新建项目开始:自己选择项目路径,等待下载库接着按照书上的代码将各个类建好,我的目录结构是这样的...

2019-09-25 12:26:32 562

原创 spark集群错误解决

Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.client.Result尝试把habse/lib下的hbase-client的jar包拷贝到spark的jar文件夹下,错误解决,但是又换了一个,看来确实是spark找不到对应hbase的jar包的问题...

2019-07-16 09:33:11 312

原创 hadoop datanode下线错误记录

昨天往HBase传数据,今早发现hadoop的有一个节点挂掉了,查看其log文件发现多数报错是这样的:ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: spark3:50010:DataXceiver error processing WRITE_BLOCK operation src: /192.168.123.78:58872...

2019-07-16 09:32:40 835

原创 外网主机访问内网(宿主机的虚拟机)方法总结

桥接模式桥接模式相当于把虚拟机接出到和宿主机同样的路由器下,即在一个局域网内,这种情况下,其它电脑可以直接ssh虚拟机的ip即可远程访问(关闭防火墙)NAT模式桥接模式会存在占用其它ip的缺陷,比如我再实验室就会存在ip冲突导致集群有时候会莫名其妙挂掉。因此使用NAT模式是很好的选择,NAT模式下的原理如下图所示:虚拟机集群此时相当于在内网中,因此当外网想要访问宿主机里的虚拟机时,...

2019-07-08 22:37:06 13884 1

原创 arcmap影像变色问题记录

之前用GDAL做了遥感影像的切片,但是在ArcMap中显示的时候会变色,刚开始以为是保存的影像的位数问题,即影像是UInt16,然后java中没有UInt类型。最后发现是因为arcmap应该会对输入的影像进行拉伸处理,也就是说在拉伸时,由于切片小,并且切片周围有些黑色的黑边,因此对整幅图进行拉伸时就会造成色彩的改变。之后师兄提醒了下,于是首先用matlab查看了下切片的像素值,以及原图在这个地...

2019-06-29 19:19:27 3505

原创 python读取中文路径下的中文txt文件

今天考试的时候读取中文路径下的txt文件出错,解决办法如下:ufile = unicode("C:\Users\Administrator\Desktop\考试\题四\宗地坐标.txt","utf8")fik = "D:\zongdi.shp"ufile = unicode(fik,"utf8")打开文件的时候加入utf-8会提示错误,需要整数删去可以运行之后由于这个tx...

2019-04-30 13:37:20 2056

原创 记录下虚拟机桥接模式改Nat模式

首先打开设置子网ip,这个子网ip配置好后虚拟机的ip必须和它在一个网段才能使用。注意:每个虚拟机都必须从交接改为NAT模式虚拟机修改eth0的IP地址后,通过service network restart发现还是不能ping主机,需要重启网卡,方法如下:https://www.cnblogs.com/hell8088/p/vmware.html这样改了以后发现集群不能...

2019-04-29 15:23:35 1439

原创 计算NDWI错误记录

需要HBaseContext类找了很久没找到,最后引入jar包,把spark版本改为1.6.0解决问题。http://maven.wso2.org/nexus/content/repositories/Apache/org/apache/hbase/hbase-spark/2.0.0-SNAPSHOT/gdal读取波段顺序的错误:之前没注意波段顺序,读取GF1时,gdal读取的1-4波...

2019-04-28 19:02:06 872

原创 移动虚拟机到其他电脑

桥接模式下需要重新更改虚拟机的ip和网关信息,在/etc/sysconfig/ifcfg-eth0中修改,如果有多台虚拟机构成集群的话还要修改/etc/hosts虚拟机ping不通主机,但是主机可以ping通虚拟机https://blog.csdn.net/hskw444273663/article/details/81301470装了win10之后本来风扇会停顿一会在响,一直是这样,...

2019-04-28 10:53:36 1109

原创 hdfs格式化

当集群突然关闭,造成datanode无法启动,一个比较便捷的方法就是直接格式化hdffs,前提是里面的数据都可以删除每个节点进入保存数据的文件夹,可以再配置文件中查看,namenode该目录下有name文件夹,datanode下有data文件夹,每个节点都要删除,删除后再在namenode下载执行 hdfs namenode -format hadoop namenode -format;曾...

2019-04-26 19:56:33 2182

原创 GDAL大小端错误记录

把数据写入hbase由于使用到了工具GDAL,GDAL底层是使用C/C++写的,因此当我使用Java方法来把byte[]数组转换时和真实的结果差了很多,这也是由于大小端字节序的问题。Java默认是大端,而C/C++是小端,因此直接用gdal读取的byte[]数组转short[]是不对的,还好师兄提醒了下,记录下这个长见识的问题。附一个比较详细的博客地址:https://blog.csdn.ne...

2019-04-26 16:31:39 219

原创 HBase Spark错误记录

遇到的错误记录1. Detected both log4j-over-slf4j.jar AND slf4j-log4j12.jar on the class path, preempting StackOverflow这个错误一直解决不了,pom文件里添加apach的依赖和阿里的云hbase依赖都解决不了,以exclude的形式将其排除也不行,后来找到jdk的路径,之前添加了排除s...

2019-04-24 15:43:07 735

原创 HBase错误记录

ERROR [main] regionserver.HRegionServerCommandLine: Region server exiting java.lang.RuntimeException: HRegionServer Aborted可能是时间不同步,解决方法:http://www.cnblogs.com/zlslch/p/6737835.htmlntpdate pool.n...

2019-04-22 21:29:53 276

原创 idea导入eclipse项目后依赖没有更新

Ctrl+Shift+A 找reimpot 回车即ok

2019-04-21 16:45:35 836 1

原创 群起zookeeper集群、hadoop集群、spark集群、kylin集群

搭建好kylin的环境后,需要解决的问题就是集群的群起,如果依次到各个节点输入命令,估计得累死。。所以使用shell脚本的方式来启动和关闭集群。启动zookeeper集群和hadoop集群#!/bin/bashecho "================ 正在启动Zookeeper ==========="echo "==========...

2019-03-27 12:18:27 243

原创 百度地图API爬取网吧

# coding=utf-8import urllibimport jsonimport sysimport randomreload(sys)sys.setdefaultencoding("utf-8")"""02作业要求: 寻找武汉市中学(或小学)周围500米(或其他)内的网吧,要求:提交代码py文件及运行结果文件(txt),txt文件格式如下: 1,XX...

2019-03-26 17:14:45 728

原创 Zookeeper3.4.10 +Hadoop2.7.7+HBase1.2.11+Hive+Spark2.2.3+Kylin2.6.1+hive1.2.2

记录下Kylin的安装过程和遇到的问题:根据Kylin官方文档,安装Kylin需要的环境条件如下:HBase的搭建同时要求了对JDK、Zookeeper、Hadoop的安装,详见上一篇博客,zookeeper的安装如下博客:https://www.jianshu.com/p/5a4d7390bbfd需要注意的是,在之后Kylin的安装中,运行启动命令后报错:说明解析有问题,...

2019-03-25 22:49:48 557

原创 从零开始搭建HBase分布式集群(虚拟机安装zookeerper3.4.10+Hadoop2.6.5+HBase1.2.11)

写在开头:本人从\不懂完全分布式HBase安装到成功搭建集群,基本是一步步跟着这位大佬https://www.jianshu.com/u/f3baddfa95fc其他的一些参考地址:https://www.jianshu.com/p/ad3c712e1d95https://blog.csdn.net/qq_38586378/article/details/81352358本博客主要...

2019-03-02 23:15:40 954

原创 第一篇文献:谈大数据时代的云控制摄影测量 ——张祖勋院士

提出背景:大数据时代的到来,通过无人机等手段获取到的摄影测量影像具有传统航测影像不具备的优势和缺点。优势主要是数据量大,获取到的周期短,时效性高。劣势是规范性弱,缺乏严格的航线规划。且大多为非量测型相机拍摄,相对与量测型相机而言,影像的几何质量不高。由于作为传统的摄影测量方法几何控制数据的外业控制点的获取具有复杂性和低效性。本文作者提取将已有的地理信息产品如:DLG,DOM,DEM,DSM作为几何...

2019-02-20 17:51:12 1352

原创 文献学习 张良培教授 遥感数据融合的进展与前瞻

本文作者给遥感数据融合的定义是:针对同一场景并具有互补信息的多幅遥感数据或其它观测数据,通过对它们的综合处理、分析与决策,获取更高质量数据、更优化特征、更可靠知识的技术和框架系统。数据融合的三个层级:数据级:数据级融合主要是对传感器原始观测数据或经过预处理的数据进行融合,生成新数据,其主要目的就是为了提升数据的质量,如分辨率、对比度、完整度等指标; 特征级:特征级融合首先对不同数据分...

2019-02-20 17:50:56 1062

原创 文献学习: 融合空谱特征和集成超限学习机的高光谱图像分类

学习时间:2018/10/23主要内容:先导内容:Hughes现象:指在高光谱分析中过程中,随着参与运算波段数目的增加,分类精度“先增后降”的现象。与多光谱相比,高光谱图像的一个显著特点就是它的波段数目远远大于多光谱图像,因而可以提供更为丰富的细节信息,可以解决许多在多光谱中不能解决的目标探查和分类问题,但是由于Hughes现象的存在,使得高光谱图像的实际应用受到限制[1]。采用...

2019-02-20 17:50:43 839

原创 DSSD(Deconvolutional Single Shot Detector)

本文作者将当前表现最好的分类器Residual-101和SSD进行了结合,并为SSD+Residual-101添加了额外的降卷积层以引入大尺度的context用于提高目标检测的精度,尤其是小目标。DSSD又叫做deconvolutional single shot detector。虽然这两种贡献容易在高层上表达,但是简单的配置是不会成功的。相反,作者展示谨慎的添加额外的学习转换阶段,具体是一个在...

2019-02-20 17:50:33 615

原创 进程、线程的概念、区别和联系;并发、并行概念、区别和联系

以下概念摘自《疯狂java讲义》和《深入理解计算机系统》:程序和进程(Process):       几乎所有的操作系统都支持同时运行多个任务,一个任务通常就是指一个程序。程序和进程的主要区别:程序是一个静态的指令集合,进程则是正在系统中活动的指令集合。换句话说,运行中的程序就是进程。进程具有三个重要的性质:独立性、动态性、并发性独立性:经常在操作系统中独立存在,拥有独立的资源和私...

2019-02-20 17:49:23 1668 2

原创 融合特征的SSD:对小目标的快速检测 翻译

小目标因为其分辨率和信息的限制,对其进行检测是比较有挑战性的任务。当下很多对小目标的检测方法都是以牺牲精度作为代价的。作者在SSD中进行了多层特征的融合以引入context信息,特征融合的细节上,作者设计了两种模型,分别是:concatenation module 和 element-sum module,这两种模型的不同点在于引入context信息方式的差异。实验结果显示这两种模型的检测精度都超...

2018-10-15 22:28:34 13012

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除