- 博客(38)
- 收藏
- 关注
RSS订阅原创 Cross-Modality 3D Object Detection
Cross-Modality 3D Object Detection•聚焦于图片和点云的融合，认为两者模态可以很好的互补，图片有更多的语义信息，而点云专用于遥感
2021-01-22 12:05:20
546
1
原创 前端iframe子页面与父页面通信问题
一个index.html,一个iframe.html,但是要注意，html文件必须放到服务器下访问，file协议下无法生效的。1.普通需求：只需要子页面获取父页面元素window.parent或者参考window.iframe用法，比较简单2.霸气需求，drag拖动跨ifame（老式的mousedown+mousemove+mouseup模拟的drag事件无法实现）这里借助...
2019-04-24 14:20:04
546
原创 记一次本地eclipse项目在linux的tomcat上部署乱码问题
问题：本地开发了一个大数据查询平台，eclipse调试没有问题，上线在linux上后发现点击中文名称的数据源，日志显示接受乱码解决：因为在eclipse调试没有问题，所以优先考虑tomcat的编码问题修改Tomcat配置：1.server.xml修改一下两处，添加URIEncoding="UTF-8" <Connector port="8085" protoco...
2019-04-23 11:07:23
301
原创 es集群及logstash搭建记录
9300端口是使用tcp客户端连接使用的端口；（es之间通讯的端口）9200端口是通过http协议连接es使用的端口；（外部与es通讯的端口）官方：https://artifacts.elastic.co/downloads/elasticsearch/首先下载安装包，这里不再赘述1.解压进入/data1/elasticsearch/elasticsearch-6.5.1/confi...
2019-03-13 16:42:43
3465
原创 flume监听oracle实现表增量
现有一个需求，需要实时监控oracle用户的操作现在git上有个版本可以利用hibernate进行对数据库的操作，git地址：https://github.com/keedio/flume-ng-sql-source前期准备：（1）需要的jar oracle的 odbc5.jar（oracle安装目录 /jdbc/lib下查找） （2）flume的...
2019-03-13 09:40:50
2989
原创 hive udf函数实现获取指定日期当月最后一天
先记一次事故：功能逻辑在eclipse上执行没问题，上传到hive上死活无法执行该函数代码如下：package hive.udf;import java.text.DateFormat;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Calendar;impo...
2019-03-07 19:06:45
2183
原创 flume+kafka+spark实现实时监控用户操作记录
数据源（生产者）追加以下代码到/etc/profileexport HISTFILESIZE=10000000export HISTSIZE=1000000USER_IP=`who -u am i 2>/dev/null| awk '{print $NF}'|sed -e 's/[()]//g'`export HISTTIMEFORMAT="[%F %T][`whoami`]...
2019-03-05 17:52:20
875
原创 windows环境下python连接hive
pip install pure-saslpip install thrift_sasl==0.2.1 --no-depspip install thrift==0.9.3pip install impylaFAQ:报错1：ThriftParserError: ThriftPy does not support generating module with path in pro...
2019-03-05 14:52:26
2074
1
原创 二叉树遍历小记
写在前面：之前关于二叉树的遍历一直懵懵懂懂，似懂非懂，凑合的理解，后来花了点时间重新啃了遍数据结构，总算是弄懂了。所谓二叉树的遍历，是指按某条搜索路径访问树中的每个结点，使得每个结点均被访问一次，而且仅被访问一次。由二叉树的递归定义可知，遍历一颗二叉树便要决定对根节点N，左子树L和右子树R的访问顺序。按照先遍历左子树再遍历右子树的原则，常见的遍历次序有先序（NLR），中序（LNR）和后序（...
2019-03-04 17:49:37
117
原创 基于airbnb搭建presto的web展示平台
写在开头：Airpal是一款基于web的执行查询工具，它利用了Facebook的PrestoDB来使用户编写查询语句和检索查询结果变的简单。Airpal提供了在web界面中查找表、查看元数据、浏览示例行、编写和编辑查询，然后提交查询的功能。查询运行后，用户可以跟踪查询进度，完成查询后，以CSV格式通过浏览器返回结果(下载或与朋友共享)。查询的结果可用于生成一个新的Hive表，以便进行后续分析，...
2019-02-28 09:06:08
635
原创 grep匹配带空格字符串以及正则使用
首先，man grep可以看到官方使用细则举例：我想匹配"from houban"则grep ''from\ houbank'需要使用 ‘\’ 来转义空格。如果我想匹配"from houbank"或者"from finedb"这两者之一的字符串则用grep -E 'from\ houbank|from\ finedb'后续我还想在结果集中筛选出以houbank_开头的字...
2019-02-27 15:47:29
21679
原创 presto搭建以及和impala，sparksql对比
presto : coordinator + wokerCoordinator:1.用来解析语句，执行计划分析和管理Presto的worker结点。Presto安装必须有一个Coordinator和多个worker。如果用于开发环境和测试，则一个Presto实例可以同时担任这两个角色。2.Coordinator跟踪每个work的活动情况并协调查询语句的执行。Coordinator为...
2019-02-25 15:51:18
1674
原创 实战nginx实现反向代理
1.下载tar包，或者去网站手动下载，wget http://nginx.org/download/nginx-1.11.6.tar.gz2.解压到/usr/local/， tar xzvf nginx-1.11.6.tar.gz -C /usr/local/3.cd /usr/local/nginx-1.11.6切换到nginx安装目录./configure进行初始化配置，出现报错...
2019-02-14 10:28:46
517
原创 mvn eclipse:eclipse
在二次开发hera任务时，代码拉下来的结构需要转换成eclipse可装配的项目。cmd,进入到项目目录：cd /hp/workspace/hera,然后使用mvn eclipse:eclipse在原有目录下生成这两个文件后，再去eclipse刷新一下项目，报错就消失了...
2019-01-28 16:08:22
1955
转载 数据结构与算法（408）
原文转自：https://blog.8hfq.com/2018/08/21/%E6%95%B0%E6%8D%AE%E7%BB%93%E6%9E%84%E4%B8%8E%E7%AE%97%E6%B3%95.html一、栈（Stack）、队列（Queue）和向量（Vector）线性表的基本概念和实现线性表的存储结构有顺序存储和链式存储结构两种。前者被称为顺序表，后者被称为链表。顺序表...
2018-11-27 13:57:56
3456
原创 时间复杂度和空间复杂度（数据结构）
同一问题可用不同算法解决，而一个算法的质量优劣将影响到算法乃至程序的效率。算法分析的目的在于选择合适算法和改进算法。算法复杂度分为时间复杂度和空间复杂度。时间复杂度是指：执行算法时所需要的计算工作量。（并不是具体的运行时间，而是算法执行语句的次数）空间复杂度：执行算法所需要的内存空间。时间复杂度的求法：1.循环主体中的变量参与循环条件的判断a)找出基本操作b)设基本操作...
2018-09-28 15:49:34
433
原创 Kylin安装和使用
概述：Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。Kylin是什么？1.可扩展超快OLAP引擎: Kylin是为减少在Hadoop/Spark上百亿规模数据查询延迟而设计2.Hadoop ANSI S...
2018-09-07 16:22:56
10576
1
原创 idea构建spark开发环境（基于maven）
目前Intellij IDEA对scala支持的比较好，本文使用idea构建spark开发环境。1.准备工作jdk版本，scala sdk环境(我的是jdk1.8，scala 2.1)scala官网下载地址：http://www.scala-lang.org/download/ 2.Intellij IDEA 下载地址https://www.jetbrains.com/idea/...
2018-08-28 18:58:24
7642
原创 eclipse中创建maven项目
1.打开eclipse，右键new-->Other2.选择maven项目3.选择默认4.选择quickstart5.输入maven项目填写基本信息
2018-08-15 11:15:30
115
转载 linux下mysql的tar包安装
1.安装mysql之前需要确保系统中有libaio依赖，使用如下命令：yum search libaio yum install libaio 2.进入centos终端操作界面，使用wget命令下载mysql5.7 64位安装文件：wget -c https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.18-linux-glibc...
2018-07-25 12:34:10
6377
转载 hdfs中block size设置规则
小文件BLOCK占用【小于块大小的小文件不会占用整个HDFS块空间。也就是说，较多的小文件会占用更多的NAMENODE的内存（记录了文件的位置等信息）；再者，在文件处理时，可能会有较大的网络开销。】一个常被问到的一个问题是： 如果一个HDFS上的文件大小(file size) 小于块大小(block size) ，那么HDFS会实际占用Linux file system的多大空间？答案是实际的文件...
2018-06-21 15:52:50
14092
转载 python多线程
本文转自 https://www.cnblogs.com/fnng/p/3670789.html 多线程和多进程是什么自行google补脑 对于python 多线程的理解，我花了很长时间，搜索的大部份文章都不够通俗易懂。所以，这里力图用简单的例子，让你对多线程有个初步的认识。 单线程 在好些年前的MS-DOS时代，操作系统处理问题都是单任务的，我想做听音乐和看电影两件事儿，那么一定要先排一...
2018-06-11 15:47:30
165
转载 python正确复制列表
[Python] 正确复制列表的方法new = old[:] Python老鸟都知道以上代码是什么意思。它复制列表old到new。它对于新手来说是种困惑而且应该避免使用这种方法。不幸的是[:]标记法被广泛使用，可能是Python程序员不知道更好的列表复制法吧。 首先我们需要了解Python是如何管理对象和变量。Python没有C语言中的变量。在C语言中，变量不止是个名字，它是字节集合并真实存在于内...
2018-06-08 19:50:22
3117
转载 shell脚本中判断上一个命令是否执行成功
shell中使用符号“$?”来显示上一条命令执行的返回值，如果为0则代表执行成功，其他表示失败。结合if-else语句实现判断上一个命令是否执行成功。示例如下：if [ $? -ne 0 ]; then echo "failed"else echo "succeed"fi或者：if [ $? -eq 0 ]; then echo "succeed"else echo "fa...
2018-05-05 16:28:26
5742
1
转载 shell中IFS问题
在shell中使用到for循环时，是通过IFS同样也是来定义分隔符。如果要指定多个IFS字符，只要将他们在赋值行串起来就行。如下: IFS=$'\n':;"1这个赋值会将换行符、冒号、分号和双引号作为字段分隔符。如何使用 IFS 字符解析数据没有任何限制。 那么下面三个的区别是什么呢？IFS='\n' //将字符\和字符n作为IFS的换行符。IFS='\n' //与上面一样。IFS=$...
2018-04-25 18:44:27
897
转载 mysql多表联查
1.1 多表连接有哪些分类?1.2 针对这些分类有哪些连接方法?1.3 这些连接方法分别作用于哪些应用场景?这篇针对这三个点通过实例来讲述，目的是穷尽所有的场景和所有的方法，并且对每个方法的使用做实例。首先先列举本篇用到的分类(内连接，外连接，交叉连接)和连接方法(如下)：A）内连接：join，inner joinB）外连接：left join，left outer join，right join...
2018-02-26 14:42:49
4504
转载 hadoop配置文件详解
网络转载，仅做个人学习用。首先hadoop包放到一个程序目录下，例如我放到/opt/software下 完整路径为/opt/software/hadoop-2.4.1然后配环境变量，前提是jdk1.7已经安装好了。环境变量配置：export JAVA_HOME=/usr/java/jdk1.7export JRE_HOME=/usr/java/jdk1.7/jreexport CLASSPATH=...
2018-02-24 15:21:45
231
转载 chmod 和chown详解
linux中chmod与chown两个命令详解在linux系统中chmod,chown命令都可以来设置权限了，但它们也是有区别的chmod是用来设置文件夹和文件权限的，比如我们在VPS主机中文件不可读写，需要用来设置777权限；而chown是用来设置用户组的，比如授权某用户组，方便控制用户权限。chmod 修改第一列，chown修改第三四列第一、使用权限 : 所有使用者使用方式 : chmod [...
2018-02-23 15:34:26
714
转载 mysql基础整理
MySQL 是一个 DBMS（数据库管理系统），由瑞典 MySQLAB 公司开发，目前属于 Oracle 公司，MySQL 是最流行的关系型数据库管理系统（关系数据库，是建立在关系数据库模型基础上的数据库，借助于集合代数等概念和方法来处理数据库中的数据）。由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发者都选择 MySQL 作为网站数据库。MySQL 使用 SQL...
2018-02-19 19:29:30
122
原创 数据库ora 00600
select open_mode from v$database;recover database;alter database open;
2018-01-29 17:01:41
219
原创 网络位，网络号，网络地址，子网掩码，广播地址
子网掩码转成二进制，全1的是网络位网络号就是网络地址：由子网掩码和ip地址做“与”运算得来。广播地址：网络地址的主机位全1
2018-01-18 21:44:47
1853
原创 linux下python实现批量ping
# coding=utf-8import os,timeimport sysstart_Time = int(time.time())ip_True = open('ip_True.txt','w+')ip_False = open('ip_False.txt','w+')IPhost = []IPbegin = (raw_input(u'请输入起始查询IP'))IPend =
2018-01-03 14:38:24
1416
1
转载 数据库基础
1.数据视图与数据模型数据抽象共有三个层次：物理层、逻辑层和视图层。在逻辑层使用的数据模型包括两类：1）概念数据模型，主要用于数据库设计，它能被一般的用户理解，与人的思维表达方式比较接近。这样的模型有实体-联系模型（ERM）；2）逻辑数据模型，按计算机系统的观点对数据建模，使得数据更适合用计算机加以表示。这里模型主要用于DBMS的实现，比如关系模型、面向对象模型、层次模型和网状模型
2017-12-07 11:44:04
179
转载 Js中二维数组的创建
方法一：直接定义并且初始化，这种遇到数量少的情况可以用var _TheArray = [["0-1","0-2"],["1-1","1-2"],["2-1","2-2"]]例子var Myarr = [[0 , 1 , 2 ],[1 , 2 , 3, ]] //就是把二维数组的所有值都罗列出来，使用数量较少的时候。方法二var
2016-08-16 20:38:56
3695
转载 js输出
输出内容（document.write）document.write() 可用于直接向 HTML 输出流写内容。简单的说就是直接在网页中输出内容。第一种:输出内容用“”括起，直接输出""号内的内容。 document.write("I love JavaScript！"); //内容用""括起来，""里的内容直接输出。第二种:通过变量，输出内容
2016-08-02 16:20:24
221
转载 js变量
什么是变量? 从字面上看，变量是可变的量；从编程角度讲，变量是用于存储某种/某些数值的存储器。我们可以把变量看做一个盒子，为了区分盒子，可以用BOX1,BOX2等名称代表不同盒子，BOX1就是盒子的名字（也就是变量的名字）。定义变量使用关键字var,语法如下：var 变量名变量名可以任意取名，但要遵循命名规则: 1.变量必须使用字母、下划线(_)或
2016-07-27 07:24:50
117
原创 基础知识
1.在 Sublime 中，可以通过 Sublime-snippet 来快速补全代码。基础知识1. HTML是网页内容的载体。内容就是网页制作者放在页面上想要让用户浏览的信息，可以包含文字、图片、视频等。2. CSS样式是表现。就像网页的外衣。比如，标题字体、颜色变化，或为标题加入背景图片、边框等。所有这些用来改变内容外观的东西称之为表现。3. JavaScript是用来实现网页上
2016-07-17 19:10:10
154
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人