- 博客(54)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Hive与Gbase字符串类型数值（+）加号拼接的坑
1. Hive字符串类型数值加号拼接对testxxx表的test1字段，字段值为'99',本意是想在其后拼接字符串'00'。如果我这样写select test1+'00' from testxxx;其结果为'99.0'若test1为非数值字符串，举例假如test1为'lalala',select test1+'00' from testxxx;其结果为NULL2. Gbase字符串类型数值加号拼接对testxxx表的test1字段，字段值为'99',本意是想在其后拼接字符
2021-09-24 15:34:02
1317
转载 Moloch 非官方手册
原文链接：https://cloud.tencent.com/developer/article/1404875在网上关于 Moloch 的使用说明不多，很多文章都是这家 Copy 一下，哪里 Copy 一下；本手册主要是根据自己在使用时对相关功能的总结，参考官网的资料说明，对 Moloch 流量回溯系统的功能进行较为详细的介绍。在工作中，我使用的是国内某家公司的全流量分析系统，相比之下，...
2021-09-24 15:21:50
734
原创 D3数据可视化——简介
做D3相关的开发需要以下几个概念：1. HTML 超文本标记语言用来构建web浏览器的内容，一个简单的HTML页面像这样 Page Title Page Title This is a really interesting paragraph. 2. DOM DO
2016-11-09 11:55:37
991
原创 AWS搭建Condor弹性计算平台
1.选择一个AMI，建立一个AutoScaling组，在AutoScaling组中可以设置最小机器数量，最大机器数量。AutoScaling组中扩展机器时，是按照刚开始的AMI建立新机器的。2.在AWS的服务里选择->CloudWatch,如图，选择一个指标，这里选择SQS，选择指标，这里选择的是接收的消息数量，填上警报名称和描述，在操作的区域选择当此警报正常时发送通知到某个扩展策略或缩小策略
2016-01-20 10:04:28
1106
原创 AWS EC2上传文件到S3(python boto)
1.获得所有存储桶>>>import boto.s3.connection>>>conn=boto.s3.connect_to_region('cn-north-1')>>>conn.get_all_buckets()2.存储数据往s3的存储桶里存储数据时，s3不关心存储的信息是什么格式，需要的是一个key,一个桶中单独的标记>>>b=conn.get_bucket('bucket
2016-01-15 15:27:52
4214
原创 python boto AWS SQS connection
在AWS控制台与SQS通信很容易，要想在EC2上与SQS通信，要用到python的工具包boto，网上的很多教程我使用都多多少少有些错误，现将过程记录如下：一.安装boto首先确认安装了python$git clone git://github.com/boto/boto.git$cd boto$python setup.py install如果提示没有安装git，$apt
2016-01-13 10:47:23
2884
原创 Condor error:Failed to execute condor_exec.exe
Condor的日志文件中的错误信息：000 (424639.000.000) 09/09 16:08:18 Job submitted from host: ...001 (424639.000.000) 09/09 16:08:35 Job executing on host: ...007 (424639.000.000) 09/09 16:08:35 Shadow excepti
2015-12-11 14:40:50
1336
转载 Winscp连接Amazon Ec2实例传送文件
使用 WinSCP 将文件传输到您的 Linux 实例WinSCP 是适用于 Windows 的基于 GUI 的文件管理器，您可以通过它来使用 SFTP、SCP、FTP 和 FTPS 协议将文件上传并传输到远程计算机。通过 WinSCP，您可以将 Windows 计算机中的文件拖放到 Linux 实例或同步这两个系统之间的所有目录结构。要使用 WinSCP，您将需要在 使用 P
2015-12-10 10:42:22
9886
转载 putty连接Amazon Ec2实例
启动您的实例之后，您可以连接到该实例，然后像使用您面前的计算机一样来使用它。Note启动实例后，需要几分钟准备好实例，以便您能连接到实例。检查您的实例是否通过了状态检查 - 您可以在 Instances (实例) 页上的 Status Checks (状态检查) 列中查看此信息。在尝试连接到您的实例之前，请确保您已经完成以下任务：获得实例的公有 DN
2015-12-10 10:39:56
5404
原创 perl脚本远程连接mysql数据库
#!user/bin/perl -wuse strict;use DBI;my $user = "root";my $password = "123";my $url = "DBI:mysql:database=database_name;host=IP";my $dbh = DBI->connect($url,$user,$password) or die=$DBI::errstr
2015-08-28 14:20:00
2508
原创 openCv--裁剪图像不规则区域
得到图像中感兴趣的不规则的区域分为三步，分别如下：1.在原图上用cvLine画出自己感兴趣的区域，比如这个区域可以有几个线段围起来，就用cvLine将所有的线段连起来cvLine( CvArr* img, CvPoint pt1, CvPoint pt2, CvScalar color, int thickness CV_DEFAULT(1), int line_type CV_DE
2015-07-28 16:41:11
21987
10
原创 openCv笔记--小幅图像覆盖至大幅图像指定位置
image是原图，logo和mask是小幅图像，其中182,63,215,235，分别是覆盖位置左上角的点和覆盖的width和height
2015-07-28 16:26:12
7669
原创 openCv笔记--IPLImage和Mat的resize
IplImage图像大小变换[cpp] view plaincopyvoid cvResize( const CvArr* src, CvArr* dst, int interpolation=CV_INTER_LINEAR ); src：输入图像. dst：输出图像. interpolation：差值方法: • CV_IN
2015-07-28 16:08:34
5499
原创 输入一个int型数据，计算出该int型数据在内存中存储时1的个数。
输入一个int型数据，计算出该int型数据在内存中存储时1的个数。#include using namespace std;int GetCount(int num){ /*在这里实现功能*/ int m=0; int modnum; while(num) { modnum = num%2; if(modnum==1)
2015-07-02 09:41:46
1061
转载 OpenCv学习笔记——OpenCV捕获视频
本文讲一下如何捕获视频。从文件中捕获视频其实使用OpenCV读取视频相当简单，只需要初始化一个VideoCapture对象，打开视频文件，逐帧读取。程序下面是简单的OpenCV代码：12345678910111213141516171819202122
2015-05-18 10:39:13
1637
转载 OpenCV学习笔记——VideoWriter生成视频流highgui
首先要先纠正个误区，我见有人用OpenCV做多媒体开发，真的是很搞笑，OpenCV这东西再强大，这方面也不行的，之所以把视频读取写入这部分做的强大一些，也是为了方便大家做视频处理的时候方便些，而且这部分也是基于vfw和ffmpeg二次开发的，功能还是很弱的。一定要记住一点，OpenCV是一个强大的计算机视觉库，而不是视频流编码器或者解码器。希望大家不要走入这个误区，可以把这部分简单单独看待。目前，
2015-05-18 10:24:41
1098
转载 openCv学习笔记—cv::Mat学习
一、Mat简介 在2001年刚刚出现的时候，OpenCV基于 C 语言接口而建。为了在内存（memory）中存放图像，当时采用名为IplImage 的C语言结构体，时至今日这仍出现在大多数的旧版教程和教学材料。但这种方法必须接受C语言所有的不足，这其中最大的不足要数手动内存管理，其依据是用户要为开辟和销毁内存负责。虽然对于小型的程序来说手动管理内存不是问题，但一旦代码开始变得越来越庞
2015-05-15 13:45:25
1356
原创 cv::Mat 图像拷贝、复制的问题
Mat最直接的拷贝、复制方法是通过cv::Mat::clone()来复制，像Matlab中的拷贝方式用”=“号在这里是错误的，用"="号的结果就是内存不独立，图像Image和拷贝图像copyImage在内存中只有一个，造成混乱。[cpp] view plaincopycv::Mat temp;cv::Mat newImage;newIma
2015-05-15 13:36:44
9258
转载 【OpenCV】访问Mat中每个像素的值（新）
Color Reduce还是使用经典的Reduce Color的例子，即对图像中的像素表达进行量化。如常见的RGB24图像有256×256×256中颜色，通过Reduce Color将每个通道的像素减少8倍至256/8=32种，则图像只有32×32×32种颜色。假设量化减少的倍数是N，则代码实现时就是简单的value/N*N，通常我们会再加上N/2以得到相邻的N的倍数的中间值，最后图像被量
2015-05-15 13:33:22
649
转载 Eigen: C++开源矩阵计算工具——Eigen的简单用法
Eigen非常方便矩阵操作，当然它的功能不止如此，由于本人只用到了它的矩阵相关操作，所以这里只给出了它的一些矩阵相关的简单用法，以方便快速入门。矩阵操作在算法研究过程中，非常重要，例如在图像处理中二维高斯拟合求取光斑中心时使用Eigen提供的矩阵算法，差不多十来行代码即可实现，具体可见：http://blog.csdn.net/hjx_1000/article/details/8490653
2015-05-05 10:08:55
539
转载 matlab写入/合成视频VideoWriter类
与VideoReader类 相似，matlab提供了一个可以写入视频，利用图像序列合成视频的类VideoWriter。相关博文：《matlab读取视频VideoReader类》0。一个简单的利用图像序列合成视频的示例代码。myObj = VideoWriter('newfile.avi');%初始化一个avi文件writerObj.FrameRate = 30;open(m
2015-04-10 09:31:51
4735
转载 matlab读取视频VideoReader类
看到以前matlab中读取视频多使用mmreader等（参考《matlab读取/播放视频的函数》），而现在matlab有一个专门的视频读取类VideoReader完成视频读取的功能。相关博文：《matlab写入/合成视频VideoWriter类 》0。 一个读取视频，显示帧，并保存每一帧 的代码fileName = 'MVI_1264_clip.avi'; obj = Vi
2015-04-08 13:45:41
21005
2
转载 opencv 视频处理
视频中包含的信息量要远远大于图片，对视频的处理分析也越来越成为计算机视觉的主流，而本质上视频是由一帧帧的图像组成，所以视频处理最终还是要归结于图像处理，但在视频处理中，有更多的时间维的信息可以利用。本文主要介绍OpenCV在处理视频时的一些基本函数。一、视频帧的读取OpenCV为视频的读入提供了一个类VideoCapture，下面我们说明一下类的几个重要的方法：1，打开一段
2015-04-03 10:08:46
649
转载 图像缩放的双线性内插值算法的原理解析
（出处：http://blog.csdn.net/qiqi5521/article/details/2207562）图像的缩放很好理解,就是图像的放大和缩小。传统的绘画工具中,有一种叫做“放大尺”的绘画工具，画家常用它来放大图画。当然，在计算机上，我们不再需要用放大尺去放大或缩小图像了，把这个工作交给程序来完成就可以了。下面就来讲讲计算机怎么来放大缩小图象；在本文中，我们所说的图像都是
2015-03-18 10:07:18
554
原创 condor submit jobs例子
一共三种例子，第一是condor运行shell脚本，第二是condor运行C程序，第三是运行perl程序一、condor运行shell脚本二、condor运行C程序其中helloc文件夹下有hello.c，hello是编译后的可执行文件，condor编译C程序的命令如下：condor_compile gcc hello.c -o hello 三、condor运行pe
2015-01-22 11:18:47
2027
原创 deb包安装condor的config方法
一、deb包安装condor方法自己去下载condor-8.2.6-287355-ubuntu_14.04_amd64.deb。我还下载了一个libmpich2-3_1.4.1-4.2_amd64.deb包，这是condor需要的一个依赖包，apt-get解决不了，就自己安装一下。我新建了一个condor用户，并将其加入sudoers,以下的操作都是在condor下进行的安装deb包$
2015-01-22 11:07:06
2023
转载 sshpass:用于非交互的ssh密码验证
sshpass下载地址：http://sourceforge.net/projects/sshpass/安装tar zxvf sshpass-1.05.tar.gzcd sshpass-1.05./configure --prefix=/opt/sshpassmakemake install结合使用：sshpass 和ss
2015-01-13 16:33:15
771
原创 Condor and Pegasus on ubuntu14.04
[STEP 1: Install Condor]Download the latest version of HTCondor (native package) for Ubuntu 12.04 from the following URL. What I have downloaded is condor-8.1.6-247684-ubuntu_12.04_amd64.deb. The
2015-01-07 10:54:17
890
转载 Condor and Pegasus on ubuntu12.04
Single Node Condor and Pegasus on ubuntu12.04 [STEP 1: Install Condor]Download the latest version of HTCondor (native package) for Ubuntu 12.04 from the following URL. What I have download
2015-01-07 10:47:19
892
转载 如何在Ubuntu下安装”.deb“、”.bin“、”.tar.gz“、”.tar.bz2“格式的软件包！
今天在Ubuntu11.10中安装Google chrome浏览器是遇到了问题，下载好的“.deb”格式的安装文件google-chrome-stable.deb双击后或者右键快捷菜单选择Synaptic Package Manager 打开时均提示错误，改用命令的方式安装：dpkg -i google-chrome-stable.deb 提示缺少一个依赖的软件包，按照提
2015-01-05 15:39:17
794
转载 debian软件源sources.list文件格式说明
在安装完debian操作系统之后大家做的第一件事大概就是修改source.list文件了吧，否则你是无法在线更新软件的，那么source.list文件中的各个配置项的具体含义你搞懂了么？下面就以我的source.list文件为例为大家讲解一下。deb http://mirrors.163.com/debian/ wheezy main non-free contribdeb http:/
2015-01-05 10:54:35
4491
原创 未预期的符号`('附近有语法错误(mysql)
bash: 未预期的符号 `(' 附近有语法错误 1、在()前面增加转义符号“ \ ”，这样才能顺利执行。2、如非必须使用();可以使用[]代替；使用未预期的符号 `并不是网上所说的是文件编码的问题，因为()在MySQL和一些编程语言中有着特殊的含义。
2014-12-26 10:56:28
38608
3
转载 MySQL列类型
MySQL的列类型主要有三种：数字、字串和日期。数字列类型 数字列类型用于储存各种数字数据，如价格、年龄或者数量。数字列类型主要分为两种：整数型和浮点型。所有的数字列类型都允许有两个选项：UNSIGNED和ZEROFILL。选择UNSIGNED的列不允许有负数，选择了ZEROFILL的列会为数值添加零。下面是MySQL中可用的数字列类型• TINYINT——一个微小的整数，支持 -1
2014-12-23 14:52:41
480
原创 Ubuntu各种文件解压命令总结
总结1、*.tar 用 tar –xvf 解压2、*.gz 用 gzip -d或者gunzip 解压3、*.tar.gz和*.tgz 用 tar –xzf 解压4、*.bz2 用 bzip2 -d或者用bunzip2 解压5、*.tar.bz2用tar –xjf 解压6、*.Z 用 uncompress 解压7、*.tar.Z 用tar –xZf 解压8、*.rar
2014-12-22 12:56:06
491
原创 ajax zipcode完整例子
exam function ajaxFunction(){ xmlHttp = ''; try{ xmlHttp=new XMLHttpRequest(); }catch(e){ try{ xmlHttp=new ActiveXObject("Msxml2.XMLHTTP"); }catch(e){ try{ xmlHttp
2014-12-11 17:27:53
1184
转载 document.getElementById/Name/TagName
document.getElementById 1、getElementById作用：一般页面里ID是唯一的，用于准备定位一个元素 语法： document.getElementById(id) 参数：id :必选项为字符串(String) 返回值：对象; 返回相同id对象中的第一个，按在页面中出现的次序,如果无符合条件的对象，则返回 null
2014-12-11 09:52:35
888
转载 Ajax教程
Ajax 完整教程第 1 页 Ajax 简介Ajax 由 HTML、JavaScript™ 技术、DHTML 和 DOM 组成，这一杰出的方法可以将笨拙的 Web 界面转化成交互性的 Ajax 应用程序。本文的作者是一位 Ajax 专家，他演示了这些技术如何协同工作 —— 从总体概述到细节的讨论 —— 使高效的 Web 开发成为现实。他还揭开了 Ajax 核心概念的神秘面纱，包
2014-12-11 09:46:28
604
转载 HTML颜色代码表
#000000 #2F0000 #600030 #460046 #28004D #272727 #4D0000 #820041 #5E005E #3A006F #3C3C3C #600000 #9F0050 #750075 #4B0091 #4F4F4F
2014-12-05 15:08:58
448
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人