- 博客(53)
- 资源 (37)
- 收藏
- 关注
RSS订阅原创 hive与hadoop的版本对应问题
以hive-3.1.2为例，查看hive-3.1.2对应的Hadoop版本号的方式是：下载apache-hive-3.1.2-src.tar.gz链接：https://mirrors.bfsu.edu.cn/apache/hive/hive-3.1.2/解压后，查看apache-hive-3.1.2-src/pom.xml文件部分内容如下(line 150: <hadoop.version>3.1.0</hadoop.version>)即，hive-3.1.2对应的ha
2021-02-09 22:48:20
7839
原创 Hive环境搭建（ubuntu 20.04 + java 1.8.0_281 + hadoop 3.1.0 + hive 3.1.2）
Hive依赖于Hadoop，而Hadoop依赖于Java。因此搭建Hive环境需要先装java，然后装hadoop，然后才是hive。java安装java8网址：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html下载文件jdk-8u281-linux-x64.tar.gztar -zxvf jdk-8u281-linux-x64.tar.gzsudo mkdir /usr/javasudo mv
2021-02-09 18:29:11
469
原创 什么情况下卷积层等价于全连接层？
先说答案：当卷积层的卷积核大小等于输入特征图的大小，卷积核的输出通道数就等价于全连接的输出神经元个数，此时的卷积层等价于全连接层。说明：假定输入特征图大小和通道数目分别是(lhinl_h^{in}lhin，lwinl_w^{in}lwin), CinC_{in}Cin;输出特征图大小和通道数目分别为(lhoutl_h^{out}lhout，lwoutl_w^{out}lwout)，CoutC_{out}Cout.卷积层参数是：卷积核大小（KhK_hKh,KwK_wKw）, 输入通道C
2020-11-30 12:06:35
1112
3
原创 画saliency intensity map图,pytorch版本
之前写过一篇caffe版本的，这次需要pytorch版本的发现踩坑了，主要踩坑是grad不管怎么弄都是None，查了资料发现是pytorch释放了，所以需要加hook才行。记录一下备忘。import cv2import torchimg_path = 'path/test_img.jpg' #测试用的图片路径img_and_saliency_map_name = 'outpath/img_and_saliency_map.jpg'#待求的 图片+saliency intensity map的叠加图
2020-08-29 00:14:33
1357
原创 论文复现与理解记录：Weakly-Supervised Unconstrained Action Unit Detection via Latent Feature Domain
论文：Weakly-Supervised Unconstrained Action Unit Detection via Latent Feature Domain源码：https://github.com/ZhiwenShao/ADLD复现结果：采用BP4D作为source database,EmotioNet作为dest database训练弱监督（–mode=‘weak’）模型,在E...
2019-10-28 02:20:39
813
7
原创 人脸关键点定义汇总
前几天看一份代码临时需要找49个人脸关键点位置定义的图片发现怎么百度都搜不到，最后幸好谷歌可以使用了就用谷歌搜到了。所以在这里汇总一下我所知道的人脸关键点的定义和相关的一点东西，以备不时之需。68个关键点最常用的工具是Dlib，网址：http://dlib.net/dlib的68个特征点检测算法是ERT算法【1】使用dlib检测68个特征点的python示例见：http://dlib.n...
2019-10-23 14:50:11
7198
11
原创 记一次Linux服务器遭遇挖矿
昨天需要用服务器跑一个代码，结果nvidia-smi命令结果显示GPU基本被一个miner/ld-linux-x86-64.so.2的process占满，查看该进程用户为root。跟实验室同学确认无人知晓，初步判断为挖矿病毒，先kill掉再说：kill 19459下午忙着看代码看论文没有管这个病毒的事，当我晚上再次查看服务器准备运行命令时，却再次显示GPU被占满。同样的场景再现。于是，我准备认真...
2019-10-23 13:36:51
2729
5
原创 画saliency intensity map图, caffe
以JAA检测笑脸为例，已经有一个训练好的模型了，现在要查看saliency intensity map。基本想法是给一张图片，forward之后再backward回来，看data层的diff。1）deploy.prototxt增加一行force_backward: true，否则caffe不支持backword2) 先forward再backward，把data的diff保存下来注意代码...
2019-07-05 18:07:21
844
原创 用t-SNE可视化特征，查看特征的可分性
用t-SNE可视化特征，查看特征的可分性欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导...
2019-07-05 14:38:21
9977
11
原创 pytorch：tensorboardX可视化，本地显示
参考链接：https://github.com/lanpa/tensorboardXhttps://blog.csdn.net/xiepengyue666/article/details/80236082 #服务器上调用tensorboard，参考tensorboardX官方提供的demo.pyfrom tensorboardX import SummaryWriterwriter = S...
2019-05-24 17:22:52
1802
原创 如何从tensorboardX中的参数histogram看网络训练问题？
最近遇到一个问题，同样的一个网络，稍微改了一丢丢地方，居然会导致结果差异天差地别，看loss函数可以大概知道model1有问题。但是其实也可以从另一个角度，比如参数的分布来看，这里就介绍一下我的做法。（pytorch 用tensorboardX， tensorflow用tensorboard）一共四个小实验实验1，对比model 1和model 2的参数histogram示例代码：服务器上...
2019-05-24 17:20:57
4494
原创 ubuntu 18.04装ftp服务器+外网访问
环境如下：Ubuntu18.04 vsftpd 3.0.3; 要求: 用winscp 5.13.4，从外网可以连接到服务器，账号只具有上传功能，没有下载和删除功能以下是操作记录： sudo apt-get install vsftpd sudo vim /etc/vsftpd.conf 修改为以下内容listen=YESanonymous_enable=NOlocal_en...
2019-01-23 13:05:48
10375
原创 3DCNN参数解析：2013-PAMI-3DCNN for Human Action Recognition
3DCNN参数解析：2013-PAMI-3DCNN for Human Action Recognition参数分析Input：7 @ 60 ×\times× 40， 7帧，图片大小60 ×\times× 40hardwired： H1产生5通道信息，分别是gray, gradient-x, gradient-y, optflow-x, optflow-y。前三个对于每一张图片都计算得...
2018-10-30 11:24:23
930
原创 opencv, PIL.Image的彩色图片维度 && caffe和pytorch的矩阵维度
opencv读取彩色图片：BGRPIL.Image读取彩色图片：RGB pytorch tensor matrix: (N, C, H, W)caffe中imagedata layer彩色图片：BGR caffe matrix: (N, C, H, W)常用： from PIL import Image Image.open(img_path).convert(‘BGR’)...
2018-09-15 22:05:38
4056
原创 【给小白玩的脚本】自动发歌词、发弹幕
这是给纯粹的小白写的说明。整体说明： 需要自己先制作两个文件：1，脚本文件test.vbs；2，歌词文件 content.txt。然后运行脚本文件即可。制作test.vbs的方法： 记事本新建一个txt文件，复制输入下面代码后保存，改.txt文件后缀为.vbs后缀。Const ForReading = 1Dim messageDim fs, ts, wsset fs = C...
2018-08-22 18:57:00
9033
2
原创 pytorch自定义网络结构不进行参数初始化会怎样？
答案：不怕不怕，pytorch自己默认有初始化证据如下：1) torch.nn.Conv2d的参数初始化 https://pytorch.org/docs/stable/_modules/torch/nn/modules/conv.html#Conv2d Conv2d继承自_ConvNd，在_ConvNd中，可以看到默认参数就是进行初始化的，如下图所示 2）torch.nn....
2018-08-14 17:07:15
9676
4
原创 【caffe转向pytorch】caffe的BN层+scale层=pytorch的BN层
caffe里面用BN层的时候通常后面接一下scale层，原因如下：caffe 中为什么bn层要和scale层一起使用 这个问题首先你要理解batchnormal是做什么的。它其实做了两件事。 1) 输入归一化 x_norm = (x-u)/std, 其中u和std是个累计计算的均值和方差。 2）y=alpha×x_norm + beta，对归一化后的x进行比例缩放和位移。其中alpha和...
2018-08-09 10:49:52
2707
1
原创 caffe 出现protobuf google 错误 解决办法
经常会遇到这种SB错误，谁也没动环境就是挂了。这次的解决办法是，protoc –version查看protoc的版本，然后which protoc 查找protoc在哪里，然后先把protoc删除或者换个名字。去github上下载相应版本protoc源码，比如我的https://github.com/google/protobuf/releases/tag/v3.5.0 然后，按照github说...
2018-06-20 00:40:12
3909
原创 【已解决】ubuntu nividia-smi 出现“Make sure that the latest NVIDIA driver is installed and running.”
有个小朋友不知更新了啥导致服务器输入nvidia-smi之后显示如下信息：NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.此问题我找了半天原因，不管怎么重装...
2018-03-14 21:16:07
33551
3
原创 ubuntu "sudo apt-get upgrade" 时千万不要做这个操作啊， 小心失去sudo权限
Configuration file '/etc/sudoers' ==> Modified (by you or by a script) since installation. ==> Package distributor has shipped an updated version. What would you like to do about it ? Your...
2018-03-14 15:11:51
46142
10
原创 pytorch + windows 10 + python3.6 + anaconda3.5
备份记录环境搭建过程：下载：Anaconda3-5.0.1-Windows-x86_64.exe （链接：https://pan.baidu.com/s/1i6qhPDr 密码：c6ay）然后命令（看注释哈）： # If your main Python version is not 3.5 or 3.6conda create -n test python=3.6 numpy...
2018-01-15 19:19:43
687
转载 在bibtex下引用arXiv的文献格式是什么？
原帖链接：http://www.newsmth.net/nForum/#!article/TeX/283102发信人: bleach (nevermind), 信区: TeX 标 题: Re: 请问：在bibtex下引用arXiv的文献格式是什么？ 发信站: 水木社区 (Thu Mar 12 00:22:12 2009), 站内 问题自己解决了，呵呵 参考 http://arx...
2017-12-14 19:28:32
33696
4
原创 caffe 容易犯的错误
1，送进去网络的数据没有shuffle：会导致的现象是感觉网络学习不到东西 2，网络参数没有初始化设置：会导致的现象是Backward全0，在solver.prototxt中最后加一行debug_info: true，看看调试信息，往往会发现前向传播时就在某一层全0了，也就找到了对应的没有初始化参数的层常见需要初始化的层#convlayer {bottom: "concat...
2017-10-30 12:25:32
402
原创 【笔记】Action Unit Detection with Region Adaptation Multi-labeling Learning and Optimal Temporal Fusing
原文：https://arxiv.org/abs/1704.030672017，CVPR上面的，最近重新读了一遍，之前没有细读。 文章中说的三大贡献分别是Region Adaptation(针对区域region的ROI Nets) ; Multi-labeling Learning(多AU一起学习); Optimal Temporal Fusing(时序信息)我理解这篇文章优势在以...
2017-10-28 17:33:55
3998
21
原创 DRML（2016-CVPR）重现过程记录---（10）代码上传
最近老板让新来的同学做做这个实验练手劲儿。。。我整理了一下，把代码上传到github了，如果有同学自己实在是搞不定，可以参考一下我的。。。 链接：https://github.com/huqiaoping/drml 代码使用说明1，先下载caffe并编译通过：https://github.com/BVLC/caffe2，下载我的代码：https://github.com...
2017-08-19 14:33:09
1791
9
原创 网易云音乐搜索引擎 python+whoosh---(3)界面
网页和后台的通信采用ajax,参考文献：python处理ajax请求csdn的编辑器似乎有问题，贴上网页代码博客显示会出错。所以这里不再贴代码，直接给出代码下载网址和代码说明。所有代码及运行说明已上传，点击这里下载 代码说明：后台代码：server.pypython运行这个server.py代码之后就会监听8080端口，那么你只需要打开 127.0.0.1:8080 就可以...
2017-06-20 23:31:15
1276
2
原创 网易云音乐搜索引擎 python+whoosh---(2)搜索引擎
参考资料：whoosh+jieba：python下实现中文全文检索 whoosh官方文档 1，根据数据库新建schema只保留音乐库数据中我需要的部分，即下面图片中的黄色部分，把所有表格变成统一格式的记录，格式为：artist_id，artist_name，music_id，music_name，album_id，album_name，lyrics，comment_num，ho...
2017-06-20 23:08:06
3836
10
原创 网易云音乐搜索引擎 python+whoosh---(1)背景和环境介绍
最近做《互联网信息搜索与挖掘》的课程作业，作业要求是做一个网易云音乐搜索引擎。基本要求是：1，【自由搜索】输入歌曲名称可以返回一系列排序后的歌曲，搜索歌手会根据热门度或其他条件返回一系列歌曲，或者，搜索关键字获取歌曲名或歌词中含有关键字的歌曲列表；2，【搜索历史权重排名】当用户点击播放时，记录用户点击事件，并调整排名。（例如，下次用户搜索这条信息时把他点击的这首歌往前放）下面我...
2017-06-20 23:06:39
2202
原创 DRML（2016-CVPR）重现过程记录---（9）问题解决与最终结果
之前谈到的现象是单个AU用lmdb和softmax可以正常训练，而采用了multi-label数据输入和multi-sigmoid loss函数层却不能正常训练，后来张君鹏帮我检查，发现是因为输入的数据没有shuffle。后来我发现这个错误刘琳学姐也犯了，大概新入门caffe的人在第一次修改输入层时可能容易犯这个错误。因为一般我们用lmdb时会在命令中添加shuffle，但是新的层一般是不会自动设...
2017-06-14 20:05:00
2413
23
原创 关于神经网络理论的几个疑问与思考
1，loss function应该如何设计？如果我需要修改loss function，需要遵循哪些规则？我看到caffe中有多种不同的loss层，但是不理解为什么要这样设计。我有时候很想改loss function，但是又不知道这样改理论上是否可行。说两个具体的问题：第一，比如，DRML（2016，CVPR）中用multi label sigmoid 交叉熵函数作为loss funct
2017-05-13 19:36:17
1051
原创 DRML（2016-CVPR）重现过程记录---（8）问题定位_3
在上一篇提到，我接下来会训练drml检测单个AU的结果训练与尝试_1说明：中间层采用drml结构，输入层是lmdb, loss层采用soft max下面是train loss 曲线测试对AU4检测的准确率，用没有参与神经网络模型训练的数据测试，会发现检测效果很差，但是用参与训练的数据测试，在训练集上的准确率是89.45%，在测试集上的准确率是74.38%。部分图片可视化的结...
2017-05-13 15:06:53
815
3
原创 DRML（2016-CVPR）重现过程记录---（7）问题定位_2
1, 排除一部分可能性 DRML作者除了他们算法DRML的prototxt以外，还提供了做实验用的AlexNet,ConvNet的prototxt文件。于是，我们直接用AlexNet.prototxt来训练（注意要打开调试开关），打印训练时的网络数据，发现训练基本趋势正常。我们猜测：作者的多标签输入层和loss层，以及我们的数据处理部分，应该基本没有问题。那么为什么采用DRML.p...
2017-05-09 10:56:04
1002
1
原创 tensorflow windows 安装
挺简单的，直接根据tensorflow官网介绍安装的：https://www.tensorflow.org/install/install_windows我的环境：win10-64bit, CUDA8.0. 已有python2.7（要解决多版本冲突问题，tensorflow只支持python3.5.x） 1，下载安装python3.5.2https://www.python.org/...
2017-05-06 10:16:04
2279
原创 DRML（2016-CVPR）重现过程记录---（6）新的尝试与思考-tensorflow?
因为没有找到caffe版本的DRML究竟有什么问题导致始终做不出来，我在github上翻作者提供的代码块时发现一些别人重现这份工作的代码。其中如https://github.com/ejulio/DRML，是修改DRML代码使之适应新的caffe版本机智的zjp同学直接上github搜索drml，又有了新的发现，有人用tensorflow重现过DRML的工作。譬如：http
2017-05-05 19:49:37
838
原创 DRML（2016-CVPR）重现过程记录---（5）问题定位_1
大师姐的建议：1，把自己生成好的模型参数打印出来，并查看数字是否有异常；2，重新阅读文章，把逻辑关系理清楚，再对代码进行调试查看。感谢张君鹏同学的帮助，加快了问题定位的进度。solver.prototxt的最后增加debug_info: true，使之打印出训练时具体的数据信息。不知道这里是否有异常，看不懂。编译pycaffe：进入caffe根目
2017-05-05 09:10:22
1006
原创 DRML（2016-CVPR）重现过程记录---（4）问题与反思
我目前自己做的这个DRML没有达到作者说的效果，这篇博文记录我现在的结果和一些思考。目前训练的结果是，整个模型震荡十分严重，训练和测试的loss曲线如下图所示这让我很不能理解。反思可能的问题：1，训练集与测试集的选取问题Disfa plus数据集一共有9个人的视频，我选择最后2人的作为测试集，前面7人的作为训练集。会不会可能是这样的呢
2017-05-04 18:13:21
1555
5
原创 DRML（2016-CVPR）重现过程记录---（3）训练模型
1，准备图片均值二进制文件（利用caffe自带create_imagenet.sh和 make_imagenet_mean.sh 即可） 由于caffe本身只支持单标签分类（而分类或多分类），所以临时随便写一个二分类的，用caffe自带工具生成二进制均值文件最后生成mean.binaryproto2，准备prototxt文件作者提供了DRML.protot
2017-05-03 12:48:38
871
原创 DRML（2016-CVPR）重现过程记录---（2）数据预处理
根据文章中的介绍：输入的图片大小是200*200的对齐后的人脸，作者设计的网络会自动把200*200的随机选择170*170作为网络训练输入。这里我用Disfa-plus数据集的五万多张图片做预处理，进行测试Disfa-plus中有9个人的共57668张图片，其中有AU的有32875张，没有AU的有24793张图片Disfa-plus提供了类似上述的图片，数据集提供方在Face
2017-05-03 12:13:48
1558
11
原创 DRML（2016-CVPR）重现过程记录---（1）caffe+DRML源码编译
Deep Region and Multi-label Learning for Facial Action Unit Detection 文章（2016，CVPR）重现过程记录
2017-05-03 11:38:26
1667
2
windows 10 SDK 官网安装文件
2016-11-25
QQ可用 Directshow实现的虚拟摄像头（win10+vs2013,c++代码）
2016-11-24
统计理论英文教材
2016-11-22
Directshow实现的虚拟摄像头（win10+vs2013,c++代码）
2016-11-14
python2.7安装PIL模块 windows 64位
2016-05-06
pythone3.3 numpy安装包（windows64位）.exe
2016-05-03
haarconv.exe+cv097.dll+cxcore097.dll
2015-04-10
apache-hive-3.1.2-bin.tar.gz.zip
2021-02-09
apache-hive-3.1.2-src.tar.gz
2021-02-09
apache-hive-2.3.8-bin.tar.gz
2021-02-09
apache-hive-2.3.8-src.tar.gz
2021-02-09
会声会影绘声绘影教程X6-pdf教程
2018-12-29
绘声绘影X5会声会影（入门到精通视频教程）
2018-12-29
海康威视sdk-web3.0开发包
2018-12-28
【给小白玩的脚本】自动发歌词、发弹幕
2018-08-22
Dshow虚拟摄像头代码，循环播放本地视频，QQ、微信可用
2017-12-02
网易云音乐搜索引擎代码
2017-06-20
QQ可用 Directshow实现的虚拟摄像头（win10+vs2013,c++代码）增加图片选择
2017-06-14
msvcr120d.dll
2017-01-10
msvcp120d.dll
2017-01-10
VS2013 C++运行库文件
2017-01-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人