- 博客(482)
- 收藏
- 关注
RSS订阅
原创 [万字长文] 人脸识别初步调研报告
人脸识别初步调研报告Contents背景应用背景硬件背景技术背景相关公司及 app著名公司非著名公司相关app人脸识别业务总结人脸识别攻防产品使用对比应用及开源实现公开数据集LFWFDDBMegaFaceWiderFace学术界技术路线术语介绍学术界论文参考资料人脸识别初步调研报告背景=======1.1 应用背景...
2019-12-26 14:42:54
48385
原创 一份简短的风格迁移调研结果
style_transfer_surveyA survey on style_transfer from the original fantasy paper till now.Contents:PapersPracticePaper Reading NotesCode MyselfReferencesPapersA Neural Algorithm of Artistic...
2019-12-26 13:14:26
8779
1
原创 自动提取知乎专栏下面所有的文章
这篇文章教导怎么自动化提取特定知乎专栏中所有的文章。这里随便找一个专栏作为示例进行测试一下。这里使用的专栏为：Dizzy In Science在chrome下打开这个专栏的源码，可以看到对应着文章链接的xpath路径为xpath = "/html/body/div[1]/div/main/div/section/div"可以看到在初始打开专栏的情况下，只会一次性加载10篇文章，在对专...
2020-03-03 15:58:15
2541
原创 判断一个代理ip是否可用
目录1. ping2. requests3. 总结很多时候都需要用到代理ip，需要从搜寻一些网站上提供的ip。搜寻到了之后一个需要注意的问题就是怎么样去判断ip是否可用，这里就总结下有哪些可以判断的方式。1. ping第一种最为简单直接的方式就是使用ping命令了，可以通过返回是否超时来看ip是否可以用。这种方法足够简单，但是需要手动去操作，只能适用少量ip的情形。如果是需要对大量ip...
2020-03-03 15:36:50
21622
原创 from scratch
softwareuniversalsublimeanacondapycharmandroid studioandroid ndkadbvscodesynergygitcmakechromegimpbazelhtop (visualization)VirtualEnvtypora (跨平台markdown 编辑软件)electron(跨平台app)ubunt...
2019-01-08 21:54:56
988
原创 linux 下sublime注册码
在linux下使用压缩包形式来安装sublime的时候，会无法在文件的打开方式里面选择sublime.需要使用deb的安装方式，然而只有dev build才会有deb的安装包，这种是需要收费的。一种解决方案是同时安装这两种，然后先打开免费版本的sublime，再点击需要打开的文本文件，就可以直接使用了。要不然会让输入license。另外一种办法是复制free sublime license,就...
2018-12-13 12:11:02
2781
原创 git 版本控制 doc/docx 文档
参考git 对 Microsoft Word 进行版本控制, 生成的文档图片不能自动转换，需要自己手动进行存储。
2018-01-11 13:37:15
8532
原创 写入图像的时间对比
写入图像的时候有一些常用的方法可供选择，在用 torch 保存的时候，发现tochvision.utils.save_image的时间有点长，做了个简单的对比：import cv2from torchvision.utils import save_imageimport torchimport numpy as npimport timeimport osfrom imageio im
2017-12-29 13:28:03
1637
原创 road
paper: Building and road detection from large aerial imagery homepage, slides,
2017-12-26 14:48:06
408
原创 Scene Detection
1 wikipedia 介绍Shot transition detection, 2 IBM Open Video Scene Detection Dataset, 2 scikit-video scenedet 方法： -histogram -edges -intensity3 github PySceneDetect 方法：-thoreshold -cont
2017-12-18 16:19:16
1600
原创 图像质量评价
参考图像全参考客观评价算法比较, Research on Image Quality Assessment. metric description SSIM FSIM feature-similarity (FSIM) index IW-SSIM RFSIM Riesz transforms based feature similarity (RFSIM)
2017-12-11 17:54:01
1529
原创 opencv3 VideoWriter 不能保存视频
跑 demo的时候，需要写入一些图片到视频中去， 结果发现有的时候可以写入，有的时候就不可以，期望写入文件的大小为0。控制变量法发现可能是有关视频的大小，换成小一些的视频以后，还是发现呈现一种薛定谔状态。参考opencv - not writing output with cv2.VideoWriter.write, 发现居然只支持 .avi格式的视频，而我用的是.mp4，更换了之后就没什么问题了
2017-12-11 17:21:05
7572
原创 python 将多个图片合成为一个视频
参考python + opencv 将图片保存为视频–2016年更新, code example 为：def imgs2video(imgs_dir, save_name): fps = 24 fourcc = cv2.VideoWriter_fourcc(*'MJPG') video_writer = cv2.VideoWriter(save_name, fourcc,
2017-12-11 13:48:53
31529
1
原创 python 执行命令行命令
初步了解的可能的方式为：subprocess.call(command)os.system(command)subprocess.Popencode example:1. osimport osos.system('ls')2. subprocessimport subprocess as subsub.call('ls') sub=subprocess.Popen(cmd,shell
2017-12-11 11:00:42
1295
原创 python opencv 实现开闭运算
涉及到的函数为erode 与dilate:import cv2import matplotlib.pyplot as pltsize = 11kernel = np.ones((size, size), dtype=np.uint8)img_erosion = cv2.erode(img, kernel, iterations=1)img_dilation = cv2.dilate(img
2017-12-08 17:33:24
5082
原创 python skimage 连通性区域检测
涉及到的函数为import matplotlib.pyplot as pltfrom skimage import measure, colorlabels = measure.label(img4[:,:,0], connectivity=2)dst = color.label2rgb(labels)plt.imshow(dst)
2017-12-08 17:31:22
22797
原创 pytorch 可视化初探
最近遇到一个调不出模型性能 bug, 需要深入一点了解。 可视化这块了解到主要是三块：visdomtensorboard-pytorchcrayon1. visdom先跑demo。端口号是8097， 可以在本地监听，然后用浏览器打开。git clone https://github.com/facebookresearch/visdomcd visdompython -m visdo
2017-12-06 13:09:11
1815
原创 ffmpeg 提取关键帧
参考key-frame 关键帧，是指动画中一个绘图，定义任何的起点和终点平滑过渡，一系列关键帧定义了观看者将看到的运动，而关键帧在电影，视频或动画上的位置定义了运动的时间。获取方法，参考视频关键帧提取，ffmpeg -i video_name.mp4 -vf select='eq(pict_type\,I)' -vsync 2 -s 1920*1080 -f image2 core-%02d.jp
2017-12-06 11:27:52
39711
6
原创 pytorch model 2 coreml
需要将训练好的 pytorch model 移植到 ios上，需要转换成 coreml格式。 caffe2 可以在 coreml上使用，一种方式是 pytorch 转换成 caffe2, 再利用 caffe2的跨平台移植到移动端上； 此外，onnx 可以直接转换成 coreml 格式的。需要转换的模型包含 conv, batchnorm, relu, avgpool2d, dropout, li
2017-12-05 20:33:44
1669
原创 安装 onnx_coreml on OSX
onnx转换成 coreml格式的时候， 需要安装 onnx_coreml,从源码安装的时候，并没有在~/site-packages/中生成 onnx_coreml相关文件，由于需要对生成的文件进行一些更改，所以不能从源码安装，pip install -U onnx_coremltimeout, 然后科学上网，能下载，但是提示：Command "python setup.py egg_info" f
2017-12-05 18:53:51
1250
原创 onnx on OSX
在 mac 下安装 onnx, 由于no checker if use conda install way #306, 需要使用从源码安装，git clone https://github.com/onnx/onnxcd onnxpython setup.py install会提示clang 错误，至少需要 OS X 10.7+MACOSX_DEPLOYMENT_TARGET=10.9 C
2017-12-05 17:14:26
1285
原创 install ffmpeg from source for OS X/ubuntu
下载 ffmpeg 的 git版本git clone https://git.ffmpeg.org/ffmpeg.git ffmpeg后， 按照 install.md来安装 ffmpeg, 1. ./configure 2. make 3. make install 当然，ffmpeg也提供编译好的二进制文件，可以直接运行，但是这种就需要注意路径问题了，一般是作为备选。 ./co
2017-12-05 16:27:13
400
原创 pytorch multi-process 在 multi-gpu 上的 deadlock
在调试的时候，不小心在同一组多 GPU 上跑了多组程序，由于在 pycharm 中中端 pytorch 程序的时候，经常会有后台进程关闭不了，所以需要手动去kill。然后，不小心陷入了一个 deadlock状态，参考nvidia-smi shows Unknown Error , and the corresponding 3 gpus can’t be used #3979,这个时候无法通过 ki
2017-12-04 18:57:18
1483
原创 pytorch increasing cuda memory OOM 问题
改了点model 的计算方式，然后就 OOM 了，调小了 batch_size,然后发现发现是模型每次迭代都会动态增长 CUDA MEMORY, 在排除了 python code 中的潜在内存溢出问题之后，基本可以把问题定在 pytorch 的图计算问题上了，说明每次迭代都重新生成了一张计算图，然后都保存着在，就 OOM 了。参考CUDA memory continuously increases
2017-12-01 15:33:35
5003
1
原创 python3 import module
在 pycharm 中运行程序和在终端中运行程序，经常会遇到导入的路径的问题，一个稍微简单的理解参考stackoverflow上的Changes in import statement python3， 虽然这个问题是有关于 Python2 与 python3在导入上的差异，但是有一定的借鉴意义。再就是官方的介绍6. Modules
2017-11-30 14:53:43
781
原创 pydev debugger: warning: trying to add breakpoint to file that does not exist
在使用pycharm远程连接服务器上的 python 解释器进行调试的时候，每次都会提示pydev debugger: warning: trying to add breakpoint to file that does not exist：XXX(has no effect)参考Remote debuging on Pycharm is concatenating local and remot
2017-11-29 18:34:07
14504
5
原创 pytorch CrossEntropyLoss 的数值稳定性问题
手写了一个带 mask 的 CrossEntropyLoss, 分为了 softmax, log， nllloss 三个步骤。 先 softmax, 再log + nllloss出现inf, 先 log_softmax, 再nllloss就可以了。
2017-11-29 17:19:50
4552
1
原创 pytorch contiguous 相关问题
pytorch 里面的 contiguous()是以 C 为顺序保存在内存里面，如果不是，则返回一个以 C 为顺序保存的tensor.tensor_name.is_contiguous()可以用来判断是否以 C 为顺序保存的。 一些可能导致不是以 C 为顺序保存的可能为：1. narrow2. transposeimport torchx = torch.ones(10, 10)x.is_co
2017-11-29 14:05:32
4908
1
原创 pytorch runtime error(59):device-side assert triggered at XXX
跑模型的时候，遇到了这个问题，定位是在 char-embedding 中的 conv 层中，由于需要使用 pool1d, char embedding后的 size 为(N*seq_len, word_len, embed_size)，然后需要放在 conv层中进行 conv1d 和 pool1d, 需要在 word_len的维度上进行计算，所以需要转换一个维度，然后报错:RuntimeError(
2017-11-29 14:00:12
31563
原创 一些从源码编译 pytorch的时候的问题
由于遇到了不能使用两块 k80GPU， 和pycharm 远程连接服务器的时候不能调试的问题：ImportError: dlopen: cannot load any more object with static TLS然后 conda install 的 pytorch 使用的 cudnn 版本的6的，使用 torch.backends.cudnn.version()来查看使用的 cunn
2017-11-28 16:02:06
7072
2
原创 python3 导入本地 package 问题
经常遇到导包的魔幻问题，同一段代码，放在 pycharm 里面可能会正常运行，然后在终端中或者在 Jupyter notebook里面运行的时候，又会报错：ImportError:No module named XXX参考问题描述Relative imports in Python 3. 具体的解决办法是：使用绝对导入的方法在导入local package， 加一个 空的__init__.py
2017-11-27 21:15:11
2367
原创 使用 pycharm 远程运行server 上代码
需要在服务器上调试程序。 参考使用PyCharm进行远程开发和调试, 结果在增加远程 python 环境的时候，配置的 ssh deplotment一直报错。project level deployment servers are not currently supported. please create one of two links above.暂时还没有解决，先用 ssh 连接着。添
2017-11-27 15:28:11
4820
1
原创 onnx 使用初体验
需要使用 pytorch, caffe2, coreml, onnx. 由于 caffe2 只支持 python2, 使用 python2.7.14来作为虚拟环境来编译 pytorch的时候，报错：clang: error: invalid deployment target for -stdlib=libc++ (requires OS X 10.7 or later)clang: error
2017-11-21 19:33:22
12429
原创 python 虚拟环境
由于在 Mac 上同时安装 anaconda2 和 anaconda3 的时候崩溃了多次，现在需要在 python2的环境下进行一些操作，所以需要产生一个虚拟环境。pip install virtualenv virtualenv path/venv_namecd pathsource venv_name/bin/activate即可产生一个虚拟环境。 默认的虚拟环境是当前的 python
2017-11-21 11:11:22
214
原创 markdown
markdown_here 插件可以将内容转义后再发送，github 24k stars。在其 wiki 中有 markdown 的 cheat sheet。markdown-quick-reference以列表的形式给出效果对比，比较直观。official projectlink.中文的整理地址
2017-11-16 17:44:51
232
原创 anaconda3.6 + opencv3.3 + windows10 配置
官方提供的 opencv 下载的版本解压之后都是 python2.7的，参考Windows+Python3.6.0（Anaconda3）+OpenCV3.2.0安装配置,额外下载非官方版本opencv for python3.6 即可，link 然后选择下载对应版本的 whl文件，pip install *.whl
2017-11-15 16:00:12
409
原创 vim 配置命令及插件
configset hlsearch 高亮搜索结果，所有结果都高亮显示，而不是只显示一个匹配set ignorecase 忽略大小写的查找set list 显示非打印字符，如tab，空格，行尾等set nu(mber) 显示行号set tabstop=4 设置 tab为4个空格set expandtab 将 tab扩展为空格set encoding=utf-8 设置编码格式set fi
2017-11-13 20:37:38
271
原创 mac 下在服务器上运行 Jupyter notebook
参考连接远程jupyter notebook —-windows环境, 进行基本配置参考How to run an IPython/Jupyter Notebook on a remote machine, 进行 mac 下连接, port 为服务器下的运行 jupyter notebook 的端口号。 先在服务器上运行jupyter notebook再在本地终端中运行ssh -N -f -L
2017-11-13 18:52:08
2942
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人