- 博客(61)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 在命令行式服务器上传或下载数据
在命令行式服务器上传或下载数据一、利用VSCode和密钥上传或下载数据二、从百度网盘上传或下载数据本文主要解决通过ssh连接的A=>B=>…=>Z的命令行服务器链路下，如何将数据从A传到Z或从Z传到A。可操作性强，不涉及理论，仅供参考。如果服务器有Ubuntu之类的桌面，还是建议直接远程桌面再安装百度网盘客户端，稳定安全。一、利用VSCode和密钥上传或下载数据1、安装VSCode，打开VSCode搜索ssh，安装Remote-SSH。2、安装完成后，点击左下角绿色的SSH，从上
2020-08-26 15:58:13
1562
原创 EDVR复现过程中的Segmentation Fault及Vimeo-90k数据集的百度盘下载
EDVR复现Vid4中的Segmentation FaultEDVR介绍Segmentation Fault升级gcc重新编译运行运行结果EDVR介绍EDVR全称是：Video Restoration with Enhanced Deformable Convolutional Networks，是CVPR 2019 Workshop NTIRE 2019的冠军。在视频超分辨率Vid4数据集上测试结果仅次于今年的ISeeBetter，只有一点点的差距。EDVR提出了一个PCD 对齐模块和时空注意力融合
2020-07-12 11:23:00
4966
6
原创 自动爬取微博热门评论和点赞数并存为EXCEL文件(python2)
前言上篇文章介绍了如何获取Cookie并爬取微博评论，但评论千千万，我们可能只对点赞数高的评论感兴趣，也就是热门评论。但要想获取热门评论，用之前的方法得把评论爬个遍，然后按点赞数排序。这种做法一来费时，二来爬的不完整（除非把微博数据库全爬下来）。但微博后台已经帮我们给所有评论排了序，所以我们直接爬热门评论就好了。获取Cookie1、用浏览器进入手机版微博页面登陆微博，如进入https:...
2018-12-01 16:24:44
6020
14
原创 一个奇怪的问题——ImportError: No module named google.protobuf.internal
编译好pycaffe在import时遇到这个问题：ImportError: No module named google.protobuf.internal解决方法：没有anaconda: pip install protobuf （编译caffe就需要这个protobuf）有anaconda: conda install protobuf (最后装了libprotobuf和proto...
2018-10-30 11:24:09
14115
1
原创 tensorflow CUDA_ERROR_OUT_OF_MEMORY：Could not allocate pinned host memory
2018-06-06 11:44:03.045361: E tensorflow/stream_executor/cuda/cuda_driver.cc:967] failed to alloc 4294967296 bytes on host: CUDA_ERROR_OUT_OF_MEMORY2018-06-06 11:44:03.045398: W ./tensorflow/core/com...
2018-06-06 14:50:01
6401
原创 cmake编译caffe-windows出现Not Found Atlas的问题
cmake编译caffe-windows时出现如下错误：CMake Error at C:/Program Files/CMake/share/cmake-3.7/Modules/FindPackageHandleStandardArgs.cmake:138 (message):Could NOT find Atlas (missing: Atlas_CLAPACK_INCLUDE_DIRAt...
2018-06-05 10:27:23
7370
3
原创 Anaconda+清华源+linux安装tensorflow-gpu1.4（2018.5.30亲测可用）
1、https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/ 按教程下载安装anaconda并配置清华源2、conda install --channel https://conda.anaconda.org/cjj3779 tensorflow-gpu 安装tensorflow-gpu1.4-----------------------------我...
2018-05-30 14:28:35
6458
8
原创 爬取新浪微博评论及点赞数并存储为excel的.csv格式
1、获取cookie，先进入微博页面登陆微博，如进入https://m.weibo.cn/status/4173028302302955后登陆，再使用chrome的F12可方便地获取自己的cookie，获取Cookie所需的选择项如下图所示，往下拉会看到自己的Cookie。2、写爬虫，代码如下，可以爬取诸如用户名 评论时间 点赞数 评论内容等等，保存为.py文件。本文参考了一些博客，但由于
2018-02-05 16:21:20
14743
16
原创 Cannot import name ‘container_abcs‘ from ‘torch._six‘
Cannot import name ‘container_abcs’ from ‘torch._six’记录一个bug解决import collections.abc as container_abcs 替换 from torch._six import container_abcsReference:[1] https://github.com/NVIDIA/apex/issues/1048PS：实测APEX可以在CUDA10.2 + pytorch1.9.0的环境下使用...
2021-10-05 22:21:30
1030
原创 linux服务器numactl + taskset缓解“一核有难，N核围观”
文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言今天处理数据，跑了12个程序，结果htop一看全在一个一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码如下（示例）：import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as snsimport warni
2021-04-17 22:19:17
2293
3
原创 Linux使用mount挂载Windows共享文件夹后没有权限创建文件夹或文件
共享文件夹没有权限linux下使用mount挂载Windows共享文件夹后无法没有权限创建文件，使用chmod也没用。报错如下：PermissionError: [Errno 13] Permission denied这是因为挂载的时候没有指定用户id和组id，可以使用如下命令挂载：mount -t cifs -o username=xxx,password=xxxxxx,uid=xxxx,gid=xxxx//192.168.188.102/Share ~/code参数说明 :.
2021-04-17 12:36:54
2767
原创 ToFlow: Video Enhancement with Task-Oriented Flow 资源
paper:http://toflow.csail.mit.edu/toflow_ijcv.pdfcode:https://github.com/anchen1011/toflowdataset: Vimeo90K 官网or度盘：https://pan.baidu.com/s/16lANG3EStS6sE7Ir1-AI8g 提取码：q4fi（占坑）
2020-10-28 01:38:04
409
原创 关于cv2.waitKey(1)的神奇错误
关于cv2.waitKey(1)的神奇错误opencv 4.4.0.44支持这个操作，但3.4.2中不支持。神奇的是放在for循环中会直接break出来而不会报错。解决办法就是：删除这一句，或升级版本。
2020-10-27 00:38:23
1258
原创 wget/aria2c模拟chrome浏览器下载文件（40）
wget/aria2c模拟chrome浏览器下载文件问题描述解决方法aria2c问题描述我们在服务器上没有桌面的情况下，无法像chrome一样直接下载文件，如果直接贴chrome的下载链接有时候只是下载了一个index.html。如果我们可以用wget模拟chrome发出类似下图的request请求，不就可以直接下载了吗？解决方法在chrome浏览器中打开要下载的页面，按F12打开开发者工具，点击最上面的Network，刷新，在下面找到需要下载的文件资源，右键选择Copy=>Copy as
2020-09-16 15:36:40
1237
原创 如何删除office2019多余的授权信息(45)
原装的officeHome&Student 2019自带激活，又跑去找了一个无效的office 2019pro的key，结果有两个版本的office——已激活和待激活，且以待激活office为主，为了改回已激活版本，需要删掉office 2019pro的许可证，结果官网没有找到相关信息，应用里也没有找到相关的按钮。后来发现这篇文章给出了一个很巧的方法，通过这三个命令完美解决：cd C:\Program Files\Microsoft Office\Office16cscript ospp..
2020-09-12 01:38:47
4798
1
原创 windows 10 ssh proxycommand 报错: “posix_spawn: No such file or directory”(46)
windows 10 ssh proxycommand 报错: “posix_spawn: No such file or directory”问题解决方案Long Story问题ssh使用ProxyCommand通过跳板机连接目标机，报错：CreateProcessW failed error:2posix_spawn: No such file or directory如果用VS code也会报错：...[20:50:57.334] > CreateProcessW failed
2020-09-10 21:31:48
12133
2
原创 利用imageio将多张.jpg转.gif图片(Python3)
利用imageio将多张.jpg转.gif图片多张.jpg转.gif图(Python3)PS: mimwrite API Documentation为了将几张图片转成gif，网上的各种软件简直有毒，一些要VIP，一些带毒的绿色软件就更别说了，用PhotoShop或者PR感觉又有点大材小用。多张.jpg转.gif图(Python3)主要思路非常简单：1、先利用imageio.imread读入多张图片，按顺序存进一个列表中2、再利用imageio.mimwrite将图片列表转成.gif图mimwr
2020-09-01 22:35:26
1643
原创 在无桌面环境下使用matplotlib.pyplot绘图并查看
如果在无桌面的命令行环境使用matplotlib.pyplot绘图会遇到如下的问题：RuntimeError: Invalid DISPLAY variable此时，可以通过添加以下命令避免：import matplotlib.pyplot as pltplt.switch_backend('agg')然后利用plt.imshow绘图：plt.figure()plt.title('FitureName')plt.imshow(img)最后通过savefig函数存储图片以便查看：pl
2020-08-30 23:31:05
277
原创 (Linux命令行) Cmake使用OpenBLAS编译Caffe
Cmake使用OpenBLAS编译Caffe报错信息使用OpenBLAS编译Caffe报错信息使用Cmake直接编译Caffe报错1CMake Error at /usr/share/cmake/Modules/FindPackageHandleStandardArgs.cmake:108 (message): Could NOT find Atlas (missing: Atlas_CBLAS_INCLUDE_DIR Atlas_CLAPACK_INCLUDE_DIR Atlas_CBLAS
2020-08-04 19:34:18
894
原创 MobaXterm 保持ssh连接
MobaXterm保持ssh连接MobaXterm客户端SSH保持连接命令MobaXterm客户端ssh常常几分钟不操作就自动断掉，每次都要重连，不堪其扰，后来发现是MobaXterm客户端没有设置好。点击setting勾选SSH keepalive即可。SSH保持连接命令也可以在客户端用ssh命令保持连接：ssh -o ServerAliveInterval=30 yourip表示每30秒重连一次服务器如果不想每次都输入这么长，可以在服务端配置/etc/ssh/sshd_config：
2020-07-12 22:57:54
4656
原创 记录一个奇怪的bug：/usr/bin/ld: this linker was not configured to use sysroots
有一个代码需要编译pyflow，用本地的python2编译得挺好，命令如下：g++ -pthread -shared -Wl,-z,relro build/temp.linux-x86_64-2.7/pyflow.o build/temp.linux-x86_64-2.7/src/Coarse2FineFlowWrapper.o build/temp.linux-x86_64-2.7/src/Stochastic.o build/temp.linux-x86_64-2.7/src/OpticalFlo
2020-07-04 22:15:13
708
原创 从零开始学Unity3D: 用AR做生日蛋糕
因为新型冠状肺炎病毒的影响，已闭关数日。然欢欢生日将之，交通不畅，快递不通，此诚危急存亡之秋也。一：工欲善其事必先利其器Unity下载：这里我用的是UnityHub，只要注册一个Unity ID，然后点击安装，选择版本，等进度条满会自动帮你安装。有路径需求的需要在设置->常规里改一下路径。SDK的选择：EasyAR我选择的是EasyAR，Vuforia应该也可以但对英文不好的同...
2020-05-14 12:22:25
1090
原创 TypeError: __init__() got an unexpected keyword argument 'serialized_options'
训练structure net遇到：raceback (most recent call last): File "./train_box.py", line 323, in <module> train(config) File "./train_box.py", line 101, in train from tensorboardX import S...
2019-09-07 18:16:41
687
原创 TITAN RTX + cuda9.0 + pytorch报错
RuntimeError: cublas runtime error : the GPU program failed to execute at at pytorch/work/aten/src/THC/THCBlas.cu:258git上的大佬给出的解决方案是cuda版本用cuda10，给出的原因是cuda9不支持最新的显卡架构。解决方法：1. 改回NVIDIA1080Ti2...
2019-05-02 20:03:52
2315
原创 记一次python内存泄漏
最近跑代码，跑着跑着总会报error: X Error of failed request: BadAlloc (insufficient resources for operation) ......或者直接被killed。估计是内存泄漏，google了一下，发现有两个好用的工具：guppy和objgraph可能因为是python3的环境guppy没装上，objgraph可以装：p...
2019-03-17 20:20:23
1789
1
原创 使用NATAPP+MobaSSH穿透互联网连接Windows(2019/1/27亲测可用)
近日有些项目需要在家完成，但需要使用学校的电脑，而家里的网络没法直连校园网。主要是因为两者分属不同的局域网，而我又没有公网ip，他们经过各种NAT网络地址转换后没有直连的可能（主要是我不会），但我的服务器和家里电脑都可以上互联网。大概如下图所示：（如果觉得字太多，可跳至分割线）作为一个网络小白，自然没有大神的手搭服务器的本领，什么VPS，一大堆云服务器配置还要钱，我表示:(所以机智...
2019-01-27 23:04:10
1228
翻译 论文不记之《Action-Driven 3D Indoor Scene Evolution》
论文主页标题：Action-Driven 3D Indoor Scene Evolution作者：Rui Ma, Honghua Li, Changqing Zou, Zicheng Liao, Xin Tong, Hao Zhang来源：SIGGRAPH Asia 2016翻译：change_things摘要这篇文章目的是介绍一个3D室内场景的动作驱动的演化框架，目标是模拟场景...
2018-11-01 22:04:13
275
原创 跑MUNIT遇到的问题
MUNIT: Multimodal UNsupervised Image-to-image Translation这是NVIDIA和Cornell大学合作的一篇论文（论文地址在标题里），网络框架和cycleGan类似，不同的是将输入Domain编码为Style和Content，如下图所示：结果就贴一张：下面是跑MUNIT-tensorflow出现的问题：```Traceback (most rec...
2018-05-31 12:21:29
5755
4
原创 Ubuntu删除core中部分文件后没有声音
硬盘空间不足，给linux做了下瘦身，结果耳机没声音了很难受。安装pavucontrol也没用。aplay -l显示没有声卡aplay: device_list:221: no soundcard found...但用lspci | grep -i audio可以找到声卡信息ls -la /dev/snd 也不显示声卡信息-----------------我是分割线----------------...
2018-05-30 16:36:19
302
原创 使用tensorflow1.0.1搭建StackGan用于文字生成各种花鸟图片
StackGan可以根据文字生成对应的图片，其文章为《StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks》效果如下图所示：github代码在此：https://github.com/hanzhanggit/StackGAN根据Dependencies搭建，但在搭...
2018-05-17 17:16:01
927
4
原创 在linux中搭建多tensorflow环境
最近要跑各种tensorflow的代码，苦于不同代码使用的tensorflow环境不同。后来发现在Linux下可以轻松使用Anaconda实现不同版本的tensorflow环境的同时存在，一下子方便了好多。比如在A工程中需要tensorflow 1.0.1+ cuda7.5 + cudnn，在B工程中需要tensorflow1.7+cuda8+cudnn，可以用Anaconda的conda cre...
2018-05-09 17:28:34
1493
2
原创 Ubuntu 16.04中Stardict词典安装和使用（可以屏幕取词）
1、安装stardict命令行：sudo apt-get install stardict2、下载词典下面这位仁兄的词典很全，大家可以按需下载。http://download.huzheng.org/3、导入词典假如下载在Downloads文件夹中。在~/目录下输入命令行：sudo tar jxf Downloads/stardict-×.tar.bz2 -C /usr/share/star...
2018-04-09 14:35:44
2593
原创 Using tensorflow 1.7 in Linux
1. install UbuntuUsing ultraiso, you can install Ubuntu along with Windows. After you make Ubuntu in a USB disk, you can't believe how easy it is. Just leave a disk partition for Linux and Click next....
2018-04-08 18:43:11
386
1
翻译 论文不记之《StyleNet: Generating Attractive Visual Captions with Styles》
一、本文目标提出了一个名为StyleNet的新框架，以解决为图像和视频提供具有不同风格的图片字幕的任务。二、本文贡献本文是第一个研究用样式来生成有吸引力的图片字幕的问题，而不需要使用受监督的特殊图像-标题配对数据。本文提出了一个端到端可学习的StyleNet框架，它可以自动从文本库中提取出样式因子。在标题生成中，样式因子可以被显式地合并以产生有吸引力的标题和所需的样式。本文收集了一个新的Flick...
2018-03-21 23:41:56
1679
翻译 论文不记之《Learning to Group Discrete Graphical Patterns》
一、主要贡献1、通过深度神经网络的第一个数据驱动的离散图形模式的感知分类。2、在模式设计中通过编码图形化元素得到可学习的形状、上下文和结构意识描述子。3、一个已标注的拥有丰富模式分类和关系的大数据集，有助于未来对模式分析和处理的研究。二、大纲本文网络结构主要分为两个子网络，上半部分被称为原子元素编码网络，输入是成对的原子元素，编码出形状-和上下文-感知描述子。下半部分被称为结构编码网络，整张图片作...
2018-03-21 23:30:30
281
1
翻译 论文不记之《Legible Compact Calligrams》
1、本文主要贡献本文的主要贡献是首次提出清晰的紧凑画诗生成，另一个是从众包数据中得出的易读性度量。2、大纲：该算法通过由粗到细的方法，输入小写字母和轮廓图，自动生成具有语义的画诗。如下图所示：a.路径生成：在最粗糙的处理层，本文将文本看作一个矩形并希望其以最小的形变适应图像的轮廓。即有足够的空间容纳这些文字，由此生成一条排放文字的路径。b.字母校准：在这一层，本文需要沿着路径排列文字。从纯易读性和...
2018-03-21 23:24:31
267
翻译 读书笔记之ESL（1）
有监督学习中输入(inputs)被称为预测者（predictor），更古典的说法是独立变量(independent variables)。在模式识别中我们更偏爱于使用特征(features)。输出(outputs)被称为响应者(responses)或者更传统的说法是依赖变量(dependent variables)。——《The Elements of Statistical Learning》2...
2018-03-05 23:10:28
1157
原创 用fiddler获取微信评论
要获取微信上公众号文章的评论，直接在PC上打开相应网页会发现并没有评论内容，这点和微博移动端不同。所以我只能直接截获手机上的包。这里我使用了Fiddler软件。Fiddler的安装和运行并不复杂，有点麻烦的是配置Fiddler的客户端并让手机安装Fiddler的证书。1、Fiddler客户端的配置：Tools->Options...->Connections： 1....
2018-02-07 20:53:33
883
原创 (Neighbourhood Components Analysis) NCA 近邻成分分析的学习
这篇文章比较早了，2005年在NIPS上发表的，提到度量学习（Metric Learning）就不得不提这篇文章，很有含金量，看看作者就知道了——Geoffrey Hinton, Ruslan Salakhutdinov(Orz)。鄙人也是刚开始学，若有错误，还请大牛斧正。度量学习就是学到一个合适的距离度量，即将样本在合适的空间中尽量区分开。目标和PCA有点类似。但不同的是这个是自适应的，其监
2017-11-12 19:07:18
5720
用fiddler获取微信评论(Materials)
2018-11-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人