- 博客(272)
- 收藏
- 关注
RSS订阅
原创 tensorflow+multiprocessing实现并行调参
笔者需要得到100组不同的超参数 训练后的测试准确率，其中不同的超参数对应于不同的网络结构，故Graph和Session均不能共享。即笔者需要执行100次 构建Graph-新建Session-Train&Test-Close&Quit 的操作。 而程序本身占用资源不多，于是便想要实现并行，加速调参。需求：输入100组超参数，返回相应超参数对应的测试准确率每组超参数...
2018-08-04 23:19:13
8772
14
原创 python获取GPU相关信息
笔者想要根据空闲显存信息，动态分配tensorflow中session运行的GPU。搜索下来没有发现成熟的方案，备选方案记录如下： 方案一： 翻译自：How to get current available GPUs in tensorflow? 使用tensorflow的后端函数device_lib.list_local_devices()。 缺点1：会尝试并占用所有可用GPU显存，需要...
2018-07-31 20:28:17
7779
原创 使用GPU训练大神经网络之 显存控制策略与提升
本文是“[PPoPP18] SuperNeurons:Dynamic GPU Memory Management for Training Deep Neural Networks”的论文阅读笔记，论文、talk视频PPT等详见作者主页：https://linnanwang.github.io/ 参考资料： https://linnanwang.github.io/ How to Optim...
2018-05-21 21:26:37
7274
3
原创 CS229课程笔记12：EM算法及混合高斯的应用
Ng此部分先介绍了EM算法的步骤，然后证明了其一致递增性（收敛性），最后给出了应用于混合高斯的例子。机器学习的一种任务是求取某个显示变量xx的概率分布P(x;θ)P(x;\theta)，但是鉴于P(x)P(x)不属于常见的易于表示的（例如指数型的变形）概率分布，无法通过简易的最大log-likelihood的方式求取。一种方式就是假设存在某种隐变量zz，P(x,z;θ)P(x,z;\theta)可以
2017-12-23 16:34:46
894
1
原创 大数据算法课程笔记8a：page replacement algorithm
本节课主要是介绍page replacement algorithm的相关算法，包括offline和online。1. 问题简介这个是体系结构里面的经典问题，内存小、硬盘大，内存快、硬盘慢。所以CPU从内存中读取数据，而内存从硬盘中读取数据。那我们希望内存读取硬盘的次数尽量减少，这样可以减少程序的运行时间，而减少次数的算法主要依赖于page replacement algorithm。所谓page
2017-11-06 22:23:46
2286
原创 大数据课程笔记3：Kolmogorov Complexity
这是大数据算法的课程笔记，这节讲的是Kolmogorov Complexity的定义以及三个性质。定义先有个图灵机的定义，然后有了一个Universal Turing Machine (UTM)的定义。假设存在输入yy和输出xx，使用一种Turing Machine TT，运行程序pp，可以从yy中生成xx，定义为x=T(p,y)x = T(p,y)。定义Kolmogorov Comlexity，基
2017-09-30 15:04:59
2035
原创 keras的EarlyStopping callbacks的使用与技巧
本文是笔者使用EarlyStopping的心得，很多是笔者自己的思考，欢迎大家讨论指教。 具体EarlyStop的使用请参考官方文档和源代码。EarlyStopping是什么EarlyStopping是Callbacks的一种，callbacks用于指定在每个epoch开始和结束的时候进行哪种特定操作。Callbacks中有一些设置好的接口，可以直接使用，如’acc’,’val_acc’,’los
2017-06-02 16:55:10
51000
13
原创 CS231n课程笔记6.1：优化迭代算法之SGD,Momentum,Netsterov Momentum,AdaGrad,RMSprop,Adam
CS231n简介详见 CS231n课程笔记1：Introduction。 注：斜体字用于注明作者自己的思考，正确性未经过验证，欢迎指教。优化迭代算法写在前面：Karpathy推荐Adam作为默认算法，如果full batch的话，在去除所有噪声的情况下尝试L-BFGS（一种二阶优化算法，详情请自行搜索）。关于优化算法的实现请参考CS231n作业笔记2.3：优化算法Momentum, RMSPro
2017-03-02 21:47:11
8266
2
原创 CS231n作业笔记2.3：优化算法Momentum, RMSProp, Adam
CS231n简介详见 CS231n课程笔记1：Introduction。 本文都是作者自己的思考，正确性未经过验证，欢迎指教。作业笔记本部分实现的是Momentum，RMSProb, Adam三种优化算法，优化算法是用于从随机点出发，逐渐找到局部最优点的算法。关于各种优化算法的详细介绍，请参考CS231n课程笔记6.1：优化迭代算法之SGD,Momentum,Netsterov Momentum
2016-12-29 21:13:51
6494
3
原创 slurm + multiple tmux sessions from different job & users
问题：slurm如果在同一个node上面run两个interactive job的话，这两个job是会共享同一个tmux system的，也就是说第二个job里面的资源（gpu等）是不能被tmux里面的job使用的。解法：这是因为tmux共享了同一个system temp目录，在第二个job里面手动更改一下就好了。P.S.: GPT4 + WebBrowsing 真好用，多年Google未解的问题一下子就搞懂了。
2023-05-24 03:37:34
170
原创 Ubuntu16.04+Virtualbox装Windows虚拟机分辨率调整
默认是800*600 (4:3)，想要适配显示器（16:9）。两个步骤：主机系统上限调整：file–>preference–>display 改成hint+显示器分辨率虚拟机内部配合：Devices --> Insert Guest Additions CD Image…...
2019-10-19 07:23:35
903
原创 生成symbolic link时的相对路径解释
使用ln -s <src> <tar>生成软链接的时候，<src>被解释为字符串，并没有调用os获取绝对路径。这里所有的相对路径，都会在调用<tar>的时候，用<tar>的pwd解释。这其实为了多个相同项目内部的软链接提供了方便。笔者直接使用相对路径创建软链接，调用<tar>时报错：Too many levels of sy...
2019-08-14 11:38:55
838
原创 pytorch小坑：需设置CUDA_HOME环境变量，保证全局CUDA环境一致
详见： https://github.com/pytorch/pytorch/issues/22844安装和代码中的CUDA_HOME调用函数逻辑不一致，在多CUDA环境中出现bug。保险的做法是在设置PATH, LD_LIBRARY_PATH等环境变量时顺带把CUDA_HOME也设置了。windows应该是CUDA_PATH环境变量。...
2019-07-14 18:09:56
46298
13
翻译 winscp/putty配置公钥认证
某服务器禁止了密码登录，仅支持公私钥认证。这在Linux里很方便，在windows当然也是可以实现的，这里采用winscp/putty。翻译自此博客：https://www.jscape.com/blog/bid/38946/Public-Key-Authentication-using-PuTTY-and-WinSCP简单地说：用PuttyGen生成公私钥（各种选项随便挑，不加passphr...
2019-07-03 20:57:50
2029
原创 强化学习课程笔记1：强化学习简介
课程简介笔者最近在刷强化学习相关的基础课程，一番调研之后选定UCL和UCB的两门公开课，刚好代表目前RL领域最火的两个流派。关于两个流派的对比讨论，详见知乎 请问DeepMind和OpenAI身后的两大RL流派有什么具体的区别？简单介绍一下两个课程：UCL Course on RLDeepMind当家人David Silver从头讲到尾，深入浅出，清晰明了。可能是因为是在UCL开课的...
2019-04-16 12:13:18
680
翻译 numpy陷阱之fancy indexing生成copy
numpy在用python传统的slicing做index，和其自定义的numpy.array/list做index时的表现不同，非常坑人。。。翻译自此文档：https://scipy-cookbook.readthedocs.io/items/ViewsVsCopies.html什么是fancy index：详见numpy文档 。简单的说，除了传统的slicing（即start:end:s...
2019-03-15 18:29:59
285
翻译 linux使用 不可见符号 作为命令行参数
翻译自：https://unix.stackexchange.com/questions/371797/unprintable-characters-as-input-in-command-linehttps://unix.stackexchange.com/questions/35369/how-to-define-tab-delimiter-with-cut-in-bash简单说，使...
2019-01-29 12:47:10
1041
原创 MIT算法导论课程笔记5: 线性排序算法
课程网站：http://open.163.com/special/opencourse/algorithms.html常见的merge sort, quick sort, insert sort, heap sort都是基于比较的排序算法，即通过比较元素的相对大小，确定排序顺序。这节课首先通过decision tree理论上证明了基于比较的排序算法的平均时间复杂度不会好于O(nlogn)O(n...
2019-01-22 23:03:45
217
原创 Windows的linux子系统无法使用NFS
需求：不能装双系统，虚拟机本地文件共享又不方便，所以想要用win10商店的linux子系统（ubuntu18.04）配合NFS实现本地的linux环境编程测试，再同步到服务器上。结论：基于NFS的共享同步文件系统，不被win10的linux子系统支持，可能可以考虑SCP相关的方法，但公司内同样不能用ssh，所以只能转战虚拟机了。此文记录了windows上配置NFS时所遇问题，包括windo...
2019-01-18 16:47:50
6053
转载 python编程环境配置http代理
需求：公司网络要走代理服务器，所以需要win10系统中配置git, pip, 以及ubuntu子系统走http代理。各个工具都有局部的或者全局的配置文件，配置起来很方便，记录于此以防以往。其中win10配置的是用户级的，ubuntu子系统直接做了全局配置。git: git设置HTTP代理git config --global http.proxy http://proxyUsername...
2019-01-18 13:24:48
1891
翻译 numpy.ravel无法使shape变成1D
我的错误修正很简单，将matrix变成array就可以了。不过了解了numpy中存在matrix这个ndarray的subclass，强制2D shape。根据What are the differences between numpy arrays and matrices? Which one should I use?中的说法，matrix效率低，还不灵活，只有方便写纯matrix计算代码...
2019-01-08 15:17:21
330
翻译 无root权限安装pip
翻译自：https://askubuntu.com/questions/363300/how-to-install-pip-python-to-user-without-root-access某服务器上无root权限，而系统无内置python-pip。搜索发现可以使用easy_install安装，命令如下：easy_install --user pip可能需要添加PATH（笔者没有用到）...
2019-01-01 14:55:58
1029
翻译 控制LaTeX公式中上下标格式
翻译自：https://www.overleaf.com/learn/latex/Display_style_in_math_modeLaTeX中对于文本环境中公式（e.g. $\max_\Omega$）和公式环境中公式（e.g. $$\max_\Omega$$）的展示方法不同。若想在切换展示方法，可以使用\textstyle和\scriptstyle两个命令。...
2018-12-28 21:19:46
8141
翻译 /usr/bin/ld不调用LD_LIBRARY_PATH内动态库
要编译个python包，内含c++拓展，需要一个动态库。因为没有服务器的root权限，自行下载动态库编译，得到.so文件及路径。按照常规的将路径加入LD_LIBRARY_PATH后，仍然无法找到指定动态库。使用ld -<lib> --verbose测试发现，/usr/bin/ld就不会搜索LD_LIBRARY_PATH指定路径。因为我对python包 以及 服务器整体环境并不...
2018-12-24 23:01:16
670
翻译 python复制virtual environment
翻译自： https://stackoverflow.com/questions/7438681/how-to-duplicate-virtualenv假设想要复制环境A到环境B首先进入环境A，生成requirement文件pip freeze > requirements.txt切换至环境B，安装即可pip install -r requirements.txt...
2018-12-17 10:35:27
347
原创 latex报错undefined control sequence
原因是原编译环境为中文windows，切换windows环境后，路径规范等均不相同，需要从头重新编译。解决方法是：删除所有编译中间文件，如.auv, .nav，仅保留源文件，重新编译即可。...
2018-12-07 09:48:23
17087
翻译 latex 使得+=不分开
翻译自 https://tex.stackexchange.com/questions/121940/plus-equal-are-separated简单解决方案：将$+=$替换为$\mathrel{+}=。也可以参照链接，定义新命令多次使用。
2018-11-18 23:45:58
2114
原创 tensorflow实现GNN的max aggregator
笔者想要实现GNN中的max aggregator，要求如下：输入：1. 邻接矩阵A∈{0,1}N×NA\in\{0,1\}^{N\times N}A∈{0,1}N×N，2. 各点特征矩阵X∈RN×CX\in R^{N\times C}X∈RN×C输出：每个点的邻居（点iii和点jjj是邻居⇔A[i,j]=1\Leftrightarrow A[i,j]=1⇔A[i,j]=1）特征值的最大值M∈...
2018-11-10 20:23:34
1998
转载 tensorboard查看tensor占用内存及运行时间
总结自：https://www.tensorflow.org/guide/graph_viz#runtime_statisticshttps://blog.csdn.net/fu6543210/article/details/80235720设置sess.run中option为FULL_TRACE，然后将输出的metadata写到writer里即可，样例代码如下：run_options = ...
2018-11-10 19:48:51
5211
翻译 ipython动态调试模块
翻译自：https://ipython.org/ipython-doc/3/config/extensions/autoreload.html使用autoreload魔法命令，可以使得每次调用模块内命令时，重新load相应模块。即可以在不退出ipython环境的情况下，同时修改模块文件，进行测试。使用方法为：%load_ext autoreload%autoreload 2import ...
2018-11-10 15:53:10
598
翻译 git递归移动submodule
总结自：How do I move an existing Git submodule within a Git repository? ，Git: moving submodules recursively (nested submodules) ， git官网直接使用shell的mv命令不改变git submodule内记录的子项目位置，直接报错，故需使用git-mv命令。当前Ubun...
2018-11-09 16:18:14
902
翻译 单行命令查看项目是否up-to-date
翻译自：https://mikefrobbins.com/2016/02/18/git-status-doesnt-know-if-your-local-repository-is-out-of-date/笔者发现git status命令并不能查看本地项目是否和远程一样（up-to-date），若本地和远程异步修改，版本错乱，merge起来很麻烦。简单的解决方式是每次修改项目之前都pull一下，...
2018-11-08 16:55:54
552
翻译 修复git submodule引起的detached head
总结自：Why is my GIT Submodule HEAD detached from master?Git submodules best practices上文记录了在子项目内修复detached head的方法，使用中发现是因为submodule使用不当引起的，当clone项目到其他位置时子项目内仍然是detached head。若对每个子项目都是用上文方法修复太过于麻烦，所...
2018-11-07 16:28:40
4732
翻译 修复git detached head
翻译自 https://stackoverflow.com/questions/10228760/fix-a-git-detached-head简单的说，新建一个branch保存临时修改：git branch tmp切换到目标branch上，新手一般是master：git checkout master将临时修改merge到当前branch：git merge tmp...
2018-11-06 16:26:57
593
翻译 LATEX幻灯片中Reference过长超页
笔者使用LATEX+beamer简易制作幻灯片，需要Reference页，代码如下：\begin{frame}{Reference}\bibliographystyle{apalike}\bibliography{sample.bib} % The file containing the bibliography\end{frame}但是当引用过多时会超页，参考How can I s...
2018-10-21 23:19:15
6972
5
转载 pip install 遇到错误 OSError: [Errno 28] No space left on device
参考 http://aka863.blogspot.com/2017/06/pip-install.html 因为tmp目录空间不够，使用-b指定build目录，解决问题。
2018-09-13 14:34:41
6709
转载 Python遇到unboundlocalerror local variable 'os' referenced before assignment
参照 说下那神奇的 UnboundLocalError: local variable x referenced before assignment， 发现是因为正文代码内部调用了import os，所以虽然全局同样import os，但是在其同域内赋值前会遇到错误unboundlocalerror local variable 'os' referenced before assign...
2018-09-07 16:13:35
2815
原创 python用邻接矩阵作图，输出存储在numpy.ndarray中的图像
简单地说，使用networkx作图，然后从matplotilb的canvas里面提取ndarray输出。从邻接矩阵生成networkx中graph类，使用from_numpy_matrix函数，详见：https://networkx.github.io/documentation/networkx-1.7/reference/generated/networkx.convert.from_nu...
2018-09-07 15:39:45
5998
翻译 ubuntu卸载foxit reader
翻译自：https://askubuntu.com/questions/816678/how-can-i-uninstall-foxit-reader-from-16-04使用安装目录里面的maintenancetool 通常的安装目录为home/(user)/opt/foxitsoftware/foxitreader，也可以通过locate foxit查找目录 可能需要root权限，使用...
2018-08-12 22:13:34
4064
1
原创 python动态import包
笔者需要根据命令行参数引入不同的包，原先一直使用exec函数，例如exec("import %s as model"%sys.argv[1])但是如 Why doesn’t exec work in a function with a subfunction? 所述，exec不易于子方程内使用。参照 Dynamic module import in Python，使用__import_...
2018-08-04 21:47:59
549
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人