- 博客(145)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Pytorch IterableDataset的使用
Pytorch IterableDataset的使用Pytorch IterableDataset的使用背景当数据量特别大，无法一次性load进内存时，Pytorch里的Dataset就无法胜任了，此时需要使用IterableDataset.基本用法只需要实现__init__()、__iter__()和__len__()，模版如下：from torch.utils.data import IterableDataset, DataLoaderclass MyIterableDataset(I
2021-12-03 10:51:30
8032
转载 AdamW和Lamb优化器
https://blog.csdn.net/weixin_43269174/article/details/106255084
2021-04-23 14:42:16
1730
原创 Contrastive loss \ Triplet loss \ N-pairs loss \ Angular loss
Contrastive loss and Triplet loss:https://ahmdtaha.medium.com/retrieval-with-deep-learning-a-ranking-loss-survey-part-1-8e88a6f8e091N-pairs loss and Angular loss:https://ahmdtaha.medium.com/retrieval-with-deep-learning-a-ranking-loss-survey-part-2-df7e7
2021-01-14 10:58:32
1357
原创 解决mac下 excel打开csv或tsv中文乱码问题
乱码原因： mac下的excel读文件使用的是GB2312编码，而我们平时使用的csv或tsv文件为utf-8编码，所以中文会出现乱码。解决方法： 将csv或tsv文件转换为GB2312编码，转换方法有很多。比如用vscode打开，然后resave with encoding选GB2312, 或使用以下命令iconv -f UTF8 -t GB2312 源文件.csv >新文件.csv...
2020-11-17 10:39:01
5971
1
原创 Python实现倒排索引+BM25检索
http://bitjoy.net/2016/01/04/introduction-to-building-a-search-engine-1/
2020-10-26 17:50:02
1020
转载 ubuntu 16.04下安装Neo4J
这个博客不错，照着这个来就好https://www.cnblogs.com/zlslch/p/6933127.html
2019-08-26 21:09:47
351
原创 ssh远程登陆配置
通常ssh登陆远程服务器需要ssh -p 22 username@ip 然后输入密码， ip难记，下面介绍一个方便的方法。$ cd ~/.ssh$ ssh-keygen -f xxx # 生成指定的文件名xxx$ ssh-copy-id -i xxx.pub HOST # 把公钥文件拷贝到指定的服务器在.ssh/config 配置文件下中加个HOST的定义（可以添加多个HOST，只需要...
2019-06-12 17:00:03
782
1
原创 screen工具管理远程session
Screenscreen 工具可以在远程服务器上开启一个session。然后在该session里执行任务，然后离开该session，断开服务器连接。session里的任务不会终端，下次再连接服务器后可以重新回到该session。参考：http://www.cnblogs.com/mchina/archive/2013/01/30/2880680.html常用命令创建一个session，并...
2019-04-30 16:39:16
414
原创 贝叶斯优化-Python工具包
发现一个很好用的贝叶斯优化Python包，可以用来求最优解和选模型的最优超参数：https://github.com/fmfn/BayesianOptimization关于贝叶斯优化，请参考 贝叶斯优化论文...
2019-03-20 22:22:47
6338
3
转载 sklearn: TfidfVectorizer 中文处理时的注意事项
https://blog.csdn.net/blmoistawinde/article/details/80816179以前没有注意，尤其是token_pattern的设置，导致一些重要的单个字被忽略了。
2019-02-21 21:46:43
1697
原创 自然语言处理&知识图谱 论文阅读
自然语言处理&知识图谱论文阅读记录论文Huang et al. ACL 2012, 多义词表示论文阅读记录本人以前是搞深度学习和图像相关的，由于种种原因和个人规划，开始转做自然语言处理和知识图谱相关的研究。由于有一定基础，所以对NLP内容理解起来也比较方便，目前已经补充和学习了一些知识，以后用本文记录一些我阅读的文献。论文Huang et al. ACL 2012, 多义词表示...
2019-01-22 13:18:45
1188
原创 dmp文件的数据导入到oracle数据库中
dmp文件的数据导入到oracle数据库中做甲方的项目，甲方使用的oracle数据库，将数据导出成records.dmp格式给我们。为了存储数据，我们要先安装一个oracle数据库，并将dmp文件中的数据导入进来。另外，我们以知甲方的表空间名称hdr，用户名称是rdr;0. 安装Oracle数据库及其工具第一次使用Oracle，不是很会，看[我要自学网Oracle教程]快速入门，熟悉表空间...
2018-12-12 17:46:07
881
原创 Docker 入门笔记
Docker 入门笔记这是Docker的入门笔记，参照极客学院/走近Docker进行学习的，很适合入门。0. 初步体验安装Docker：参考Docker安装创建一个容器$ docker run -d ubuntu:15.10 /bin/sh此时使用ps -aux指令查看，宿主机上会多一个进程，这个进程就是我们创建的容器使用一下指令可以查看目前启动的所有容器$ docker ps...
2018-10-28 12:56:30
414
转载 Softmax 函数解决上溢出（overflow）和下溢出（underflow）问题
什么是上溢出和下溢出在计算softmax值的时候，会做e的指数，这可能会数值过大导致导致上溢出，或者数值过小而取0（下溢出）解决办法https://blog.csdn.net/csuzhaoqinghui/article/details/79742685...
2018-09-17 09:08:29
3840
原创 [Tensorflow] 模型存储、查看与载入
[Tensorflow] 模型存储、查看与载入版本： tensorflow-1.8.01. 模型存储使用tf.train.Saver模块, 保存路径的URL名称一定要*.ckpt。import tensorflow as tfv1 = tf.get_variable("v1", shape=[1], initializer=tf.random_normal_initialize...
2018-06-15 20:26:26
5966
1
原创 pycharm远程开发与调试
pycharm远程开发与调试0. 为pycharm添加远程服务器配置如果你已经为该服务器配置过远程服务器，可忽略此步骤。打开pycharm，tools->Deployment->Configuration, 在左边栏点“+“号添加远程服务器。右边配置如下图，只需要配置connection，注意”Visible only for this project”的勾去掉！...
2018-06-15 10:49:38
11528
1
转载 从外网 SSH 进局域网，反向代理+正向代理解决方案
相信很多同学都会碰到这样一个问题。在实验室有一台机器用于日常工作，当我回家了或者回宿舍之后因为没法进入内网，所以访问不到了。如果这个时候我需要 SSH 进去做一下工作，那么怎么解决这个问题呢？本文将给出一种使用 SSH 的代理功能的解决方案。转：https://segmentfault.com/a/1190000002718360...
2018-05-21 15:40:53
1587
原创 我的VS CODE关于latex workshop插件配置
支持中文{ // Latex workshop "latex-workshop.latex.tools": [ { "name": "latexmk", "command": "latexmk", "args": [ "-synctex=1&qu
2018-05-15 00:31:24
10747
转载 SSH -R 反向端口转发
摘自：https://abcdabcd987.com/ssh/反向端口转发：例子1相信很多人都会有这样的需求：我实验室的机器和宿舍的机器都处在局域网中，但我需要在宿舍访问实验室的机器，或者反过来。这个时候，你需要一台处在公网的机器，如果没有的话，可以考虑腾讯云或者阿里云的学生优惠。假设现在你有一台处在公网的机器 jumpbox，这台机器是在任何地方都能访问到的；你在实验室也有一台机子 ...
2018-05-11 16:45:35
25805
原创 双网卡服务器选择默认路由
双网卡服务器选择默认路由注意：我还没有搞懂，只是做个备份实验室服务器有两个网口，一个连内网（enp0s25)，一个连外网(enp9s0)。我要用github，默认走内网那个网口（enp0s25)，就无法使用。使用$route命令查看$ route目标 网关 子网掩码 标志 跃点 引用 使用 接口default...
2018-05-10 09:49:14
7598
转载 Mac OS 添加右键谷歌翻译服务
日前，锋友 z26jns2 分享了一个在 Mac 的任意位置选中文字都可以直接调用谷歌翻译的方法https://bbs.feng.com/read-htm-tid-11248152.html在处理文档的时候，我们常常需要使用到一些翻译软件，如果可以右键直接调用的话，将可以大大提升我们的工作效率。日前，锋友 z26jns2 分享了一个在 Mac 的任意位置选中文字都可以直接调用谷歌翻译的方法，一起来看
2017-12-22 22:54:51
7669
4
原创 创建python3的virtualenv
创建python3的virtualenv方法有两种，第一种方法和python一样，使用virtualenv命令。第二种方法是python3 -m venv命令。第一种方法创建的virtualenv中使用matplotlib会出现各种问题，所以建议使用第二种方法。方法1（不推荐）：与python2.7类似，前提本机已经安装好python3。$ virtualenv --python=python3 .
2017-11-02 13:13:56
2621
原创 LATEX 用bibtex引用文献
创建.bib文件创建个**.bib文件用来放参考文件，以refers.bib为例，在里面放入要引用的文献；@article{higham1994bibtex, title={BibTEX: A versatile tool for LaTEX users}, author={Higham, Nicholas J}, journal={SIAM News}, volume={27},
2017-10-03 14:52:38
1795
原创 LATEX 入门模版
说明这是我快速入门LATEX的一个模版，包含了绝大部分功能。\documentclass{article} % 选择模版，这里是使用Latex自带的article模版 \author{my name} \title{title} \usepackage{graphicx} % 插入图片用到的宏包 \usepackage{multirow} % 插入表格用到的
2017-09-29 16:23:19
8626
1
原创 Selenium + phantomJS 爬取动态网站
受同学委托，帮忙爬新浪微博的微博和评论内容。发现这是一个动态网站，我前端技术不行，搞不懂它的ajax接口，所以不能直接用requests包爬了。后来了解到Selenium可以模拟浏览器(Firefox, phantomJS等)的点击，然后用Beautifulsoup解析HTML，Selenium是爬动态网站的神器！phantomJS是一个没有界面的浏览器，用来爬虫最合适了。把Selenium用到的一
2017-07-13 19:59:46
1199
原创 # Ubuntu 16.04 搭建FTP
Ubuntu 16.04 搭建FTP1. 安装VSFTPD先查看是否已经安装：$ vsftpd -version如果还没装，则安装：$ sudo apt-get install vsftpd2. 修改vsftp配置文件vdftp的文件是/etc/vsftpd.conf$ sudo vim /etc/vsftpd.conf根据需求设置，一般情况下对下列属性值进行设置anonymous_enabl
2017-06-15 14:21:00
1772
原创 Linux 设置开机启动项的几种方法
Linux 设置开机启动项的几种方法方法一：编辑rc.loacl脚本Ubuntu开机之后会执行/etc/rc.local文件中的脚本。所以我们可以直接在/etc/rc.local中添加启动脚本。$ vim /etc/rc.local方法二：添加一个开机启动服务。将你的启动脚本复制到 /etc/init.d目录下，并设置脚本权限, 假设脚本为test$ mv test /etc/init.d/tes
2017-06-15 13:42:22
43542
1
转载 [转]git忽略对已入库文件的修改
一、关于.gitignore 和 excludes这两个文件的只针对尚未提交到配置库的文件才起作用。而对于已经提交的文件是不起作用的。 由此可见，这两个文件的初衷是用于排除不希望上传入库的文件。像编译产生的临时文件等。但是，我们经常有这样一种情况。 有个文件，我们必须入库，大家一起共享，但是呢。每个人本地的配置又是因自己本地的环境而异。这样的话，这个文件就很崩溃了。你要入库，通过.gitigno
2017-03-23 23:03:31
2360
原创 mac下快速挂在实验室工作盘和远程登录脚本
概述我经常要挂载在实验室的主机硬盘，并且登录。每次都敲sshfs和ssh都敲累了，就写个脚本实现吧。这个脚本要能够判断我在实验室内网还是外网，以便用不同的IP访问。脚本$ vim work输入如下内容#!/bin/sh# configureLAB_ERA=192# get ipIP=$(/sbin/ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v
2017-03-16 18:10:24
717
原创 Linux 北大网关断网重连
概述把台式机搬到实验室当服务器用了，买了个极路由插在公网IP上，做一个端口转发，可以随时随地远程ssh这台电脑了。但是问题来了，PKU的网关不稳定，有的时候会断，断了的话这台电脑就连不上网了。于是我利用北大提供的linux shell联网客户端connect, 写了一个脚本，每隔一定时间检测一下网络是否通畅，如果网断了，就自动重新连接。下载connect客户端去https://its.pku.edu
2017-03-15 09:43:12
3219
原创 把高维数据在二维平面可视化
https://github.com/autoliuweijie/DeepLearning/blob/master/others/visualize_high_dimensional_data.ipynb
2017-03-02 16:57:46
4445
1
转载 [转] MySQLdb进一步封装，解决连接断开问题
本文转自：http://blog.csdn.net/wzm112/article/details/7745835Python链接MySQL中没有长链接的概念，但我们可以利用mysql的ping机制，来实现长链接功能~ 思路: 1 python mysql 的cping 函数会校验链接的可用性,如果连接不可用将会产生异常 2 利用这一特性，构造一个连接丢失的循环，不断尝试连接数据库，直
2017-03-01 18:40:26
1754
原创 MySQL：一些基本操作
基本入门操作假设mysql的用户名是root，密码是password查看mysql是否在运行$ sudo netstat -tap | grep mysql登录MySQL$ mysql -u root -p查看都有哪些数据库mysql> show databases;使用数据库mysql> use [database_name]例如选择mysql的系统库mysql> use mysql;查看表mys
2017-02-20 23:10:02
380
原创 MySQL：开启远程访问
创建用于远程访问的账号登录mysql$ mysql -u root -p输入密码创建账号：mysql> use mysql;mysql> create user 'remote_user'@'%' identified by 'password';%表示可以接受从任意IP的主机访问，也可以写成固定IP，这样就只能从这个IP的机子访问。为这个账号赋予一些权利，例如我富裕读取test数据库所有表的权
2017-02-20 22:53:49
1072
原创 nat123端口映射: 外网通过ssh访问内网非公网ip的服务器
问题描述LINUX部署在内网环境，没有公网IP，在内网可以上外网。如何实现在外网SSH访问内网LINUX主机？解决方法：使用nat123端口映射，一步映射即可将内网LINUX地址映射到外网，实现外网的访问。nat123提供了两套解决方案：Linux版非网站映射《外网ssh访问内网linux-非网站映射-linux版》Linux版全端口映射《外网访问内网Linux-全端口映射-Linux版》 优
2017-02-19 21:59:27
4982
1
原创 使用sshfs挂载远程服务器上的目录
sshfs通过ssh协议，把远程服务器上的目录挂载到本地。0. 安装sshfs在macOS下用homebrew安装$ brew install Caskroom/cask/osxfuse$ brew install homebrew/fuse/sshfs其他系统请自行搜索。1. 使用挂载目录：$ sshfs user@hostname:path mount_point例如挂载192.168.0.1
2017-02-17 12:33:40
1354
原创 在ubuntu配置smb共享目录
目的为了mac能够挂载远程服务器的家目录安装samba$ sudo apt-get install samba添加用户我在远程服务器上的用户名是jagger, 所以$ sudo smbpasswd -a jagger这个时候要你设置密码，输入就好配置编辑/etc/samba/smb.conf文件，在最后加上如下内容：[jagger] comment = kagger's Home pat
2016-12-28 19:23:57
9628
原创 jupyter notebook远程访问
启动的时候加上ip和端口$ jupyter notbook --ip 0.0.0.0 --port 9999这个时候你就可以在其他电脑上通过http://那台电脑的ip:9999访问了
2016-12-27 09:48:19
1623
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人