- 博客(51)
- 收藏
- 关注
RSS订阅
原创 推荐评论展示（基于预训练Bert的文本分类）
目录一、题目描述1.1 背景描述1.2 数据集1.3 评测指标二、解题思路2.1 ML/DL的前提假设2.2 主要思路2.3 进一步的改进三、动手实践一、题目描述1.1 背景描述本次推荐评论展示任务的目标是从真实的用户评论中，挖掘合适作为推荐理由的短句。点评软件展示的推荐理由具有长度限制，而真实用户评论语言通顺、信息完整。综合来说，两者都具有用...
2020-03-02 22:06:12
1784
8
原创 零基础入门推荐系统：Task01 Baseline
此为DataWhale与天池联合举办的新人赛——新闻推荐，第一个小任务：实现一个Baseline
2020-11-25 22:49:14
343
原创 浅谈深度学习shuffle问题
在模型训练前，我们往往对数据进行shuffle，即随机打乱数据，为什么要这么做呢？不这么做会出现什么问题？何时应该shuffle，何时不该shuffle呢？下面，本文就以上三个问题发表下自己的拙见。Q1：为什么要进行shuffle？A1：不论是机器学习还是深度学习，我们总是基于数据独立同分布的假设条件，也就是说，数据的出现应该是随机的，而不是按照某种顺序排列好的。以上就是需要shuffle的根本原因。因此，我们需要在每个epoch的开始把数据shuffle一下。Q2：不shuffle会.
2020-11-10 16:59:23
2801
原创 Linux Permission denied
当使用scp在两台服务器之间传文件时发生如下报错：scp: /home//gbl/paper/train.csv: Permission denied可能的原因有2种：1）当运行scp命令时，会要求输入密码，如果这时候密码输入有误，会发生Permission denied问题，这时候的报错一般如下Permission denied, please try again.2）目标文件夹的权限问题，可能是禁止写入的，这时候报错一般是scp: /home//gbl/paper/train.cs
2020-09-16 14:50:12
588
原创 C++ STL map
因为不懂map的这个点，让我离面试机会又远了一点~，先来看几个代码吧1 下面的代码输出几？答案是0.#include <map>using namespace std;int main(){ map<int, int> mp; mp[0] = 1; printf("%d\n",mp[2]); return 0;}2 下面的代码输出什么？输出 hh#include <map>using namespace std;
2020-09-05 20:03:27
179
1
原创 CLion使用必备
若想正常使用CLion，需要配置一个文件CMakeLists.txt，只有把这个文件配置好了，才可以用的舒心。我们在开始写代码的时候，首先会创建一个工程，然后在这个工程下我们可能会写很多cpp文件。为了能做到这件事，我们必须配置好CMakeLists.txt(每个工程下都会有一个CMakeLists.txt文件)。下面直入主题，假设我们创建的工程名是niuke,编译环境使用c++11，那么，把下面的内容拷贝到CMakeLists.txt中就好了。cmake_minimum_required
2020-08-02 13:32:40
870
原创 Python中 No module named解决方法
有时候运行Python程序,如python bob.py会出现报错No module named '×××'，这是因为import ×××时发生了错误。该如何解决呢？下面分两种情况分析：（1）如果'×××'是一些python包，比如说numpy、pandas等，这时候在终端输入pip install×××命令安装相应的包即可（2）如果'×××'是非python的包, 比如说自己写了个alice.py文件，然后在bob.py的文件里要调用a，即import alice或者from alice imp.
2020-06-14 14:12:15
288836
22
原创 2020年招商银行FinTech数据赛道比赛总结
为期2周的比赛，最后b榜线上AUC0.7765，排名130，不知道第一名是多少，但看群聊，10名左右的人成绩是0.7842，差一个百分点，就与大奖差之千里啊，我还是太菜了=-=。不过，还是很开心的，以前学了一堆机器学习算法，现在这个比赛正好实战了一下。以前知道特征重要，现在真正体验到特征是多么的重要。话不多说，直入主题了目录一、赛题描述二、方案介绍2.1 EDA2.2 特征工程2.3 构建模型2.4 调参2.5 进阶三、总结3.1 个人参赛总结3.2 赛后学习
2020-05-27 23:52:26
5209
2
原创 关于“强化学习 策略梯度方法 方差大 的原因与解决方法”问题的思考
目录1 阅前需知2 为什么方差大？3 如何解决方差大问题？3.1 Add a baseline3.2 TD 代替 MC(即Actor-Critic方法)1 阅前需知策略梯度方法(Policy-Based)方法直接学习参数化的策略来进行动作的选择。本文所用符号的习惯与下书一致 此书中将所有符合以下条件的均称为Policy-Based方法，不论这种方法是否学习值函数：①...
2020-05-20 16:24:40
3134
原创 Python 多进程 踩坑记
话不多说，Python多进程要导入包from multiprocessing import Pool具体使用方法如下def func(i): print('Run task %s...' % (os.getpid())) t = time.time() # do some operations print('Task %s runs %0.2f secon...
2020-04-19 13:47:22
436
原创 Linux怎么完全删除一个用户
这几天，服务器总有个程序在跑，霸占了30+G的显存，问了问，实验室的人没人认领，也跟相关老师确认过，这机器确实是只有我们实验室的人在用。这就有意思了，看来是有人乱入啊，而且最近有人说中了挖矿木马，难道这是挖矿木马吗？不止14这台服务器，13服务器也是一样的情况，只不过13服务器用的少，暂没有人发现。输入ps aux | grep pid 发现他在运行以下代码输入 find...
2020-04-13 15:13:34
907
1
原创 二叉树的遍历 C++
二叉树的遍历有前序遍历(遍历顺序:根->左->右)，中序遍历(遍历顺序:左->根->右)，后序遍历(遍历顺序:左->右->根)，可以看出，这里的“前/中/后”是对根的位置而言的。哦对，还有一种遍历方法叫做层序遍历，下面就来C++实现下。（代码中除了各种遍历方法，还有求树深，树的镜像二叉树的镜像(剑指offer)，以及根据两个遍历序列重构二叉树的实现）#in...
2020-04-07 14:37:06
292
原创 RNN 真的会梯度消失么
学过RNN的想必都听过下面的言论，“RNN容易产生梯度消失和梯度爆炸”，“RNN不能捕获长期记忆”，那么RNN为什么不能捕获长期记忆？RNN真的就会发生梯度消失和爆炸吗？先来个答案，当序列很长的时候，RNN确实不能捕获长期依赖关系，也确实容易梯度爆炸，但是否容易梯度消失，却要好好分析下，亦或者说，RNN梯度消失不同于我们往常理解的“MLP、CNN等里面的梯度消失”。详细解说请往下看~...
2020-04-07 14:22:24
511
原创 C++ 对结构体排序 sort函数
很多时候，都会用到排序，在某些情况下，我们需要对结构体进行自定义的排序。本科的时候觉得大佬们那一行代码写的贼漂亮,而我只会 int a[5]; sort(a,a+n);bool cmp(){};sort(起始位置，终止位置，cmp);今天的我居然可以一下子把cmp函数写出来，实现对结构体数据的自定义排序。这似乎随着年龄增长，知识也在自己增长，因为我真的在今天之前没写过这个~我对...
2020-03-27 13:35:19
3909
1
原创 斐波拉契数列前n项和 & 斐波拉契数列第n项
此篇题解不为别的，纯属纪念，纪念一个已经且也许永远淡出我生活的人...记不清是大二还是大三了，只记得在教四304实验室，你教我如何用矩阵快速幂来求解斐波拉契数列的第n项，然后考我怎么用类似的方法计算斐波拉契数列的前n项和。那时的我勉勉强强猜对了=-=好像是猜对了目录斐波拉契数列第n项斐波拉契数列前n项和斐波拉契数列：f(0)=0,f(1)=1,f(n)=f(n-1)+f(n-...
2020-03-17 16:28:13
940
原创 为什么预训练模型那么好用？
一模一样的模型架构，直接用领域数据训练模型，可能生成效果贼差，语句不通也是常事。在预训练的bert上，微调bert权重，生成效果通顺又好~为什么呢？第一，领域数据太少。第二，学习难度大。就像人学习，如果拥有通用知识，比如学过高中语文，在此基础上去学领域知识会更容易，如果连基本造句都不会，就去学专业知识，怕是头都大了。而预训练模型用了大量的维基百科等通用数据来教会模型基础知识...
2020-03-17 15:52:14
2908
原创 猜数字游戏源码
听说有人喜欢玩猜数字~尤其是懂二分法的程序员，所谓猜数字游戏就是，我心里默想一个数字n，你猜，每一次猜测我会给你一个反馈告诉你真实的数字和你猜的数字的大小关系，看看你多少次能猜对~如果很喜欢玩，又恰好没人陪玩的话，来和机器玩啊~代码如下：（基于python环境）import randomprint('**************************猜数字游戏**********...
2020-03-05 14:17:11
1206
原创 文本分类 & 数据增强 & 模型微调
一 文本分类文本分类是nlp中的简单任务，已经能够取得很好的结果了。情感分类是文本分类任务中的典型问题，经典数据集是IMDb。自从有了bert，微调预训练的bert几乎可以秒杀一众模型~不过在这里，主要介绍两个模型，一个是基于rnn的，一个是基于cnn的。1.1 BiLSTM1.2 TextCNN二 数据增强这部分主要介绍一个计算机视觉中的常用技术，叫做图像增广(i...
2020-02-23 23:06:42
1530
原创 优化算法进阶 & word2vec & 词嵌入进阶
问答学习，自问自答~一优化算法进阶 什么是ill-condition？如何判断出现了ill-condition?有什么危害？ 学习率决定了优化的快慢 如何应对ill-condition？ 什么是Momentum方法(SGD Momentum)，其数学原理是什么？(hint:指数加权移动平均) 有哪些自适应学习率方法？ AdaGrad:大的梯度处，小的学...
2020-02-22 11:56:51
719
原创 批量归一化和残差网络 & 凸优化 & 梯度下降
一批量归一化和残差网络 BatchNormalization(批归一化) ResNet(残差网络) DenseNet(稠密连接网络) 二凸优化三梯度下降
2020-02-21 11:58:10
793
原创 卷积神经网络基础 & leNet & 卷积神经网络进阶
本文主要讲卷积神经网络，卷积神经网络的优点是什么呢？可以并行 与全连接网络相比，能更好的捕捉局部的空间信息，随着层数的增加，在输入上的感受野会增大 与全连接网络相比，参数量更少。一 卷积神经网络基础本节以二维卷积为例，二维卷积常用于处理图像数据。互相关运算与卷积运算 二 leNet卷积神经网络就是含卷积层的网络。 LeNet交替使用卷积层和最大池化层后接全连接层来进行图...
2020-02-16 23:13:25
794
原创 机器翻译及相关技术 & 注意力机制与Seq2seq模型 & Transformer
一 机器翻译及相关技术机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词，且输出序列的长度可能与源序列的长度不同；输入序列长度可变，输出序列长度可变。我们来分析一下这些特征，输入序列长度可变：不能直接使用多层感知机，因为它只能处理固定维度的输入(imput)输入序列和输出...
2020-02-16 16:14:48
963
原创 过拟合、欠拟合及其解决方案 & 梯度消失、梯度爆炸 & 循环神经网络进阶
一过拟合、欠拟合及其解决方案1.1 欠拟合与过拟合1.2 过拟合解决方案1.3 欠拟合解决方案二 梯度消失、梯度爆炸2.1 梯度消失2.2 梯度爆炸三 循环神经网络进阶3.1 循环神经网络的主要结构3.2 问答时间1 LSTM是如何缓解普通RNN中的梯度消失和梯度爆炸问题的？...
2020-02-14 18:39:01
726
原创 文本预处理 & 语言模型 & 循环神经网络基础
这部分内容是文本生成技术的基础，也是我的科研内容。嘻嘻嘻=-=在线性回归 & Softmax与分类模型 & 多层感知机中提到，建模的pipeline包括8个步骤，从大方向来看，可以归为2类，第1步（准备数据集）归为一类，called“数据准备”；2-8步归为一类，called“模型”。对于“数据准备”，也许有的结构化数据可以省略这一步，但像文本这样的非结构化数据却是一定要有这一...
2020-02-13 16:53:44
1102
原创 线性回归 & Softmax与分类模型 & 多层感知机
大学的时候，统计学专业，线性回归这个内容足足有一本书，包含了很多内容。《动手学深度学习》这本书，书如其名，侧重于实践。1 线性回归统计学习方法=模型+策略+算法，下面就从这三部分对线性回归进行描述。待更新2 动手实践实现一个模型的pipeline包括以下几个部分：1 准备数据集2 数据读取3 定义模型4 定义损失函数5 定义优化器/优化函数6 参数...
2020-02-12 14:45:11
1170
原创 Tensorflow RNN结构 解读
RNN的结构非常多，论文《An Empirical Exploration of Recurrent Network Architectures》中评估了10000种RNN结构。这里我们仅看一下比较流行的LSTM、GRU和多层RNN结构的源码。本文涉及的源码均在rnn_cell_impl.py文件中。在看源码前，我们首先看下RNN的结构 在源码中，R...
2020-01-16 16:24:11
709
原创 Tensorflow 动态RNN源码 初探
RNN在深度学习中占据重要地位，我们常常调用tensorflow的包就可以完成RNN的构建与训练，但通用的RNN并不总是能满足我们的需求，若要改动，必先知其细。下面我们根据源码对RNN的实现一探究竟。目录1 tensorflow版本2 动态RNN实现“三板斧”1 tensorflow版本import tensorflow as tftf.__version__ # ...
2020-01-16 15:46:38
360
原创 Python 传值or传引用
传值与传引用这件事情，不止是python，任何程序语言都要格外注意，但python中格外令人头疼，一不小心就成了传引用，致使两个变量同步变量，故而造成bug，且是不易察觉的bug。目录1 numpy中的传值与传引用2 pandas中的传值与传引用3 传值与传引用python里面的赋值操作“=”是传引用1 numpy中的传值与传引用请看下面一段程序import co...
2020-01-11 16:36:24
216
原创 Linux磁盘分区与挂载
多年以前学习过windows系统的磁盘分区，划分为D，E，F盘并给每个盘重命名，C盘默认为系统盘，如果以后重装系统，C盘的文件会重置，而其他盘的文件不受任何影响。其实Linux系统也是一样的，磁盘分区有助于更好的管理硬盘上的系统和文件，如果一个分区出现损坏，受影响的是损坏的分区而不是整个硬盘。以前都是在别人配置好的系统上做事情，现在有机会自己从0配置环境，遇到的第一个问题就是：Linux系统上...
2020-01-11 15:18:41
293
原创 《闪光少女》观后感
《闪光少女》这部电视剧里让我印象最深刻的两个人是女主A和女主的姐姐B。A是一个敢爱敢恨，敢拼敢打的女生，当她喜欢一个男生的时候，大胆的表白，最坏的结果也不过是被拒绝罢辽；当她想要组建一个乐队的时候，她想尽一切办法找乐队成员，发传单、口头相劝……最终找到了4个女生跟她一起组乐队，前提是A每周送四个女生一人一个手办。只要是她想做的事情，她从不懒惰，不论结果如何，起码努力过！B是一个老师，她学识...
2020-01-02 19:51:46
706
原创 Docker跨服务器迁移
有时候需要换一台服务器运行自己的代码，但又不想重新配置环境，这时候就可以把自己的docker移到相应的服务器上去，有点即插即用的感觉。假定现在要把服务器A上的docker复制到服务器B上……只需五步step 1 在A上把当前的容器提交为一个镜像：docker commit 容器名 镜像名比如在命令行输入sudo docker commit yutf gbl555step 2...
2019-12-31 17:01:53
540
原创 Word2Vec原理
本篇不是入门型文章，仅记录关于word2vec的一点思考，欢迎大家一起讨论。为了更好地表达，本文会采用cs224n官网以及刘建平老师的博客中的一些图片，在下面的介绍中不再一一注明出处。目录一、原始的word2vec模型架构二、原始word2vec的改进2.1Hierarchical Softmax2.2Negative Sampling一、原始的word2vec模型...
2019-12-30 22:21:05
521
10
原创 screen——让任务在linux后台运行
常常需要在linux远程服务器上运行一些任务，这些任务并不是短时间内就可以完成的，一旦关闭终端（terminal）窗口或者断开链接，任务就会被杀死；或者我们想要同时运行多个任务，但又不想开多个终端窗口，怎么办？这时候screen就派上用场了，它能实现任务和当前窗口的分离，即使你关掉了当前窗口，只要服务器还在运行，任务就依旧在后台运行；借助screen还能在当前窗口同时开始多个任务。一般的l...
2019-12-18 14:41:21
345
原创 死亡直播间
一点点的魔幻色彩，但场景又非常的贴合生活实际，引人沉思，结局在情理之中却又在意料之外（=-=我没有猜到结局。。。）的小说。仅因喜欢而记录，侵权必删人物介绍 先做下背景介绍，男主陈默，魔法能力拥有者，女主小梦，讨厌男主靠直播死人赚钱，两人最初的交集是女主小梦救了倒在家里的男主。我要出书 男主叫陈默，无业青年，天生自带魔法...
2019-10-17 16:50:53
619
原创 Pycharm配置远程Python解释器
Pycharm配置远程Python解释器，可以实现，本地编写代码，借助远程服务器上的资源进行代码运行，同时本地的代码和远程的代码是可以实时同步的，关键步骤有四，记录如下：（注：这个功能只有Pycharm专业版才有，学生可以用学校邮箱免费申请使用）一、基本配置配置主要在两个地方：1、如图所示，点开Configuration，按照提示配置即可。网上也有很多人写了具体如何配置2、打开...
2019-09-16 23:00:25
479
原创 Python绘图中文乱码问题——本质是字体不合适导致
在用matplotlib绘图的时候，不论是用IDE还是jupyter notebook，若出现中文显示乱码问题，且你尝试了各种方法都失败的话，那大概率是因为没有中文字体，怎么办？当然是配置中文字体咯，请往下看，容我细细道来……（该教程适用于windows，mac，linux平台，亲测有效）step 1:下载中文字体simhei.ttf（windows和mac版本都有，linux与mac的字...
2019-08-29 21:20:00
725
原创 tensorflow踩坑记之seq2seq
每次debug，都会发出灵魂拷问，“为什么我和别人的代码写的一模一样，但我的就是不对呢？”，每当此时，我的脑海中就会循环播放ykr童鞋的一句话“你以为一样，其实就是不一样，也许是输入格式就错了，也许是API换版本了，也许……”，是的，没错，这次就是输入和人家不一样，还自以为一模一样。问题描述：采用encoder-decoder框架实现基于关键词的文本生成，在训练阶段，decoder...
2019-08-20 21:50:45
5875
原创 那些年，屹立不倒的Flag
今天是2019年8月15日，真香定律横行世间，而我，一个爱立Flag的人，注定要围在真香定律的边缘疯狂试探，试图打败它。世间像我一样的人又有多少呢？如果你恰巧看到这篇博客，在评论区留下你打败真香定律的光辉事迹吧。[格式:具体是什么事件——是什么原因或者动力促使你打败了真香定律，扶住那摇摇欲坠的flag呢？]下面将不断更新我从今天起打败真香定律的事迹……敬请期待1、2、3、...
2019-08-15 17:13:59
255
3
原创 基于Deepo快速配置深度学习环境
在开始深度学习之前，需先做好一件小事，那就是配置环境，配环境的烦恼配过的都知道，话不多说，直奔主题……在阅读本文之前需要了解：docker是什么？docker的常用命令有哪些？（当然，不了解也没有关系，按照本文所述步骤一步步来就可以不明觉厉的配好环境了hiahiahia）ufoym/deepo是一个几乎包含所有主流深度学习框架环境的docker镜像：theano, tensorflow, ...
2019-08-08 19:53:28
2457
原创 微信自动发送新年祝福/自动回复
今天除夕，大家过年好啊！可以预见，晚上又是一波波的祝福轰炸，奈何微信好友太多，收发信息到手抖，春节晚会也不能细细品味，亦不能放下手机与家人共享天伦之乐（委屈脸），不过不怕，Python不是白学的！下面就来操作一波自动发送祝福语，然后自动回复，这一切都得感谢wxpy的存在哈哈哈哈。本文操作基于Python3的环境，需要的包可通过pip install [包名] 进行安装，安装之后首先导入包，...
2019-02-04 14:32:04
4231
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人