- 博客(34)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 基于Tensorflow2.0实现图神经网络中Message Passing
近年来图神经网络越来越受到科研领域的关注，而众多的图圣经网络都是通过message passing方法来更新网络中节点的状态。在fennlp中我通过tensorflow2.0实现了message passing并基于此实现了GAN,GCN,和GIN，并且达到了相关论文的精度。相关结果以及代码已经开源在github上。更多模型实现正在努力中…更多信息参见：https://github.com/k...
2020-04-25 16:24:48
1202
转载 BPE, WordPiece, SentencePiece
自己开发的NLP小项目，将BERT, ALBERT和GPT2用Tensorflow2.0重写。欢迎围观 https://github.com/kyzhouhzau/fennlp众号分享机器学习，深度学习知识和技巧，以及学习资料。...
2020-04-07 19:28:52
2108
原创 是谁占用了我的显存？（深度学习显存占用分析）
自己开发的NLP小项目，将BERT, ALBERT和GPT2用Tensorflow2.0重写。欢迎围观 https://github.com/kyzhouhzau/fennlp众号分享机器学习，深度学习知识和技巧，以及学习资料。...
2020-04-07 19:17:35
1761
原创 Tensorflow2.0对不同层指定学习率
在使用Tensorflow编写深度学习模型的时候往往会考虑对不同的层采用不一样的优化器以及学习率，以下为其中一个案例import tensorflow as tffrom zh.model.mnist.mlp import MLPfrom zh.model.utils import MNISTLoadernum_epochs = 5batch_size = 50learning_ra...
2020-02-06 11:12:48
4045
1
原创 如何在word中高效的引用文献（EndNote）
最近在写毕业论文，由于之前做的很多都是数学相关的工作，而且部分工作都是用英文撰写的。之前一直习惯于用LaTeX写数学相关工作，一方面是其有丰富的论文格式模板，另一方便，用LaTeX写数学公式相当美观而且易用。本来打算毕业论文也用LaTeX写的，但无奈学校并没有提供LaTeX毕业论文模板，自己动手做也挺花时间，于是还是偷懒用了Word来写毕设。这里总结了一些关于毕设中引用文献，和书写数学公...
2020-02-06 11:08:16
18829
原创 在word中插入公式并给公式编号
插入公式和设置编号：在word中插入公式应当说相当简单了，可能你会想到用：插入->公式但该方法插入公式有很大的弊端，比如说，看上去并不是很好看，比如说引用起来不方便，比如说LaTeX支持不全面。所以今天介绍一个我用的word插件叫MathType。第一步、安装直接https://www.mathtype.cn/xiazai.html下载就可，是正版的，只能试用30天，这里用3...
2020-02-06 11:03:47
6204
原创 深度学习模型在训练时候使用dropout为何在测试时候不使用dropout?
深度学习模型在训练时候使用dropout为何在测试时候不使用dropout?深度学习模型训练时候使用dropout实际上只是让部分神经元在当前训练批次以一定的概率不参与更新，这样使得每一轮迭代获得的模型都是不一样的。这个过程一定程度上保持了不同模型之间最优参数设置，使得训练出的每一个模型不至于太差。在预测时候，不使用dropout，但会在权重上都乘上保留概率。最终的输出可以被认为是Bagging...
2020-02-02 21:09:21
5248
1
原创 L1正则L2正则的公式是什么？他们各自的特点是什么（适用场景）？
解释：L1正则由模型的参数的绝对值的和构成，L2范数由模型的参数的平方和构成。L1正则能够有效的1）降低模型的复杂度2）做特征选择这是由于当采用L1正则后模型中对于部分特征的权重会置零。这样可以有效的降低有依赖的特征，起到特征选择的作用，同时特征维度降低后模型的复杂度也随之降低。所以L1正则适用于特征有相互依赖，且对权重是0或者非0相当敏感的模型。L2正则能降低模型结构风险，防止模型过...
2020-02-01 09:55:25
1150
原创 dropout原理是什么（公式层面）， 为什么要用？
2、dropout原理是什么（公式层面）， 为什么要用？1、dropout是一种常用的防止过拟合的方法。在实践中，我们通常可以通过，增加训练样本，早停（即提前停止训练过程），L1\L2正则，dropout，以及batch normalize等手段来防止过拟合。2、dropout实现了一种继承学习的思想，在每一次训练时候，模型以概率p“丢弃”一些节点，每一次“丢弃”的节点不完全相同，从而使得模...
2020-02-01 09:52:09
6956
原创 Adam 和随机梯度下降的区别？
1、Adam 和随机梯度下降的区别？一、SGD1.1 对每一个待更新参数的求梯度，并在一定的学习率下按照梯度反方向更新参数。1.2 但该方法存在显著的弊端，例如以下这样的损失函数：在不同的参数方向一方面学习率不应当一样，因为他们的梯度程度不同，一个x1方向梯度较大，x2方向梯度较小，但若以相同学习率，很容易受单个参数的影响而很难走到局部最优点。二、Adam2.1 Adam 一方面动态的...
2020-02-01 09:51:18
4633
翻译 Protege Tutorial
Ontology Generation and Visualization with Protégé在本文中，期望读者对本体和本体规范有基本的了解。 以下部分说明了使用Protégé编辑器生成和可视化本体，并涵盖了基本的本体定义概念。 我们将研究创建一个简单的大学本体，然后通过使用VOWL插件在Protégé编辑器中对其进行可视化。下图显示了将在本文末尾构建的最终本体层次结构。什么是Pr...
2018-11-05 19:27:38
617
1
翻译 Protege Tutorial
注：作者google资源Fabio Papacchinihttp://cgi.csc.liv.ac.uk/~frank/teaching/comp08/protege_tutorial.pdf目标：构建如下知识网络step1:Adding ClassesStep2:Adding Class Hierarchies为了快速输入class以及其子类，可以用如下方法窗口描述（可直接跳...
2018-11-05 18:00:52
317
原创 MySQL (part2)
MySQL第七章（更高阶用法部分与上面内容重叠）apt-get安装MySQL-server和MySQL-client启动服务：sudo service start mysqlCREATE USER ‘username’@‘host’ IDENTIFIED BY ‘password’;如果想让用户从任意地方连接可以把host改成%查看当前版本：SELECT VERSION(), CURRE...
2018-10-19 08:46:27
204
1
原创 知识图谱实战系列(笔记)
第一章：一、 知识图谱与人工智能人工智能的业务架构人工智能的技术架构智能人机对话业务模型人工智能发展阶段一、 知识图谱的典型应用在语义理解中的应用在传统搜索中仅仅通过匹配英达，儿子，无法正确区分开这三类问题，但是当引入实体关系的结构化数据后，就很容易区分。在智能搜索中的应用搜索结果包括该实体的相关属性智能问答...
2018-10-09 22:27:07
5604
15
原创 JVM读书笔记
一、虚拟机创建对象的过程类型加载检测虚拟机遇到一条new指令时，首先将去检查这个指令参数是否在常量池中定位到一个类的符号引用，并且检查这个符号引用代表的类是否已经被加载解析和初始化过。如果没有，就必须先执行相应的加载过程。分配内存类的加载检测通过后，虚拟机将为新生对象分配内存（内存大小在类加载完成后就已经确定了）内存分配有“指针碰撞”，和“空闲表”两种方式，选择哪种方式取决于Java虚拟...
2018-09-30 09:12:31
136
原创 MySQL（part1）
MySQL 第一章sudo service mysql start检查系统中是否安装mysql数据库，如果没有安装：sudo apt-get install mysql-server #mysql的服务端和核心程序。sudo apt-get install mysql-client #mysql的客户端安装安装好服务端，和客户端后检查验证是否安装成功。sudo n...
2018-09-19 22:15:33
214
原创 Towards Binary-Valued Gates for Robust LSTM Training
Towards Binary-Valued Gates for Robust LSTM Training一、首先给出LSTM公式it=σ(Wxixt+Whiht−1+bi),it=σ(Wxixt+Whiht−1+bi),i_t = \sigma(W_{xi}x_t + W_{hi}h_{t-1} + b_i), ft=σ(Wxfxt+Whfht−1+bf)ft=σ(Wxfxt+Whfht...
2018-09-04 19:53:53
404
1
原创 语言模型与RNN
注：cs224n 语言模型：一个用来预测下一个单词的系统模型 用公式可以表示为： P(x(t+1)=wj|x(t),...,x(1))P(x(t+1)=wj|x(t),...,x(1))P(x^{(t+1)}=w_j |x^{(t)},...,x^{(1)}) 这里wjwjw_j是一个位于词汇表V={w1,...,w|V|w1,...,w|V|w_1,...,w_{|V|}}中的词。最...
2018-08-18 11:52:06
1922
原创 Tensorflow 实践中常见的错误解决方法
1、ValueError: setting an array element with a sequence.这个错误通常是由于train_x,train_y 和 mask（test_x,test_y,mask）出现了问题。这个时候可以尝试打印部分train_x,部分train_y或mask。尤其注意他们的长度信息是否对应。遇到过的出错有： X_train, X_test, y_train,...
2018-07-26 11:17:58
14776
4
原创 GPU 工作站安装与配置
GPU 工作站配置GPU型号：GeForce GTX 1080Ti CPU型号： i7 8700 酷睿六核 盒装CPU处理器 主板型号：华硕PRIME Z370-A 主板第一步 选择合适的系统这里直接选用Centos 7系统安装系统这部分比较简单就直接省去，下面主要记录安装完系统后的工作。1、网络配置：$ cd /etc/sysconfig/network-scrip...
2018-07-18 16:48:56
4354
原创 Fine-Grained Attention Mechanism for Neural Machine Translation
Fine-Grained Attention Mechanism for Neural Machine Translation在这篇文章中作者提出了一种fine-grained的注意力机制即每一维的context vector将获得一个单独的注意力得分。作者证明了这种做法的合理性通过Choi et al.(2017)的文章，对词向量的维度进行contextualization发现词向...
2018-06-01 22:08:09
674
原创 ATTENTION MECHANISM
ATTENTION MECHANISM自己看过的关于attention mechanism写的比较好的博客以及文章。1.https://blog.heuritech.com/2016/01/20/attention-mechanism/ 2.https://kexue.fm/archives/4765（苏剑林） 3.http://www.cnblogs.com/robert-dlut/...
2018-05-20 19:48:50
401
原创 Git 版本控制
Git 版本控制Step1: 1.git add readme.txt 2.git commit -m “add name” Step4: 1.git log –pretty=oneline 2.git log 命令显示目前提交的 Step5: 将当前版本回退到上一个版本 1.git reset -hard HEAD^ 2.git reflig 记录你的每一条命令这样可以找到...
2018-05-16 15:04:12
162
原创 Independently Recurrent Neural Network
Independently Recurrent Neural Network(IndRNN):Building A Longer and Deeper RNN阅读并整理《Independently Recurrent Neural Network(IndRNN):Building A Longer and Deeper RNN》论文，并解析其TensorFlow实现代码。 文章提出一种独立的...
2018-05-13 22:05:02
697
原创 Numpy
一种多维数组对象一、创建ndarry#一切序列型对象import numpy as npdata = [6,7.5,8,0,1]arry = np.array(data)arry.dtypedtype('float64')#嵌套列表将被转化成为登场等长的多维数组data1 = [[1,2,3,4],[2,3,4,5]]arry1 = np.array(data1)arry1array
2017-09-20 19:14:59
715
Tensorflow-BiLSTM分类
2018-07-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人