3 kaiyin_hzau

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 15w+

基于Tensorflow2.0实现图神经网络中Message Passing

近年来图神经网络越来越受到科研领域的关注,而众多的图圣经网络都是通过message passing方法来更新网络中节点的状态。在fennlp中我通过tensorflow2.0实现了message passing并基于此实现了GAN,GCN,和GIN,并且达到了相关论文的精度。相关结果以及代码已经开源在github上。更多模型实现正在努力中…更多信息参见:https://github.com/k...

2020-04-25 16:24:48

BPE, WordPiece, SentencePiece

自己开发的NLP小项目,将BERT, ALBERT和GPT2用Tensorflow2.0重写。欢迎围观 https://github.com/kyzhouhzau/fennlp众号分享机器学习,深度学习知识和技巧,以及学习资料。...

2020-04-07 19:28:52

是谁占用了我的显存?(深度学习显存占用分析)

自己开发的NLP小项目,将BERT, ALBERT和GPT2用Tensorflow2.0重写。欢迎围观 https://github.com/kyzhouhzau/fennlp众号分享机器学习,深度学习知识和技巧,以及学习资料。...

2020-04-07 19:17:35

ASCII, Unicode

众号分享机器学习,深度学习知识和技巧,以及学习资料。

2020-04-07 19:09:38

Tensorflow2.0对不同层指定学习率

在使用Tensorflow编写深度学习模型的时候往往会考虑对不同的层采用不一样的优化器以及学习率,以下为其中一个案例import tensorflow as tffrom zh.model.mnist.mlp import MLPfrom zh.model.utils import MNISTLoadernum_epochs = 5batch_size = 50learning_ra...

2020-02-06 11:12:48

如何在word中高效的引用文献(EndNote)

最近在写毕业论文,由于之前做的很多都是数学相关的工作,而且部分工作都是用英文撰写的。之前一直习惯于用LaTeX写数学相关工作,一方面是其有丰富的论文格式模板,另一方便,用LaTeX写数学公式相当美观而且易用。本来打算毕业论文也用LaTeX写的,但无奈学校并没有提供LaTeX毕业论文模板,自己动手做也挺花时间,于是还是偷懒用了Word来写毕设。这里总结了一些关于毕设中引用文献,和书写数学公...

2020-02-06 11:08:16

在word中插入公式并给公式编号

插入公式和设置编号:在word中插入公式应当说相当简单了,可能你会想到用:插入->公式但该方法插入公式有很大的弊端,比如说,看上去并不是很好看,比如说引用起来不方便,比如说LaTeX支持不全面。所以今天介绍一个我用的word插件叫MathType。第一步、安装直接https://www.mathtype.cn/xiazai.html下载就可,是正版的,只能试用30天,这里用3...

2020-02-06 11:03:47

深度学习模型在训练时候使用dropout为何在测试时候不使用dropout?

深度学习模型在训练时候使用dropout为何在测试时候不使用dropout?深度学习模型训练时候使用dropout实际上只是让部分神经元在当前训练批次以一定的概率不参与更新,这样使得每一轮迭代获得的模型都是不一样的。这个过程一定程度上保持了不同模型之间最优参数设置,使得训练出的每一个模型不至于太差。在预测时候,不使用dropout,但会在权重上都乘上保留概率。最终的输出可以被认为是Bagging...

2020-02-02 21:09:21

L1正则L2正则的公式是什么?他们各自的特点是什么(适用场景)?

解释:L1正则由模型的参数的绝对值的和构成,L2范数由模型的参数的平方和构成。L1正则能够有效的1)降低模型的复杂度2)做特征选择这是由于当采用L1正则后模型中对于部分特征的权重会置零。这样可以有效的降低有依赖的特征,起到特征选择的作用,同时特征维度降低后模型的复杂度也随之降低。所以L1正则适用于特征有相互依赖,且对权重是0或者非0相当敏感的模型。L2正则能降低模型结构风险,防止模型过...

2020-02-01 09:55:25

dropout原理是什么(公式层面), 为什么要用?

2、dropout原理是什么(公式层面), 为什么要用?1、dropout是一种常用的防止过拟合的方法。在实践中,我们通常可以通过,增加训练样本,早停(即提前停止训练过程),L1\L2正则,dropout,以及batch normalize等手段来防止过拟合。2、dropout实现了一种继承学习的思想,在每一次训练时候,模型以概率p“丢弃”一些节点,每一次“丢弃”的节点不完全相同,从而使得模...

2020-02-01 09:52:09

Adam 和随机梯度下降的区别?

1、Adam 和随机梯度下降的区别?一、SGD1.1 对每一个待更新参数的求梯度,并在一定的学习率下按照梯度反方向更新参数。1.2 但该方法存在显著的弊端,例如以下这样的损失函数:在不同的参数方向一方面学习率不应当一样,因为他们的梯度程度不同,一个x1方向梯度较大,x2方向梯度较小,但若以相同学习率,很容易受单个参数的影响而很难走到局部最优点。二、Adam2.1 Adam 一方面动态的...

2020-02-01 09:51:18

Protege Tutorial

Ontology Generation and Visualization with Protégé在本文中,期望读者对本体和本体规范有基本的了解。 以下部分说明了使用Protégé编辑器生成和可视化本体,并涵盖了基本的本体定义概念。 我们将研究创建一个简单的大学本体,然后通过使用VOWL插件在Protégé编辑器中对其进行可视化。下图显示了将在本文末尾构建的最终本体层次结构。什么是Pr...

2018-11-05 19:27:38

Protege Tutorial

注:作者google资源Fabio Papacchinihttp://cgi.csc.liv.ac.uk/~frank/teaching/comp08/protege_tutorial.pdf目标:构建如下知识网络step1:Adding ClassesStep2:Adding Class Hierarchies为了快速输入class以及其子类,可以用如下方法窗口描述(可直接跳...

2018-11-05 18:00:52

前向传播后向传播

欢迎加入人工智能学习圈:

2018-10-29 16:56:15

MySQL (part2)

MySQL第七章(更高阶用法部分与上面内容重叠)apt-get安装MySQL-server和MySQL-client启动服务:sudo service start mysqlCREATE USER ‘username’@‘host’ IDENTIFIED BY ‘password’;如果想让用户从任意地方连接可以把host改成%查看当前版本:SELECT VERSION(), CURRE...

2018-10-19 08:46:27

知识图谱实战系列(笔记)

第一章:一、 知识图谱与人工智能人工智能的业务架构人工智能的技术架构智能人机对话业务模型人工智能发展阶段一、 知识图谱的典型应用在语义理解中的应用在传统搜索中仅仅通过匹配英达,儿子,无法正确区分开这三类问题,但是当引入实体关系的结构化数据后,就很容易区分。在智能搜索中的应用搜索结果包括该实体的相关属性智能问答...

2018-10-09 22:27:07

JVM读书笔记

一、虚拟机创建对象的过程类型加载检测虚拟机遇到一条new指令时,首先将去检查这个指令参数是否在常量池中定位到一个类的符号引用,并且检查这个符号引用代表的类是否已经被加载解析和初始化过。如果没有,就必须先执行相应的加载过程。分配内存类的加载检测通过后,虚拟机将为新生对象分配内存(内存大小在类加载完成后就已经确定了)内存分配有“指针碰撞”,和“空闲表”两种方式,选择哪种方式取决于Java虚拟...

2018-09-30 09:12:31

MySQL(part1)

MySQL 第一章sudo service mysql start检查系统中是否安装mysql数据库,如果没有安装:sudo apt-get install mysql-server #mysql的服务端和核心程序。sudo apt-get install mysql-client #mysql的客户端安装安装好服务端,和客户端后检查验证是否安装成功。sudo n...

2018-09-19 22:15:33

Towards Binary-Valued Gates for Robust LSTM Training

Towards Binary-Valued Gates for Robust LSTM Training一、首先给出LSTM公式it=σ(Wxixt+Whiht−1+bi),it=σ(Wxixt+Whiht−1+bi),i_t = \sigma(W_{xi}x_t + W_{hi}h_{t-1} + b_i), ft=σ(Wxfxt+Whfht−1+bf)ft=σ(Wxfxt+Whfht...

2018-09-04 19:53:53

语言模型与RNN

注:cs224n 语言模型:一个用来预测下一个单词的系统模型 用公式可以表示为: P(x(t+1)=wj|x(t),...,x(1))P(x(t+1)=wj|x(t),...,x(1))P(x^{(t+1)}=w_j |x^{(t)},...,x^{(1)}) 这里wjwjw_j是一个位于词汇表V={w1,...,w|V|w1,...,w|V|w_1,...,w_{|V|}}中的词。最...

2018-08-18 11:52:06

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。