3 kyle1314608

杭州美创 - 研究人员 学生身份

我要认证

南昌大学人工智能硕士,从事机器学习接近五年时间.

等级
TA的排名 3w+

Hopfiled 神经网络实例解释

Hopfiled 神经网络入门 进击吧程序猿 2018-01-01 23:04:27 本文参考 Hinton 的机器学习课程,总结了 Hopfield 神经网络,整个学习的脉络是:Hopfield 网络 -> 玻尔兹曼机 BM -> 受限玻尔兹曼机 RBM,本文是第一部分 Hopfield 网络。Hopfield 神经网络首先我们需要知道 Hopfield 网络是一种递归神经网络,从输出到输入有反馈连接。Hopfield 网络的一个特性是能实现联想功能,能够以动力学的方式运行。其典型的结构如下

2020-09-27 16:52:16

Warshall算法多源点之间最短路径的算法

    简介:Floyd算法又称为插点法,是一种利用动态规划的思想寻找给定的加权图中多源点之间最短路径的算法,与Dijkstra算法类似。该算法名称以创始人之一、1978年图灵奖获得者、斯坦福大学计算机科学系教授罗伯特·弗洛伊德命名。  eg:暑假,小哼...

2020-09-02 22:22:22

反证法与归谬法

反证法与归谬法极其相似,但是却有本质区别,下面以两个例子来说明这个区别反证法的例子:楚庄王养的一匹爱马死了,他十分痛心,命令群臣用大夫等级的礼节来埋葬这匹马。大臣们说不能这样做。楚庄王非常生气,下令:“有敢以马谏者,罪致死。”优孟听说此事后,去见楚庄王。要求以君王之礼来葬这匹马,并叫上各诸侯国,以便好让各诸侯都知道大王贱人而贵马的事。楚庄王听了,羞愧满面,如梦初醒。优孟谏楚庄王所用的就是反证法。他意欲向楚庄王论证...

2020-08-21 16:43:19

似然与概率

很多时候基础的概念没搞懂,或者知道了只知道照着例子套用,知其然而不知其所以然。对于知识的理解只能到达会运用的层面。而对于知识的创新运用是远远不足的。似然和概率在统计学中是经常见到的两个术语,有时候这两个概念是一个意思,有时候却有很大区别。这里梳理下这两个术语所代表的具体含义。本文中数学符号及含义 符号 含义 OO 释然 wiki中关于“似然”和“概率”的...

2020-08-12 20:30:26

GPT3后可考虑的方向-知识推理与决策任务及多模态的信息处理

8月7日-8月9日,2020年全球人工智能和机器人峰会(简称“CCF-GAIR 2020”)在深圳如期举办!CCF-GAIR由中国计算机学会(CCF)主办,香港中文大学(深圳)、雷锋网联合承办,鹏城实验室、深圳市人工智能与机器人研究院协办,以“AI新基建 产业新机遇”为大会主题,致力打造国内人工智能和机器人领域规模最大、规格最高、跨界最广的学术、工业和投资领域盛会。8月7日下午,在「人工智能前沿专场」上,京东集团副总裁、人工智能研究院常务副院长、及智能人机交互业务负责人何晓冬博士进行了题为「多模态人机对话

2020-08-11 09:00:58

多模态学习

首先,什么叫做模态(Modality)呢?每一种信息的来源或者形式,都可以称为一种模态。例如,人有触觉,听觉,视觉,嗅觉;信息的媒介,有语音、视频、文字等;多种多样的传感器,如雷达、红外、加速度计等。以上的每一种都可以称为一种模态。同时,模态也可以有非常广泛的定义,比如我们可以把两种不同的语言当做是两种模态,甚至在两种不同情况下采集到的数据集,亦可认为是两种模态。因此,多模态机器学习,英文全称 MultiModal Machine Learning (MMML),旨在通过机器学习的方法实现处理和理解多

2020-08-11 08:22:13

数据算法算力知识反绎学习

2020 年 8 月 7 日,全球人工智能和机器人峰会(CCF-GAIR 2020)正式开幕。CCF-GAIR 2020 峰会由中国计算机学会(CCF)主办,香港中文大学(深圳)、雷锋网联合承办,鹏城实验室、深圳市人工智能与机器人研究院协办。从 2016 年的学产结合,2017 年的产业落地,2018 年的垂直细分,2019 年的人工智能 40 周年,峰会一直致力于打造国内人工智能和机器人领域规模最大、规格最高、跨界最广的学术、工业和投资平台。在第一天的人工智能前沿专场上,南京大学计算机系主任、人工智能学

2020-08-09 15:05:48

三段论_五项基本原则

推理的分类

2020-08-05 16:46:29

什么是图神经网络

2019年可以说是图神经网络元年。01 什么是图神经网络?1. 图和属性图要了解图神经网络,首先要了解图。图是由节点和边组成的,如下图所示。一般图中的节点表示实体对象(比如一个用户、一件商品、一辆车、一张银行卡等都可以作为节点),边代表事件或者实体之间的特殊关系(比如用户和商品之间的购买关系)。在数学中,我们一般使用邻接矩阵来表示图,如上图右边所示。邻接矩阵中的值为 1 表示节点之间有边,即有连接关系。所以邻接矩阵其实很好的将图的这种结构信息表达出来了。还要介绍一个概念是属性图。就是说,图中的节点和边都带有

2020-08-05 10:25:32

图神经网络

参考文献[1]. A Comprehensive Survey on Graph Neural Networks, arxiv.org/abs/1901.0059[2]. The graph neural network model, persagen.com/files/misc[3]. Spectral networks and locally connected networks on graphs, arxiv.org/abs/1312.6203[4]. Distributed Repre.

2020-08-05 10:19:45

从2012年到现在深度学习领域标志成果

2006年,Hinton 发表了一篇论文《A Fast Learning Algorithm for Deep Belief Nets》,提出了降维和逐层预训练方法,该方法可成功运用于训练多层神经网络,使深度网络的实用化成为可能。该论文也被视作深度学习领域的经典之作。从原理来看,深度学习与神经网络紧密相关:神经网络由一层一层的神经元构成,层数越多,神经网络越深,而所谓“深度学习”就是模拟人类大脑,运用深层神经网络对输入进行“思考”、“分析”并获得目标输出的过程。那么, 自2006年Hinton发表经典论

2020-08-04 09:27:10

自监督学习现状和未来

本文作者来自东北大学,他通过整理自监督学习的一系列工作,把主流方法分成三大类,方便大家更全面的了解自监督学习的定义、方法、用途。与此同时,文中也穿插着几大主流方法的最新工作进展,现在正在探索自监督学习未来前景研究方向的同学,也不妨借鉴一二,说不定能找到灵感哦~我们首先来回顾下机器学习中两种基本的学习范式,如图所示,一种是监督学习,一种是无监督学习。监督学习与无监督学习[1]监督学习利用大量的标注数据来训练模型,模型的预测和数据的真实标签产生损失后进行反向传播,通过不断的学习,最终可以获得识别新样

2020-08-04 09:22:35

认知事物

在手里拿着铁锤的人看来,世界就像一颗钉子。——查理•芒格▲左查理•芒格,右巴菲特花半秒钟就看透事物本质的人,和花一辈子都看不清事物本质的人,注定是两种截然不同的命运。这是我很喜欢的《教父》中的一句话。你可能会觉得这样的能力离自己很远,以自己的智商和阅历,永远也不会具备如此的洞察力。其实你错了,智力真的不能决定什么,至少我们99.9%的人都还达不到拼智力的时候。我个人就是一个极好的例子,我的智商绝对不算高,甚至有可能在中下。高中的时候,我几乎是整个年级最勤奋的人,但是同学、老师都用心疼的眼神看着我。而现在朋友

2020-07-31 11:13:38

自己动手实现20G中文预训练语言模型示例

起初,我和大部分人一样,使用的是像Google这样的大公司提供的Pre-training Language Model。用起来也确实方便,随便接个下游任务,都比自己使用Embedding lookup带来的模型效果要好。但是时间用长了,就会产生依赖。依赖只是一方面,还有一个更大的问题,是我们需要思考的,他们提供的Pre-training LM确实很好吗?适合我们使用吗?一方面,它的大小适合使用吗?在BERT预训练语言模型刚出来时,最小的模型都是Base版的,它的hidden_size为768,占用内存大小为

2020-07-30 13:56:01

特殊字符编码

编码名称补充普通空格符\u0020Backspace\u0008\b水平制表符\u0009\t换行符\u000A\n垂直制表符\u000B\v换页符\u000C\f回车符\u000D\r不换行空格\u00A0相当与 看上去和空格一样,但是在HTML中不自动换行,曾在从word拷贝出来的文本中遇到行分隔符\u2028段落分隔符\u2029字节顺序标记(零宽非连接符)\uFEFF从左至右书...

2020-07-29 16:49:58

发现问题核心和本质

假设,你是一家创业公司的CEO。最近,你发现公司的业绩,一路下滑,你打算找业务部主管王小锤聊一下,看看到底发生了什么,下一步该如何应对。于是,你把他叫到了办公室,一脸严肃的问到:小锤,最近公司业绩一直在下滑,你打算下一步怎么办?小锤有些颤抖,紧张的说到:老板,这两个月团队走了几个得力干将。另外,这段时间,市场上出现了一个竞争对手,和我们的产品功能基本一致,但价格比我们低了许多,用户现在都觉得我们的产品太贵,都跑去买他们的了,所以业绩才下滑。如果能帮我再招募几个销售,适当的再给我一些折扣的权利,我有信心,业绩

2020-07-29 10:26:33

events.out.tfevents文件

使用命令tensorboard --logdir=event-dir(event路径)直接命令行或者在event当前路径新建.bat文件,编辑tensorboard --logdir=event-dir,保存双击运行得到网址,但有时候网址无法打开解决办法:直接输入localhost:6006,成功打开网页...

2020-07-29 09:04:50

GPT3应用

前不久OpenAI发布最新的NLP模型GPT-3,这两天霸榜GitHub趋势榜:这个模型的出现证明在AI领域的“大力出奇迹”,GPT3使用的数据集容量达到45TB,参数个数1750亿,一个训练好的模型就要 700G的硬盘空间来存储。近日有开发者根据GPT-3模型上线了一个能够自动生成代码的网站debuid(https://debuild.co/)。在这网站注册后,用户只要用英语描述需求,前端代码会自动生成。就连笔者这种在IT界摸爬滚打十几年的老程序员,在试用debuild网站后,吃惊得说不出话来。

2020-07-28 13:49:40

GPT3 api接口调用

原标题:OpenAI发布GPT3 api调用接口!可处理几乎所有英文问题 大数据文摘出品 作者:牛婉杨、笪洁琼 两周前,OpenAI又放了个大招:GPT3突然放出,其参数量达到1750亿,相当于1600个GPT1的大小,光把它用fp16半精度载入内存都得300GB,这还不包括实际训练中需要存储地梯度等中间变量。因此这也导致它训练起来非常昂贵,大概要花1200万美金,按现在汇率折合成人民币相当于8500多万元!!! 今天还有博客称,GPT-3可...

2020-07-28 13:40:57

GPT-3 Finetune

一只小狐狸带你解锁炼丹术&NLP秘籍2018年10月推出的BERT一直有着划NLP时代的意义,然而还有一个让人不能忽略的全程陪跑模型——OpenAI GPT(Generative Pre-Training)在以它的方式坚持着,向更通用的终极目标进发。最初的GPT只是一个12层单向的Transformer,通过预训练+精调的方式进行训练,BERT一出来就被比下去了。之后2019年初的GPT-2提出了meta-learning,把所有NLP任务的输入输出进行了整合,全部用文字来表示,比如对于翻译任务

2020-07-26 14:59:48

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 分享学徒
    分享学徒
    成功上传1个资源即可获取