2 刘知昊

尚未进行身份认证

学生。

等级
博文 564
排名 3k+

【区块链学习笔记】1:比特币中的密码学原理

跟着肖臻老师公开课学习一下区块链技术。加密货币加密货币(crypto-currency)是不加密的,区块链上的所有交易都是公开的,包括转账地址和转账金额。比特币中和密码学有关的技术主要就是哈希和签名两种技术。密码学中的哈希函数密码学中的哈希函数叫cryptographichashfunction,有如下两个性质。性质1:collisionresistance(collisionf...

2019-05-21 12:23:17

【PyTorch学习笔记】19:Batch Normalization

归一化(Normalization)简述现在常使用ReLU函数,避免梯度弥散的问题,但是有些场合使用Sigmoid这样的函数效果更好(或者是必须使用),如Sigmoid函数当函数值较大或者较小时,其导数都接近0,这会引起梯度弥散,所以要将输入控制在一个较好的范围内,这样才避免了这种问题。BatchNormalization就是为了解决这个需求的,当将输出送入Sigmoid这样的激活函数之前...

2019-04-30 12:40:53

【PyTorch学习笔记】18:pooling,up-sample,ReLU

pooling池化是下采样(down-sample)的一种手段,让featuremap减小;而up-sample则是上采样,实际上做了放大图像的操作。在CNN中,基本的单元是一个Conv2d,后面配上[BatchNorm,pooling,ReLU],后面三个的顺序不一定。pooling图像的down-sample在图像中要缩小图像的尺寸,常用的是隔行采样的方式,例如纵向每隔一行...

2019-04-29 10:21:26

【Go学习笔记】1:变量,常量,数组

变量基本使用packagemainimport"fmt"vare="一个全局变量字符串"varf,gint=1,2//一次定义多个//可以用因式分解的写法var( h,i,jint=3,4,5 kbool=false l,mfloat32=2.5,3.5)funcmain(){...

2019-04-26 21:10:23

【Keras学习笔记】11:CNN识别MNIST手写数字

CNN架构卷积层layers.Conv2Ddata-format:输入图像的格式,当为"channels_last"时为(batch,height,width,channels);当为"channels_first"时为(batch,channels,height,width)filters:生成多少个卷积核(要得到的图像的厚度),即变换后的图像通道数kernel_si...

2019-04-24 15:28:04

【Keras学习笔记】10:IMDb电影评价数据集文本分类

读取数据importkerasfromkerasimportlayersimportnumpyasnpfrommatplotlibimportpyplotaspltimportpandasaspd%matplotlibinlineUsingTensorFlowbackend.data=keras.datasets.imdb#最多提取1...

2019-04-20 18:50:20

【Keras学习笔记】9:从MNIST手写数字识别中初识ANN超参数的选择

读取数据importkerasfromkerasimportlayersimportnumpyasnpfrommatplotlibimportpyplotaspltimportpandasaspd%matplotlibinlineUsingTensorFlowbackend.fromkeras.datasetsimportmnista...

2019-04-19 19:31:39

【Keras学习笔记】8:使用Dropout和正则化项抑制过拟合

读取数据和预处理importkerasfromkerasimportlayersimportnumpyasnpfrommatplotlibimportpyplotaspltimportpandasaspd%matplotlibinlineUsingTensorFlowbackend.data=pd.read_csv("./data/cre...

2019-04-19 17:38:01

【Keras学习笔记】7:较多参数的MLP在信用卡欺诈数据集上过拟合

读取数据和预处理importkerasfromkerasimportlayersimportnumpyasnpfrommatplotlibimportpyplotaspltimportpandasaspd%matplotlibinlineUsingTensorFlowbackend.#header=None表示数据文件没有表头,第一行就是数...

2019-04-17 19:59:47

【Keras学习笔记】6:MLP预测Titanic数据集

读取数据和预处理importkerasfromkerasimportlayersfrommatplotlibimportpyplotaspltimportnumpyasnpimportpandasaspd%matplotlibinlineUsingTensorFlowbackend.data=pd.read_csv("./data/tt_...

2019-04-17 18:04:57

【Keras学习笔记】5:Softmax多分类预测Iris鸢尾花数据集(顺序编码)

读入数据和预处理importkerasfromkerasimportlayersimportnumpyasnpimportpandasaspdfrommatplotlibimportpyplotasplt%matplotlibinlineUsingTensorFlowbackend.df=pd.read_csv('./data/Iris....

2019-04-16 15:27:34

【Keras学习笔记】4:Softmax多分类预测Iris鸢尾花数据集(one-hot编码)

读入数据和预处理importkerasfromkerasimportlayersimportnumpyasnpimportpandasaspdfrommatplotlibimportpyplotasplt%matplotlibinlineUsingTensorFlowbackend.df=pd.read_csv("./data/Iris....

2019-04-16 15:04:16

【Keras学习笔记】3:Logistic回归预测Kaggle泰坦尼克数据集

Logistic回归预测Titanic读取数据importpandasaspdimportkerasfromkerasimportlayersimportnumpyasnpUsingTensorFlowbackend.data=pd.read_csv("./data/tt_train.csv")data.head()...

2019-04-13 20:41:58

【Keras学习笔记】2:多元线性回归预测Kaggle房价

多元线性回归训练模型多元线性回归也就相当于NN的一层,y=wx+b,其中w和x是>1维的同维向量,也就是用输入的特征x1,x2,…去使用参数w和b预测y值。importpandasaspdimportmatplotlibasplt%matplotlibinline#Kaggle房价的train数据df=pd.read_csv("./data/hp_trai...

2019-04-13 17:54:54

【Keras学习笔记】1:开发环境搭建,单变量线性回归

简述Keras是在既有的NN框架之上的封装,可以以TF,CNTK,Theano等作为后端来运行。它的价值在于快速实验,能很方便将实验想法用Keras框架写成代码。开发环境搭建默认情况下Keras使用TF为后端。注意后面两个用pip安装,不然一直无法安装成功。这里为了学习方便直接安装了TF,如果有GPU可以去安装GPU版本的TF。condacreate-nkrspython=3.6....

2019-04-12 15:00:34

【PyTorch学习笔记】17:2D卷积,nn.Conv2d和F.conv2d

简述2D卷积很适合处理图像输入。以之前的MNIST为例,在使用MLP时,为方便全连接层的处理,将28乘28的输入flatten成了784维的向量,这样就要有784个权值。而使用了2D卷积以后,假设使用3乘3的卷积核,那么每次的输入都是卷积核扫过的3乘3大小的区域,这样就只需要有9个权值,参数量大大减少了。卷积操作:卷积核和扫过的小区域对应位置相乘再求和的操作,卷积完成后一般要加个偏置bias。...

2019-04-05 10:42:16

【PyTorch学习笔记】16:Early Stop,Dropout,Stochastic Gradient Descent

EarlyStop如果一直训练,训练集上的性能可以一直上升,但验证集上的性能在经过某个点之后就可能开始下降,这时就是模型出现了over-fitting,提前停止就是用来克服over-fitting的。但是没训练完怎么知道哪个点是最大值点呢?可以用经验来判断,比如当连续多个epoch上的验证集Acc.在下降时就停止训练。Dropout简述为每个连接设置一个probability的属性,以...

2019-03-28 19:10:05

【PyTorch学习笔记】15:动量(momentum),学习率衰减

动量(momentum)简述之前学习的用梯度更新参数www的公式:wk+1=wk−α⋅∇f(wk)w_{k+1}=w_k-\alpha\cdot\nablaf(w_k)wk+1​=wk​−α⋅∇f(wk​)其中α\alphaα是学习率。现用zk+1=β⋅zk+∇f(wk)wk+1=wk−α⋅zk+1z_{k+1}=\beta\cdotz_k+\nablaf(w_k...

2019-03-27 19:57:52

【PyTorch学习笔记】14:划分训练-验证-测试集,使用正则化项

划分训练-验证-测试集简述测试集一般都是客户用来验收模型的,是拿不到的,在Kaggle比赛里就是用来计算选手模型的score的集合。而训练集拿到以后要划分成训练集和验证集,只用训练集来训练,验证集用来以一定的频率对模型的performance做验证,也就是用来防止over-fitting的,在训练过程中可以得到验证集的Loss或者acc.的曲线,在曲线上就能大致判断发生over-fitting...

2019-03-27 17:30:54

【PyTorch学习笔记】13:使用Visdom可视化训练-测试过程

在PyTorch的可视化中,相比tensorboardX,Visdom更简洁方便一些(例如对image数据的可视化可以直接使用Tensor,而不必转到cpu上再转为numpy数据),刷新率也更快。安装Visdom直接用pip安装的话在windows上面可能出现问题,先从Github上下载Visdom的源码,进入解压后的目录,执行:pipinstall-e.即从当前目录下的setup...

2019-03-26 15:08:46
奖章
  • Github
    Github
    绑定github第三方账户获取
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周上午根据用户上周的博文发布情况由系统自动颁发。
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周上午根据用户上周的博文发布情况由系统自动颁发。