Dod_Jdi-CSDN博客

原创 AI论文参考

描述了12个NLP文本分类或者相关NLP模型的结构，解释及实现等。链接：CSDN飞翔的大马哈鱼包括：快速文本（fastText）文本卷积神经网络（Text CNN）文本循环神经网络（Text RNN）双向长短期记忆网络文本关系（BiLstm Text Relation）两个卷积神经网络文本关系（two CNN Text Relation）双长短期记忆文本关系双循环神经网络（BiLs...

2019-03-04 20:29:28 449

原创 Layer父子界面交互， require.js的配置和引入layer.js

Layer弹窗感觉还是挺好用的，就是父子界面间的交互不是很清楚。看了不少文档自己又试了挺久，算是找到了一个比较好的方法，记录一下吧。基本原理：获取弹出层实体，通过向方法传递参数的形式去弱化父子关系。基本使用：弹出页面层-相当于在当前页面中弹出一个divlayer.open({ type: 1, title: false, content: '自定义HTML内容' // str...

2018-12-21 15:41:40 2043

原创 Anaconda的简单使用

前面一直都是直接安装python，然后pip管理包，然而感觉版本管理和包安装有时候不是很方便，同学推荐用Anaconda，用了一下感觉真的方便多了，可以用pip的同时使用conda安装，还有可视化的界面。安装到官网下载安装，添加安装目录和其下的Scripts到path环境中。安装后打开工具prompt输入conda --version显示版本号说明安装成功啦添加代理（可选）：TUNA...

2018-10-31 10:52:45 371

原创集成学习 ensemble learning

集成学习（ensemble learning）：集成学习通过构建并结合多个学习器来完成学习任务。如神经网络集成中使用的都是神经网络，这类叫做同质集成，子学习器叫做“基学习器”；不同的叫异质集成，学习器叫“个体学习器”或者组件学习器。集成学习通过将多个学习器进行结合，以取得更好的学习能力或者泛化性能。通过投票法产生最后结果，同时个体学习器之间要尽量“好而不同”。两类集成学习： ...

2018-08-08 09:35:32 456

原创背包问题

在有容量限制的情况下装下最大价值的物品：// 设置n个物体重量和对应的价值int w[] = {0, 1, 2, 5, 4, 3};int v[] = {0, 1, 2, 3, 4, 5};// 背包容量int m = 10;结果导论：如果在取 [a1,a2...ak][a1,a2...ak][a_1, a_2...a_k] 时价值最大，那么在限制重量为 m−w[ak]m−w[ak...

2018-08-02 10:27:56 215

原创笔试

一、交叉熵损失函数首先sigmoid函数 y^=g(z)=11+e−zy^=g(z)=11+e−z \hat y = g(z) = \frac{1}{1+e^{-z}} 给出的是分类为1的概率，分类为0的概率为1−y^1−y^1-\hat y，即： P(y=1|x)=y^P(y=0|x)=1−y^P(y=1|x)=y^P(y=0|x)=1−y^ P(y=1|x) = \hat y \\ ...

2018-07-22 17:51:54 243

原创贝叶斯（Bayes）分类器

1、基本概念条件概率： A条件下B发生的概率为 P(B|A)=P(A,B)P(A)P(B|A)=P(A,B)P(A) P(B|A) = \frac{P(A,B)}{P(A)} 并且 P(A|B)=P(A,B)P(B)=P(B|A)∗p(A)P(B)P(A|B)=P(A,B)P(B)=P(B|A)∗p(A)P(B) P(A|B) = \frac{P(A,B)}{P(B)} = \frac{...

2018-07-21 11:53:27 520

在样本空间中，划分超平面的方程描述如下： wTx+b=0wTx+b=0 w^Tx + b = 0 其中w为法向量，决定了超平面的方向，b为位移项，决定了超平面与原点的距离。很明显，不同的超平面方向和位移项对分类鲁棒性不同，一般而言其间距(margin)越宽泛化能力也更好。对于正确分类的样本，总有： {wTxi+b&amp;amp;amp;amp;amp;gt;0,wTxi+b&amp;amp;amp;amp;amp;lt;0,yi=+1;yi=−1{w

2018-07-17 17:07:43 470

原创 python 独立版本管理

从python3开始添加了一个很好的东西：venv，即虚拟环境管理有一个类似的东西叫做 virtualenv，推荐个教程： virtualenv 教程通过venv你可以为自己甚至工程设立一个单独的python环境。系统可以安装多个python版本，但是版本切换比较麻烦，而且对于每个版本安装卸载库什么的可能会互相影响。系统安装完python会，使用venv会拷贝建立一个虚拟单独纯净的...

2018-06-29 22:26:07 371

原创 Retrofit2在Android的使用

是的，最近又在写Android，不要问我为什么，心累。Retrofit2 可以极大的简便网络交互，从此不用自己去管理线程，建立handler之类的。 Retrofit2 的使用主要包括三个部分：定义网络交互接口定义解析返回结果类在上面两个的基础上进行使用我前面看了一些资料，但是感觉不够直观（目的和过程不够清晰，其他都挺好的，官方链接：https://github.c...

2018-06-05 13:43:16 419

原创 tensorflow 使用笔记

解决window下 tensorboard不是内部或外部命令的问题将 C:\Users\用户名\AppData\Local\Programs\Python\Python35\Scripts 下的 tensorboard.exe 拷贝到 C:\Users\用户名\AppData\Local\Programs\Python\Python35\Scripts 下就好了。其他类似的问题基本都可以这...

2018-04-12 09:27:33 279

原创 Python 代码笔记

1、内置函数 lambda用法一：类函数格式如下，[]表示可选[生成器 =] lambda 参数x : 函数体 [实参]f = (lambda x: x=i)print(f(1)) # 输出1，这时候类似函数调用用法二：迭代print map(lambda x: x.startswith('s'), cities['City name']) # 实参部分是一...

2018-04-03 23:21:07 1302

原创 DeepLearning.ai code笔记5：序列模型

注意力机制模型模型：分为 Encoder层，Attention层和 Decoder层。将 Encoder层的每个时间片的激活值 s&lt;t&gt;s&lt;t&gt;s^{} 拷贝 Tx 次然后和全部激活值 a (Tx个时间片) 串联作为Attention 层的输入，经过Attention层的计算输出 nynyn_y 个阿尔法 α，使用不同激活值 a 作为不同阿尔法 α 对每个单...

2018-04-03 23:02:24 531 1

原创 DeepLearning.ai code笔记4：卷积神经网络

1、卷积基本结构Stride 步长：滤波器在原始图片上每次水平或垂直移动的距离。卷积大小的计算，滤波器大小为 f ，步长为 s , 填充为 p, 输入图片为 n×nn×n n \times n ，则卷积得到的特征图大小为, 下标 f 表示向下取整： [n+2p−fs]f×[n+2p−fs]f[n+2p−fs]f×[n+2p−fs]f [ \frac{n+2p-f}{s} ] _f \...

2018-04-03 17:25:36 653

原创 DeepLearning.ai code笔记2：超参数调试、正则化以及优化

1、L2正则化不使用正则化的公式： J=−1m∑i=1m(y(i)log(a[L](i))+(1−y(i))log(1−a[L](i)))(1)(1)J=−1m∑i=1m(y(i)log⁡(a[L](i))+(1−y(i))log⁡(1−a[L](i)))J = -\frac{1}{m} \sum\limits_{i = 1}^{m} \large{(}\small y^{(i)}\log\...

2018-04-03 16:39:10 360

原创 DeepLearning.ai code笔记1：神经网络与深度学习

说明一下，这和系列是对编程作业的作一些我认为比较重要的摘抄、翻译和解释，主要是为了记录不同的模型的主要思想或者流程，以及一些coding中常见的错误，作为查漏补缺之用。作业链接：https://github.com/Wasim37/deeplearning-assignment。感谢大佬们在GitHub上的贡献。1、随机数的生成np.random.randn() 和 np.random...

2018-04-02 22:52:09 965

原创吴恩达深度学习笔记六：序列模型

周末出去耍了一下，回来又玩了两天游戏，耽误了好多时间啊，关键是连输20多局。哎，以后还是少玩游戏，多去做些有趣的事情吧，免得费时费力还不开心。1、循环神经网络（RNN：Recurrent Neural Network）序列模型（sequence model）：处理语言和音视频等前后相互关联的数据。和CNN卷积模型处理相对独立的输入和输出不同，序列模型处理的是具有较强相关性的连续序列。序列...

2018-03-26 23:09:57 754

原创吴恩达深度学习笔记五：卷积神经网络人脸识别和风格迁移部分

1、人脸识别人脸验证（Face Verification）：输入图片和模板图片是否为同一人，一对一问题。人脸识别（Face Recognition）：输入图片，检测是否为多个模板图片中的一个，一对多问题。一般来说，人脸验证由于范围较小难度较小，而人脸识别需要进行一对多的比对难度较大准确率也较低。One-Shot Learning：由于人脸数据库的容量 K 并不固定，如果使用以前的...

2018-03-23 22:26:50 822

原创吴恩达深度学习笔记四：卷积神经网络基础和目标检测部分

1、卷积神经网络（CNN：Convolutional neural network）：卷积运算：矩阵对应位元素相乘然后相加，主要作用是特征提取和减少参数。深度学习中使用的是“互相关”卷积，即不进行偏转的卷积。滤波器（fliter）:也叫“核（kernel）”，使用具有不同参数的滤波器可以检测图片中垂直、水平边缘等特征。两个重要的特征，可以有效解决计算机视觉等存在的参数过多速度慢...

2018-03-20 09:45:51 994

原创吴恩达深度学习笔记三：结构化机器学习项目

1、正交化正交化：每次调整对某一性能进行针对性调试和优化，更快地发现影响效应，从而进行综合性的优化。一个好的模型最好能够同时在训练集，验证集，测试集和实际应用中表现良好，如果：情况解决办法在训练集上表现不好尝试更大的神经网络或者使用更好的优化算法（如Adam）在验证集上表现不好尝试获取更多的训练数据或者加入正则化在测试集上表现...

2018-03-16 22:02:13 907

原创吴恩达深度学习笔记二：超参数调试、正则化以及优化

第一周深度学习的实用层面 1. 数据集划分训练集：用以对算法进行训练，更新参数。验证集：用以训练过程检验模型和数据的拟合程度，可省略测试集：训练完成后评估模型所用的数据集划分：1、无验证集时，训练集：测试集 = 7：3 2、训练集：验证集：测试集 = 6：2：2 2. bias-variance，偏差和方差偏差bias：描述模型对训练集的拟...

2018-03-12 22:25:22 3141

原创吴恩达深度学习笔记一：神经网络和深度学习

1. 梯度下降中的一些计算     第一个框：logistic回归方程的代价函数的导数dj/dz 可认为是a-y      第二个框：前一级变量的导数为后一级变量导数乘以其系数。      另外求dZ和dA不需要进行 ”/m” 操作# dA/dA_pre = ...

2018-03-01 16:05:02 528

原创 caffe配置python接口

怎么安装caffe在这：http://blog.csdn.net/Dod_Jdi/article/details/78635061 不知道Ubuntu为什么不能编辑已经发表的博客，再开一篇吧进入caffe安装目录然后编译make pycaffemake all make test make runtest 在这里我出现了python/caffe/_caffe.cpp:10:31:

2017-11-26 01:10:02 542

原创安装Ubuntu 16.04时卡住的那些坑

Ubuntu对NVIDIA的显卡支持也真是醉了。安装和启动各种卡在启动界面，强制重启数次。。。其实解决办法都差不多，修改显示方式安装时在这里按“e”建进入编辑，修改倒数第二行：将quite splash --- 改为quite splash nomodeset启动时类似，e键进入修改为nomodeset安装显卡驱动，如果要安装caffe这里的显卡太新了，选择后面一种方式安装。而且安装cu

2017-11-25 23:36:18 92857 6

原创 Ubuntu 16.04 + cuda8.0 + opencv3 + caffe的安装，tensorflow-gpu的安装

折腾了一天总算把caffe装好了，其实主要是编译库的问题，记录一些坑，跳过就好了。另外吧，tensorflow-gpu的安装前面安装cuda和cudnn的几步一样，就不另开了吧。cuda8.0 和 cudnn6.0的安装tensorflow-gpu 的安装（乱入，可选）opencv3.1 的安装caffe的安装安装cuda8.0不管是安装tensorflow还是caffe，要用到gpu速度要快很多

2017-11-25 23:19:10 1873

原创简单PageRank的理解

最近由于要考试设计PageRank算法在Hadoop上的实现，因此学习了一下PageRank的简单模型。主要学习资料为网易公开课上的一个大约半小时的视频，：http://open.163.com/movie/2015/4/E/5/MAL6BDF3J_MALTODME5.html基本介绍PageRank主要通过网页间互相的链接关系来确定网页的重要性（等级），同时一个重要的网页指向的网页也认为是较为

2017-11-18 02:27:18 1302

原创 import cv2 not module，win10 python3的问题

到 https://pypi.python.org/pypi/opencv-python 下载对应的opencv版本，注意cp后面的数字才是对应的Python版本。下载完成后使用命令安装: pip install --user opencv_python-3.3.0.10-cp35-cp35m-win_amd64.whl这样安装有一个问题，安装后的库文件不在相应的路径内，而是在Python的lib文

2017-11-14 17:44:25 1496

原创如何使用TensorFlow进行深度学习

看了挺久的例子始终对TensorFlow的深度学习机制不甚明了，因此特地写一下其使用流程吧，如有不对请纠正。1、准备数据深度学习当中一般有train，validation，test三种数据集，前面两种可以将数据全部加载到程序当中再按照比例划分。可选：将数据转换为tfrecord文件格式，据说可以加快大规模数据的加载速度。因为TensorFlow是以图的概念进行运行的，tensor（张量）相当于其

2017-10-30 12:36:27 1663

原创 CSDN如何转载文章

这个方法可以基本可以把任意网页上的内容转载到博客中。打开chrome浏览器，在网页上右键选“检查/审查元素”：如果检查没有显示相关内容，点击“查看网页源代码”也是可以的，复制相关块内容，然后粘贴到博客中就好啦：

2017-10-28 22:11:46 360

转载 CNN卷积神经网络中的AlexNet、VGG、GoogLeNet、ResNet对比

CNN卷积神经网络中的AlexNet、VGG、GoogLeNet、ResNet对比

2017-10-28 21:58:17 23481 1

转载 CNN中的dropout理解

理解dropoutdropout强迫一个神经单元，和随机挑选出来的其他神经单元共同工作，达到好的效果。消除减弱了神经元节点间的联合适应性，增强了泛化能力。

2017-10-28 21:51:10 51691 1

原创 CNN卷积神经网络的理解

一般神经网络结构和CNN卷积神经网络的对比从左图我们可以很容易理解神经网络的结构，对于一般神经网络而言，对于每一个节点，其输出为 y = f( （w1x1 + b1 +） + (w2x2 + b2 ) …)。其中w表示x对应的权重，b表示bias偏置量，即w,x,b构成了关于x的直线方程，f(x)表示激活/响应函数，一般是将神经元的输出压缩至[0,1]范围，例如f（0.6）=1，f（-0.6）=0

2017-10-28 00:58:18 543

原创安装Python库出错，如numpy scipy scipy的解决办法，切换版本

安装库一般使用： 1、sudo apt-get install 库 2、sudo pip install 库但是有时候因为不是用root登录，会报错，例如不用sudo可能会导致权限问题，使用的话有可能无法修改用户Cache的问题。使用： pip install –user numpy scipy matplotlib ipython jupyter pandas sympy nose 来

2017-10-25 22:49:33 1964

原创 bias and variance 的简单理解

假设有下列模型，我们需要选择其中一个较为合适的模型作为最终的预测模型。我们知道随着维度的增加其曲线也更加复杂，能够更好地拟合训练集上的数据，此时bias（偏差）很小，但是很可能在预测时表现却不尽如人意（过度拟合）。比较左图和右图，相较而言中图variance（方差）更小，而右图bias（偏差）更小。但是中图更能够代表数据趋势，而右图为了拟合数据，在某些地方进行了更大的妥协。左图明显bias（偏差）和

2017-10-11 17:09:47 545

原创 eclipse使用插件远程调试Hadoop

一、伪分布式环境下伪分布式的配置参考http://blog.csdn.net/dod_jdi/article/details/78024664一般伪分布式的配置中core.site.xml一般设置为localhost： <property> <name>hadoop.tmp.dir</name> <value>file:/home/hadoop/

2017-09-27 19:39:32 737

原创运行hadoop运行示例的几种方法

1、wordcount2、正则表达式。

2017-09-19 14:09:10 706

原创 Linux修改主机名，添加用户等事项

目前用的是阿里云主机做学习用，使用 ssh 用户名@ip地址登录。但是默认的主机名太长了，修改文件 /etc/hostname，将其对应的主机名修改为新的主机名。最后，需要将 /etc/hosts 中 127.0.0.1 对应的老主机名更换为新的主机名。重启生效。当然也可以跳过这一步，不过如果是建立分布式为了映射和识别Master和Slave也是需要进行类似的操作的。记住修改之后的用户名，如

2017-09-19 13:29:40 693

原创建立可使用与远程调试的伪分布式Hadoop集群

可远程调试的Hadoop伪分布式

2017-09-18 22:32:24 660 1

原创朴素贝叶斯算法的简单理解

贝叶斯算法常用于分类已知类别集合y：（y1,y2,y3…yn）和（特征）项集和x（x1,x2,x3…xm)，确定映射规则y =f(x)使xi都可以唯一映射到Y中。其中Y叫做类别集合，其中每一个元素是一个类别，而X叫做项集合，其中每一个元素是一个待分类项，f叫做分类器。分类算法的任务就是构造分类器f。贝叶斯公式: p(y|x) = p(x|y) * p(y) / p(x)朴素贝叶斯：x子项发生的概率

2017-07-28 23:17:40 2408

原创和服务器进行数据传输的相关问题

1. 乱码的问题关于乱码的问题可以在服务器端设置接收和返回的数据编码格式，参考另一篇文章http://blog.csdn.net/dod_jdi/article/details/689386152. 如何传递对象Javb可以使用JSONObject和JSONArray来处理对象及对象数组的传递问题。使用方法很简单，调用相关的静态方法就行，如数组：JSONArray jsonArray = JSONA

2017-04-01 20:40:38 630

吴恩达 yolo.h5

空空如也