- 博客(40)
- 收藏
- 关注
RSS订阅原创 数学建模方法——斯皮尔曼相关系数及其显著性检验 （Spearman’s correlation coefficient for ranked data）
0. 斯皮尔曼相关系数简介斯皮尔曼相关系数（Spearman）也被叫做斯皮尔曼等级相关系数，同样用于衡量两个变量之间的相关性，在之前对皮尔逊相关系数的介绍中，我们提到了在进行皮尔逊相关系数运算的时候需要确定数据是否符合正态分布等等，较为麻烦，同时不满足正态性的数据难道就没有办法判断相关性了吗？离散的数据如何判断相关性呢？因此有人提出了另一种方法，即用数据的大小顺序来代替数值本身。这种替代方法，...
2019-12-19 15:16:09
64939
9
原创 数学建模方法——皮尔逊相关系数及其显著性检验 （Pearson correlation coefficient）
0. 皮尔逊相关系数简介相关系数是衡量两个数据相关关系的指标，两个数据相关在某种程度上可以帮助人们理解事物的变化规律。例如在商品推荐中，我们已知一个用户A的购买喜好，同时发现另一个用户B的购买数据和A相关性很高，那么我们可以根据A的喜好去给B推荐相关的产品，等等。皮尔逊相关系数（Pearson correlation coefficient）就是最为常用的用来衡量两个变量线性相关关系的指标，有了...
2019-12-07 16:47:36
111732
13
原创 数学建模方法——带权重的TOPSIS法
0. topsis简介Topsis法，全称为Technique for Order Preference by Similarity to an Ideal Solution中文常翻译为优劣解距离法，该方法能够根据现有的数据，对个体进行评价排序。Topsis法和之前讲过的AHP方法一样，都可以对一系列的个体进行评价，不过通常来说AHP的应用场景是在没有明确的量化指标的情况下，而topsis是在有...
2019-12-05 18:36:32
58677
10
原创 数学建模方法——层次分析法（AHP）
0. 层次分析法简介层次分析法（Analytic Hierarchy Process，简称AHP）主要是对于定性的决策问题进行定量化分析的方法。举个例子，在日常生活中，我们经常需要进行感性的判断，比如报高考志愿，感觉清华北大都很好，到底要报哪个；再比如去市场买菜，到底是买青椒做青椒炒鸡蛋，还是买黄瓜做黄瓜炒鸡蛋；再比如想去出游，到底是去公园A还是公园B。上面提到的这些问题，都是决策，也叫做评价类...
2019-12-04 17:10:33
46718
15
原创 OpenCV-3-几何变换
OpenCV-3-几何变换3.1 图像放缩import cv2import numpy as npfrom matplotlib import pyplot as pltimg = cv2.imread(r'F:\Blog\opencv\lena.png',cv2.IMREAD_COLOR)print(r'origin shape:',end=''),print(img.shape)...
2019-10-16 19:54:22
273
原创 OpenCV-2-图像算子
OpenCV-2-图像算子二维卷积在图像处理中有着非常重要的作用，不同的卷积核可以得到不同的效果，比如高斯卷积核可以用来做图像的平滑，而一些边缘检测的卷积核可以得到图像的边缘等。二维的卷积也被称为算子，但是实际上算子可以有更广义的理解，针对逐个像素的操作可以认为算子，也就是一个或者多个输入图像到输出图像的函数。2.1 点算子上节课最后的部分，即OpenCV-1中的图像叠加，其实就是一个点算子...
2019-10-16 16:13:24
923
原创 OpenCV-1-基础篇
OpenCV-1-基础篇1.1 基础读写操作import cv2def cv2_show(name, img): ''' 用于展示图像的函数，注意在图像被展示后，需要按下键盘上的任意按钮，程序才能继续运行。 name：窗口的名称 img：图像 ''' cv2.imshow(name, img) cv2.waitKey(0) ...
2019-10-16 12:31:07
386
原创 装机(三) linux显卡驱动，cuda及cudnn的安装，卸载，查看
1 显卡驱动显卡驱动可以简单理解为，用于识别显卡这个设备的计算机程序。一个计算机的主板上会插很多设备，比如键盘，硬盘，cpu，只有有了驱动程序，计算机才知道连到自己身上的是个什么东西。1.1 显卡驱动卸载：有的时候驱动崩溃或者系统升级版本出现问题我们就需要把旧的驱动先卸载掉再安装新的驱动，官方卸载驱动方法如下：sudo apt-get --purge remove "*nvidia*"...
2019-06-03 14:27:28
4126
原创 Keras多GPU训练方法及模型保存
多GPU训练可以在一定程度上提高训练的效率，keras在以tensorflow为底层的时候，可以方便的调用多GPU进行训练。其训练的原理是将一个神经网络在多块GPU中进行初始化，并且将一个batch的数据分配到不同的GPU中，反向传播结束后，再使用CPU进行合并更新参数。举个例子，同时使用两块GPU，batchsize是16的话，keras会将8个给1号GPU，另外8个给2号GPU，训练结束后将二...
2019-03-26 19:47:52
6701
11
原创 Mathematica基础教程
Mathematica是一款强劲的数学分析型软件，以符号计算见长。下面我们就来认识一下各种基础操作：1,基础运算操作1.1运算符：Mathematica支持我们常见的运算符+ - * / ^ ! （加，减，乘，除，指数，阶乘）。逻辑运算符&&与，||或，！非1.2表达式：在Mathematica中可以直接将字母符号带入运算，这在大部分的数学软件中是不允许的，如x+y+y=...
2019-03-01 16:15:11
76688
10
原创 论文阅读《Attention-guided Unified Network for Panoptic Segmentation》CVPR 2019
这篇文章发表于CVPR 2019会议上，中国科学院自动化研究所所做关于全景分割问题。本文提出了一个叫做 Attention-guided Unified Network ( AUNet ) 的结构去解决全景分割问题，该方法在MS-COCO数据集上取得了目前最好的结果。全景分割（Panoptic Segmentation）是一个比较新的分割概念，是指的对目标区域做实例分割（Instance Seg...
2019-02-27 17:35:44
5887
9
原创 Skimage图像处理教程6）图形绘制
Skimage可以直接画图并显示，比如画个直线，画一株幸运草？画一个同心圆？这里就需要用到python的skimage.draw的包，因为相对而言该方法并不常用，我们也就简单的介绍一下。# 绘制直线， r0,c0 为起始点坐标，r1,c1为终止点坐标# 返回rr,cc即 直线各个像素的位置skimage.draw.line(r0, c0, r1, c1)# 绘制抗锯齿的线skimage...
2019-02-12 10:41:07
3629
原创 Skimage图像处理教程5）形态学运算
上一讲中已经介绍了如何介绍开闭，膨胀腐蚀，白顶帽黑顶帽运算等内容，这一讲主要介绍如何用python的skimage做其他的形态学运算，如去除小区域，提取图像骨架，# 移除小的区域skimage.morphology.remove_small_objects(ar, min_size=64, connectivity=1, in_place=False)#移除小的孔洞skimage.mor...
2019-02-11 10:40:41
8244
原创 Skimage图像处理教程4）形态学膨胀腐蚀开闭运算
这一讲我们介绍基于基于python的skimage包的形态学操作，主要介绍最常见的几个形态学操作，就是图像的膨胀腐蚀和开闭运算，主要利用skimage.morphology膨胀和腐蚀很直观，膨胀就是让一个区域变大，腐蚀就是让一个区域变小很直观很形象。开运算就是先做腐蚀再做膨胀，这样可以去除图像中一些孤立的小点，将两个区域很细的连接去除，闭运算就是首先对图像进行膨胀之后再进行腐蚀，这样可以去除图像...
2019-02-11 10:37:32
11536
1
原创 Skimage图像处理教程3）曝光度调整
这里所谓的曝光度的，这里所谓的曝光度，实际上是借用了英文单词exposure的翻译，因为在这一讲中，我们要涉及到python中skimage.exposure中涉及到的函数啦。这一讲主要包括图像的直方图，直方图均衡化，自适应直方图均衡化，颜色阈值调整，gamma校正等等内容。# 返回直方图, 直方图分成几份，返回两个数组分别是该组别的像素个数和组别skimage.exposure.histog...
2019-02-11 10:31:04
6257
原创 Skimage图像处理教程2）色彩空间变换
最为大家熟悉的色彩空间就是rgb色彩空间和灰度色彩空间了，除此之外HSV,YCbCr也都各有应用。这里我们就简单的介绍一下色彩空间变化，这就涉及到python中skimag.color的应用首先skimage支持的色彩空间有：[‘rgb’, ‘hsv’, ‘rgb cie’, ‘xyz’, ‘yuv’, ‘yiq’, ‘ypbpr’, ‘ycbcr’, ‘ydbdr’]常用的操作有# 转换...
2019-02-11 10:24:46
5282
原创 Skimage图像处理教程1）安装，读写和调用示例图片
Skimage是python一个强大的图像处理的包，对于学习数字图像处理的小伙伴们来说是一个很实用的包，数据都是基于numpy格式所以熟悉numpy操作的小伙伴们会用的更方便，当然，不懂的话也没有影响。安装方式如下：pip install scikit-image涉及到读写操作主要是使用skimage.io中的各种函数，skimage.data 提供了一系列的返回示例图片的方法，其中最为常用的...
2019-02-11 10:19:14
5628
原创 Skimage图像处理教程 0）目录
Skimage是python一个强大的图像处理的包，对于学习数字图像处理的小伙伴们来说是一个很实用的包，数据都是基于numpy格式所以熟悉numpy操作的小伙伴们会用的更方便，当然，不懂的话也没有影响。下面就是每一讲的目录，持续更新中……1）安装，读写和调用示例图片2）色彩空间变换3）曝光度调整4）形态学膨胀腐蚀开闭运算5）形态学运算...
2019-02-11 10:14:22
2996
原创 python图像数据增强——imgaug （三）
（一）imgaug基础用法（二）imgaug进阶示例（三）imgaug图像分割数据增强之前两章展示了最基本的imgaug的基础用法，以及一个较为全面的各种增强方法的展示，这里我们介绍在分割问题中的数据增强方法。在分类问题中，输入为一张图像，输出为一个类别，在这种问题中，我们只需要对图像进行增强，并不需要对标签做出改动。而在分割问题中，当训练使用的图像被翻转或者扭曲之后，标签也要对应的做出相...
2019-01-15 20:05:47
16585
23
原创 python图像数据增强——imgaug （二）
（一）imgaug基础用法（二）imgaug进阶示例在这章我们展示一个涵盖了大部分数据增强方法的例子。这里有大量的代码，可能会引起部分读者的不适，但是大家可以主要看注释，以及最后的总结性的话语，在实际上使用的时候再详细的看具体的实现，有一些。from imgaug import augmenters as iaa #引入数据增强的包sometimes = lambda aug: iaa....
2019-01-15 18:37:10
19612
27
原创 python图像数据增强——imgaug （一）
（一）imgaug基础用法（二）imgaug进阶示例在机器学习或者深度学习的问题中，因为受制于图像采集的方式，投入的精力和图像标注的难度等，用于训练的图像数量可能非常有限。这种情况下，可能出现模型过拟合，训练后的模型泛化能力差等问题，降低模型的实际使用能力，这种现象在医学图像的深度学习中尤其常见。为了在有限的数据下得到更好的分类，检测和分割的结果，往往需要使用数据增强的方式，通过对图像的旋转，...
2019-01-15 18:34:46
39330
27
原创 三维条件随机场 ( dense CRF ) 分割MRI图像 (二)
这是第二部分，如果cmake和ITK成功的编译了我们就可以正式的安装和使用三维的dense CRF 条件随机场了。再次赘述，这篇文章并不是要告诉大家复杂的条件随机场的数学原理，或者如何从源码编写crf程序，而是如何告诉大家如何使用别人已经写好的的工具去使用三维CRF分割三维的图像，其中主要是MRI图像的分割。环境是linux环境，ubuntu 16.04 server版本没有图形界。文章主要分为...
2018-12-19 15:33:12
4138
4
原创 三维条件随机场 ( dense CRF ) 分割MRI图像 (一)
这篇文章并不是要告诉大家复杂的条件随机场的数学原理，或者如何从源码编写crf程序，而是如何告诉大家如何使用别人已经写好的的工具去使用三维CRF分割三维的图像，其中主要是MRI图像的分割。环境是linux环境，ubuntu 16.04 server版本没有图形界。文章主要分为两部分：第一个是软件环境的配置，主要是ITK的安装测试第二是CRF的安装我们使用的软件来自于https://githu...
2018-12-19 15:28:40
2939
原创 Tensorflow 优化器（optimizer）
所谓的优化器，就是tensorflow中梯度下降的策略，用于更新神经网络中数以百万的参数。工程师们除了在不断的推出新的神经网络的结构以外，还在不断的推出新的参数更新的策略，在这篇博客中，我们就列举tensorflow中所有的优化器，并对几个进行讲解。为了列举所有的优化器，我们首先把tf包中所有的优化器都罗列出来。这里使用的是tf10版本，目前最新的版本，进入python，用dir(tf.trai...
2018-12-11 19:06:10
34760
3
原创 装机(二) ubuntu网络配置和异常修复
上一个装机教程中说到如果安装ubuntu server选择跳过网络配置，那么在系统安装结束后就需要手动的配置网络。同时，如果ubuntu 网络出现联网问题，也同样可以使用该方法进行异常修复。首先，要想了解我们机器的情况就要知道有几块网卡，这里我们使用命令:ifconfig -a列举所有的网卡，情况如下图所示：通常我们会看到一个lo，这个是内部的网络循环，不用管它。之后我们可以看到有四个设...
2018-09-17 20:05:15
20235
2
原创 装机(一) ubuntu server 系统安装图文教程
装机任务为Dell C4130服务器，安装ubuntu16.04系统，无图形界面。第一步为了安装ubuntu系统我们需要先下载合适的系统，这里我们下载了ubuntu16.04LTS服务器版本，也就是server版本的系统。可以去官方网站下载http://www.ubuntu.org.cn/download，如果受到网速或者防火墙限制的话那我们也可以去其他地方下载系统的镜像，比如去 http:...
2018-09-17 14:43:12
44650
原创 网络分析(Network Analysis)入门篇(五) 网络的演化——有偏好的交友模型
在上一节中，我们介绍了一个完全是随机的交友过程，然而上述模型只是社交网络的一种简化。首先我们可以看到随机的交友模型将人员限制在了一定的范围内，实际上，假如小明和小红一起进入了一个团体，他们不仅会相互认识并认识团体中的人，小明还会认识小红的闺蜜，其他朋友，同学，将来还会是家人等等。其次，通常在一个圈子中，通常会有一个中心人物，也许他长得帅气，能力强，口碑好，情商高，因此吸引力很强，大家都想和...
2018-08-13 16:24:49
11345
6
原创 网络分析(Network Analysis)入门篇(四) 网络的演化——随机图模型
之前的内容，我们了解的都是一个静态的网络，比如在某一个时刻中，网络节点之间的连接关系，而这里我们要说的是一个动态的网络，即网络的结构随着时间的变化而变化。这样的例子在实际中相当的常见，比如分析随着时间的推移，企业的层次结构是否变得合理了，还是说上半年企业发展的非常合理，而到了下半年一个企业的层次性开始变差。或者再比如，我们想知道一个新员工是如何融入团体，如何能让不同性格的新员工都能以最快的速度成为...
2018-08-13 16:21:16
22813
7
原创 网络分析(Network Analysis)入门篇(三) 网络层次性评价
如果在一个企业中，人员通常各司其职，一个员工听命于一个上司，这样会让企业命令传达的更加清晰有效，如果一个员工听命于多个上司，当上级之间意见不合的时候，员工往往会左右为难，进而降低了企业的工作效率。因此，如何衡量一个组织的层次性，也是需要讨论的。下面就引入一些指标来衡量网络的层次性。图的效率(Graph Efficiency): 在一个层级森严的组织中，都是树状结构的，在这种结构中，线的数...
2018-08-13 16:18:12
12235
原创 网络分析(Network Analysis)入门篇(二) 网络的性质
针对每个节点，我们可以研究一个个体在网络中的不同表现和性质，而针对整个网络的研究，能让我们不局限于群体中的个体，而是对一个群体所表现出来的特征进行分析，进而对一个群体组织进行量化的分析。网络的大小(Size): 网络的大小即，网络中节点的个数，针对不同的研究对象网络大小的差别很大，例如在一个班级的社交网络中，节点的个数就很小，而如果研究网页之间的联系，以网页为节点，那么网络就会非常的大。连...
2018-08-13 16:13:10
24628
2
原创 网络分析(Network Analysis)入门篇(一) 网络节点的性质
网络分析是数据挖掘中重要的一部分，涉及到的知识和图论有一定的联系，这里讲到的网络分析更倾向于社交网络分析，可以是人与人之间的好友关系，电子邮件的发送关系，也可以推广到互联网网站之间的关系等等。为什么我们要研究网络分析呢，随着大数据时代的到来，人们积累数据的意识也越来越强烈，那么如何在积累到的数据中获得我们想要的信息，越来越受到人们的关注。社交网络，QQ空间或者朋友圈的公开评价，公司电子邮件的记...
2018-07-28 09:59:59
70488
6
原创 Tensorflow 损失函数（loss function）及自定义损失函数（三）
我主要分三篇文章给大家介绍tensorflow的损失函数，本篇为tensorflow自定义损失函数。 （一）tensorflow内置的四个损失函数 （二）其他损失函数 （三）自定义损失函数自定义损失函数是损失函数章节的结尾，学习自定义损失函数，对于提高分类分割等问题的准确率很有帮助，同时探索新型的损失函数也可以让你文章多多。这里我们介绍构建自定义损失函数的方法，并且介绍可以均衡正负例...
2018-06-14 20:30:03
30082
33
原创 Tensorflow 损失函数（loss function）及自定义损失函数（二）
我主要分三篇文章给大家介绍tensorflow的损失函数，本篇为tensorflow其他的损失函数，主要参照了tensorlayer 中的实现 （一）tensorflow内置的四个损失函数 （二）其他损失函数 （三）自定义损失函数Tensorlayer封装了很多的已经写好的代码，同时作为一个开源项目，也公布了很多的代码片段，我们这就来看看，除了tensorflow内置的四个损失函数以...
2018-06-14 16:24:52
21400
1
原创 Tensorflow 损失函数（loss function）及自定义损失函数（一）
我主要分三篇文章给大家介绍tensorflow的损失函数，本篇为tensorflow内置的四个损失函数（一）tensorflow内置的四个损失函数 （二）其他损失函数 （三）自定义损失函数损失函数（loss function），量化了分类器输出的结果（预测值）和我们期望的结果（标签）之间的差距，这和分类器结构本身同样重要。有很多的学者花费心思探讨如何改良损失函数使得分类器的结果最优，因...
2018-06-14 15:37:41
32828
10
原创 什么是，泛化能力，过拟合，欠拟合，不收敛，奥卡姆剃刀？
我们在这里介绍几个机器学习中经常可以听到的几个名词，他们就是泛化能力，欠拟合，过拟合，不收敛和奥卡姆剃刀原则。
2018-03-20 15:44:03
31621
7
原创 机器学习中的分类问题及基本学习步骤
通过对于分类问题的介绍，认识基本的机器学习问题。认识什么是分类器，如何训练一个用于分类的机器学习的分类器，应该如何正确的使用数据训练一个分类器。
2018-03-19 20:08:35
20926
原创 机器学习？有无监督、弱监督、半监督、强化、多示例学习是什么
什么是机器学习？让我们从不同版本的定义入手了解下什么是机器学习。机器学习中用很多的问题，比如有监督学习，无监督学习，弱监督学习，半监督学习，强化学习和多示例学习，他们都是如何定义的？
2017-12-28 14:07:16
30495
1
原创 没有免费的午餐理论 No Free Lunch Theorem
没有免费午餐理论是在有限的搜索空间中，当且仅当我们指定了具体的问题的时候我们才能说一个优化方法要优于另一种优化方法。也就是说，在理论上，不存在一个算法在所有的问题上都能获得最优的结果。
2017-12-24 17:31:53
9147
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人