- 博客(107)
- 收藏
- 关注
RSS订阅
原创 Y-Autoencoders: disentangling latent representations via sequential-encoding
Y-Autoencoders: disentangling latent representations via sequential-encoding前言论文架构损失函数总结前言这是2019年CVPR上的一篇文章，讲一下为啥介绍这篇文章吧，首先呢自己最近在做image-to-image，本篇文章和自己刚好和自己的做的方向一致，第二也是最重要的是看了这篇对应的架构和自己的研一发的一篇论文有点相...
2019-11-23 17:02:43
534
原创 CCF乘用车细分市场销量预测之ARIMA模型
1： 什么是ARIMA模型介绍ARIMA之前，我们首先介绍一下时间序列回归建模和一般回归建模的区别。想象一下我们预测某个人是否会还对应的贷款，即使我们拥有每个用户之前的贷款时间，但是这个时间仅仅表示用户申请贷款的时间，不同用户是否会还贷款和他们申请的时间关系不会很大(经济大萧条除外)，显然此类问题即使一个回归问题。在想象一下我们预测某种车型在某省接来四个月的销量，根据我们的常识判断，前几个月的...
2019-11-19 11:53:37
2022
3
原创 2019移动广告反欺诈算法挑战赛之一些奇妙的idea
首先简单介绍一下自己的几种写好代码但是还没有跑的方案，然后呢分享一下其他几个人的想法，看完感觉不错的话点个赞呗，哈哈哈哈哈哈思路一： 处理长尾对于类别特征处理一下长尾特征(也即是把make model ver这些特征中仅仅出现次数少于20次的数据归为一类)，因为catboost对于类别特征是自动暴力找组合特征，默认的时候最多是对四个特征进行组合的，具体可参考catboost官方文档...
2019-09-16 10:31:17
2213
7
原创 2019移动广告反欺诈算法挑战赛baseline
前言：分享这个baseline之前，首先先感谢一下我的好朋友油菜花一朵给予的一些帮助。然后呢介绍一下最近比赛中碰到的几个问题，以及解释。如果有可能的话，明天分享一个94.47左右的baseline吧，初赛之前设置为粉丝可见，初赛后在设置所有人可见吧。本来想分享47的baseline的，但是后来发现版本找不到了。就把自己的想法融合了一下，也不知道多少分。比赛名次不重要学到东西才重要。第...
2019-08-18 20:57:33
10085
44
原创 2019移动广告反欺诈算法挑战赛之数据清洗
原始数据集的各个属性:1: sid每条记录的索引2： label， 训练的标签3： pkgname,一个包名代表一个应用，包名必须唯一,4： ver, app版本号，5： 对外广告位ID，应该是投放广告的位置6： 对外媒体ID， 通过什么方式传播的广告7： apptype, app的类别8：请求达到服务时间， 什么时候请点击了该广告9： ip, city...
2019-08-03 14:52:28
2171
2
原创 2019移动广告反欺诈算法挑战赛之初始数据分析
前言：最近参加的科大讯飞的2019移动广告反欺诈算法挑战赛，但是白天一直在忙着写论文，所以一直是跑跑别人的公开的baseline，调调参数一类的，现在是94.43左右，有需要的可以和我说一下，免费奉献。但是感觉成长不是很大，所以就学学kaggle上的一个大佬分析数据的方式很有意思，就拿过来学学。比猫画虎而已，肯定有些不对的。程序是用jupyter写的，但是CSDN不是很支持jupyter，所以...
2019-07-23 00:42:19
3847
35
原创 使用迁移学习和融合模型进行图像识别
前言：上一节介绍了如何使用迁移学习进行图像识别，但是只是在单模型上进行图像识别的任务。本节介绍的是如何使用融合模型进行图像识别任务。说起来有点抽象，但是原理并不复杂。具体过程如下：首先： 我们将图像放到InceptionV3、InceptionResNetV2模型之中，并且得到图像的隐层特征，PS(其实只要你要愿意可以多加几个模型的)然后： 我们把得到图像隐层特征进行拼接操作， 并将拼...
2019-07-06 19:38:08
4009
8
原创 Cats vs Dogs之使用迁移学习进行图像识别
前言：前面介绍如何使用AlexNet、VGG19、ResNet_152 、InceptionV4 、DenseNet训练自己的数据集，接下来两节主要介绍如何使用迁移学习进行图像识别的任务。第一节是介绍使用单个模型进行图像识别的任务，第二节介绍使用融合模型进行图像是别的任务。什么是迁移学习：迁移学习（Transfer Learning）：就是指利用已经训练好的开源网络模型...
2019-07-05 16:55:40
1837
原创 使用Densenet模型训练自己的数据集
前言：之前四篇文章分别介绍了如何使用AlexNet、VGG19、ResNet_152 、Inception_V4训练自己数据集，本节将介绍最后一个经典图像识别模型Densenet，Densenet是CVPR2017年的Best Paper, DenseNet脱离了加深网络层数(ResNet)和加宽网络结构(Inception)来提升网络性能的定式思维。它建立的是前面所有层与后面层的密...
2019-07-02 23:53:33
15139
41
原创 使用Inception V4训练自己的数据集
前言：Inception v1-v4是谷歌推出的一系列产品。这节我们主要介绍一下Inception v1-v4各个模型的特点，并在最后实现一下使用Inception v4进行卫星图像的分类。在这里谈一下我对Inception系列的粗浅的认识。我们可以看到之前一系列深度卷积模型只是在关注如何在不过拟合的情况下加深网络的结构。但是他们却不关注网络的宽度，而Inception系列不仅着手加深网络的深...
2019-07-02 21:20:52
6774
29
原创 使用Resnet_50_101_152训练自己的数据集
前言：前面两节介绍了AlexNet和VGG-19模型的结构，以及具体的实现。正如前面讲的两者在结构上是相似的。但是接下来讲的Resnet(残差网络)不仅在深度上取得巨大的进步，而且在架构上也与之前的网络是不同的。残差网络的发明人是何凯明博士期间，在CVPR的文章《Deep Residual Learning for Image Recognition》中首次提出。值得注意的是他还是广东省的高考...
2019-07-02 17:41:52
21732
40
原创 使用VGG-19模型训练自己的数据集
前言：上一节介绍的图像识别中一个经典的模型AlexNet，今天介绍的是图像识别领域另一个经典的模型VGG-19。VGG-19是由牛津大学的Oxford Visual Geometry Group实验室发明的。因为不像是AlexNet是由Alex一个人完成的。所以这个模型就按照实验室的名称的缩写命名。VGG-19和AlexNet的整体架构是相似的，只是在AlexNet进行了一些改进，具体的有。...
2019-07-02 17:16:38
24322
66
原创 使用AlexNet训练自己的数据集
前言：前两篇分别介绍两个图像识别的模型，第一个是mnist手写体图像识别，第二个是在第一个代码的基础上增加了一些优化技巧，例如正则化、dropout等，并且比较加上各种优化技巧之后图像识别的结果。接下来介绍几个图像识别中比较经典的算法。具体的就介绍AlexNet、VGG19、ResNet_152 、InceptionV4 、DenseNet这五个模型，并且测试一下这些模型在卫星图像...
2019-07-02 15:58:12
22757
72
原创 2019腾讯广告算法大赛之使用XGBOOST模型+网格搜索 轻松上80
前三个部分分别介绍了如何清洗广告数据集、用户数据集、曝光广告数据集和测试集，以及构如何构造训练的标签，具体链接见下文，在我们构造好训练集之后，我们开始使用XGBOOST模型训练数据集，训练方法分为两个版本，第一个版本是简单版本，训练集的属性列中只包含取唯一值的数据，第二个版本是加上取多值的属性列。参考的代码链接是bryan大佬18年腾讯算法大赛公布的baseline。第一部分： 如何清洗广告数...
2019-05-06 07:29:54
2867
14
原创 2019腾讯广告算法大赛之整理测试数据集以及构造训练集
在重构训练样本之前我们首先需要对测试集中样本进行整理，因为训练的样本要和测试样本在维度上(属性列)要保持一致的。首先看一下原始样本的格式：除了人群定向这一列属性需要根据关键字进行分裂之外，对于其他属性我没有做任何修改，Okay！！！对于人群定向的修改可以分成两种情况，第一种： 当该条记录中的关键字是（属性列名： 具体值）对于出现的属性列进行保存，没出现的属性列直接设置成-1第二种：...
2019-05-05 15:01:05
4106
12
原创 2019腾讯广告算法大赛之清洗曝光广告数据集以及构造标签
首先是对清洗曝光广告日志中的脏数据进行清洗，脏数据主要包括三种情况，第一： 该条广告记录中的广告ID不存在于静态广告数据和操作广告数据中，因为不存的话则该条数据无法构造训练集。第二： 广告请求时间不合理，也即是出现二月三十号的这种情况第三： 如果该条广告操作数据的取值不合理，例如（广告行业ID中出现多值，或者出现缺失数据）最后在保存广告操作数据集时，我首先是按照天进行保存的，然后在...
2019-05-05 10:47:53
2397
7
原创 2019腾讯广告算法大赛之清洗广告数据集和用户数据集
研一下半学期参加的比赛，失败原因如下:第一，pandas几乎是从零开始，对于某些数据的清洗如果使用pandas封装的函数可能只需要很短的时间，但是使用python的判断语句会很慢，而且可能做不出来。okay 2019/06/05已学习第二，因为赛题中需要自己构造训练数据和标签，对题目理解的不是很好，导致构造数据集的目标一直再修改，第三，比赛之前虽然实现了和题目相关代码，以及可...
2019-05-04 16:51:44
5594
23
原创 医疗图像质量评估
前言：# -*- coding: utf-8 -*-# @Time : 2021/1/31 15:33# @Author : YYLin# @Email : [email protected]# @File : pixel_value.pyfrom matplotlib.patches import ConnectionPatchimport cv2, osimport matplotlib.pyplot as pltimport numpy as np..
2021-03-14 10:24:12
532
原创 医学图像预处理之可视化
1 前言本文介绍两种医疗图像可视化的方案，一种是直接使用ITK-SNAP从冠状面、矢状面、横断面，另一种是使用python+SimpleITK将后缀名为.nii.gz转化成jgp的形式进行保存。
2020-12-30 19:26:19
4409
原创 医疗图像翻译预备知识之不同类型的肿瘤
1 前言CT检查是现代一种较先进的医学影像检查技术。CT检查不仅能够可以显示肝内占位性病变、原发性肝癌或转移性肝癌的形态、轮廓、坏死、出血及生长方式等，还可以了解胆、胰、肾等脏器的情况，所以慢性肝炎、肝硬化并存在可疑病变或肝癌的患者，则有做CT检查的必要。但是有些肝脏的癌变细胞例如局灶性结节性增生（Focal Nodular Hyperplasia，FNH）、肝细胞肝癌（Hepatocellular carcinoma，HCC），其和正常组织相比差异性不大，因此医生并不能通过一般的CT检查就给出判断患者
2020-12-28 20:45:49
746
原创 医疗图像预处理之图像配准
1 前言图像配准是图像处理研究领域中的一个典型问题和技术难点，其目的在于比较或融合针对同一对象在不同条件下获取的图像，例如图像会来自不同的采集设备，取自不同的时间，不同的拍摄视角等等。以医学图像为例，对于同一患者，可以采集含有准确解剖信息的图像诸如CT，MRI;同时，也可以采集到含有功能信息的图像诸如SPECT。然而，通过观察不同的图像进行诊断需要凭着空间想象和医生的主观经验。采用正确的图像配准方法则可以将多种多样的信息准确地融合到同一图像中，使医生更方便更精确地从各个角度观察病灶和结构。同时，通过对不
2020-12-28 10:33:10
4204
原创 医学图像预处理之重采样
1 前言对于不同的数据类型重采样的方法和目的都不相同。例如在遥感中，重采样是从高分辨率遥感影像中提取出低分辨率影像的过程；在数据挖掘中，重采样是指为了解决训练数据类别不均衡，通过在训练期间通过增加小样本的数量或者减少大样本的数量保持样本类别均衡的算法；在医疗图像中，重采样是指将医疗图像中大小不同的体素归一化到相同的大小。体素是体积元素（Volume Pixel）的简称，一张3D医疗图像可以看成是由若干个体素构成的，体素是一张3D医疗图像在空间上的最小单元，具体解释可见上一篇博客。本文主要包含两个部.
2020-12-27 19:40:00
12262
7
原创 医学图像预处理之CT成像原理
1 前言本篇文章主要包含两个部分：1、医学成像原理的介绍；2、医学图像重采样原理以及代码分析。1.1 医学成像原理现代医学成像包含的方法有很多，例如超声，核磁共振成像（Magnetic Resonance Imaging，MRI ）以及X射线断层成像（Computed Tomography，CT）。本节主要介绍X射线成像原理以及如何通过CT设备得到对应的3D医学图像。1.1.1 X射线成像原理X射线之所以能使人体组织在荧屏上形成影像，主要是由于人体不同组织之间有密度和厚度的差..
2020-12-26 21:18:42
5536
1
原创 研究生论文之基于图像特征的条件对抗式生成网络
前言：前段时间看到CVPR上的一篇论文《Y-Autoencoders: disentangling latent representations via sequential-encoding》，其主要创新在于使用Autoencoders进行图像翻译也即是（image-to-image），感觉和自己研一时投的论文目标一致，都是想用Autoencoders进行图像合成。所以就分享一下自己的论文吧...
2019-11-23 20:53:43
594
原创 Pandas入门之rolling滑动窗口
什么是滑窗？：什么是滑动(移动)窗口？为了提升数据的准确性，将某个点的取值扩大到包含这个点的一段区间，用区间来进行判断，这个区间就是窗口。举个例子，CCF乘用车销量预估比赛我们有一列属性关于每月的某种车型的新闻评论量，假设我的滑窗大小是3center设置为True的话，则意味着我用2016-9到2016-11三个月的均值取代2016-10对应的值。滑窗的具体操作：因为CSDN使用...
2019-11-19 17:18:43
5622
原创 Git的安装与上传文件
Git是什么？以及Git的安装，Git的最基本作用是版本控制，举个例子你的项目经理想让你做一个网站的登录界面。无论你做的怎么样他会让你一直修改。新手的话就有可能在原有的代码上直接修改，提交了N版之后项目经理告诉你，其实我感觉还是第一版的比较好，这个时候新手就煞笔了。一般的人的话就copy一份副本命名为v1, v2。经理需要那个功能的版本你就直接给他那个就可以了，但是项目结束后你看文件夹中那么多...
2019-11-18 20:09:01
193
原创 将一个文件夹下所有的.jpg文件移动到另一个文件夹下面
目标很简单。将 ../Dataset/celebA/所有的jgp文件 移动到 ../Dataset/celebA/train文件夹下面。非常简单直接show代码# -*- coding: utf-8 -*-# @Time : 2019/11/6 10:26# @Author : YYLin# @Email : [email protected]# @File :...
2019-11-05 00:07:59
1865
原创 Linux下创建一个用户然后安装Anaconda和TensorFlow
# 目标在Linux服务器上新建一个用户 并为用户安装Anaconda和tensorflow环境第一部分： 创建用户，并赋予sudo权限1.1 创建一个名为jiakai的账号sudo useradd -d /home/jiakai -m -s /bin/bash jiakai1.2 为该账号设置登录密码 sudo passwd jiakai1....
2019-10-29 21:32:18
615
原创 “添翼杯”人工智能创新应用大赛垃圾分类之模型部分
前言：关于这个比赛的介绍可以参考之前一篇文章，本节主要介绍的是模型部分。因为比赛比较冲忙只能测试InceptionResNetV2和DenseNet201的效果。比赛有点遗憾的是没有把所有的单独模型都尝试一边，比较一下效果，第二使用融合模型的时候效果不好，但是没有时间检查，第三没有尝试使用lgb或者catboost对得到的图像特征进行分类。方案一： 使用InceptionResNet...
2019-08-14 23:39:18
1009
原创 “添翼杯”人工智能创新应用大赛之垃圾分类
前言：前一段时间参加了一个关于“添翼杯”人工智能创新应用大赛，题目要求是给你一张图像要你预测这个张图像属于可回收垃圾的概率，本质也就是一个图像二分类问题。简单记录一下比赛之中的经验吧。首先选择这个赛题是因为前一段时间总结了一下几个经典的图像识别网络，所以打算理论和实战结合看看各个模型在实际比赛中的效果。比赛成不成功对于我而言没有啥意义的，就是玩玩而已。首先展示一下比赛数据集中的训练集...
2019-08-14 23:21:42
894
1
原创 unable to execute /usr/local/bin/pip: No such file or directory
这个错误是可能是由于你删除了pip，重新装一下就好了。sudo wget https://bootstrap.pypa.io/get-pip.pysudo python get-pip.py# 你也有可能删除Ancona，Ancona重新安装的方法如下下载Anconawget https://repo.anaconda.com/archive/Anaconda3-5...
2019-08-02 11:18:18
4374
原创 指定特定的python版本安装kears
安装keras不指定python版本sudo pip install keras使用python3.6安装kerassudo pip install -t ~/anaconda3/lib/python3.6/site-packages keras卸载kerassudo pip uninstall keras...
2019-08-02 10:34:01
1162
翻译 数据挖掘比赛中几种常见的融合模型方案
前言：数据挖掘相关的比赛中，几乎每个大佬都会谈到融合模型，但是具体模型的实现方式都不会在最后的代码中公布。okay本节介绍一下数据挖掘中的kaggle上一个大佬整理的融合模型的方案，以及代码实现。因为接下来要花好好的写论文了，在这里我先奉上相关的链接，等我论文结束了，再分享一下我的理解。融合模型的原理：https://mlwave.com/kaggle-ensembling-gu...
2019-07-07 16:52:40
1806
1
原创 kaggle竞赛之cat vs dog数据预处理将猫和狗移动到不同文件夹下
比较基础的python程序，只是把猫狗图像移动到不同的文件夹之下。# -*- coding: utf-8 -*-# @Time : 2019/6/30 19:35# @Author : YYLin# @Email : [email protected]# @File : sample.pyimport osimport globimport shutilimp...
2019-07-03 11:02:32
1870
原创 The `weights` argument should be either random initialization or pre-training on ImageNet
首先看一下我的源码：from keras.applications.vgg16 import VGG16vgg16_weights = '../Dataset/Weight_for_Cats_VS_Dogs/vgg16_weights_tf_dim_ordering_tf_kernels.h5'vgg16_model = VGG16(weights=vgg16_weights)...
2019-07-03 10:09:37
3648
2
原创 图像识别模型优化技巧之dropout 学习率递减 L1、L2正则 bacth normal的对比
okay 本节在上一节mnist图像识别的基础上增加一些优化算法，例如 dropout 学习率递减 L1、L2正则 bacth normal正则化优化上一节的模型。从以下四个实验结果我们可以知道batch normal是个利器直接能够将模型的分数提高了0.5分左右，但是其他的几个优化技巧，并没有对模型产生太大的影响，这很正常，因为我们可以发现训练集和测试集的的分数几乎差不多，没有...
2019-07-01 20:05:38
875
原创 图像识别第一个代码之mnist(手写体图像)识别
前言： 之前一直是做GAN对抗式生成网络的，最近参加了百度的一个关于图像检测的一个比赛，从代码的难度上来说，一直以来都认为图像检测比GAN要简单，毕竟最后图像检测只是把图像放到一个卷积神经网络之中，得到图像的隐层特征，然后使用优化器对图像进行分类即可。但是GAN的话不仅要把上面的操作完成，而且还要增加一个从噪音中生成图像。okay 今天分享我自己写的第一个手写体图像程序，程序特别简单，将...
2019-07-01 19:42:06
1630
原创 pytorch入门之第一章Variable的理解
仅仅是简单的记录一下自己学习pytorch的过程，刚刚学习难免理解不够，仅供参考而已。本节主要介绍一下我对pytorch中的变量(variable)的理解， pytorch中的变量有三个属性，分别是data表示变量中的具体值， grad表示这个变量反向传播的梯度，这个的计算方式下面有专门的一个演示程序， grad_fn表示是通过什么操作得到这个变量的例如( 加减乘除、卷积、反置卷积)...
2019-06-28 10:22:56
21748
5
原创 将图像和对应的标签转化成会h5py文件
只是简单的记录一下自己写的小程序，程序比较简单，有问题可以问一下，但是就不做过多的解释了。我的数据集的格式是，每个文件夹名称也即是图像对应的标签相关代码：# -*- coding: utf-8 -*-# @Time : 2019/6/23 11:40# @Author : YYLin# @Email : [email protected]# @File ...
2019-06-23 12:10:41
6432
8
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人