weixin_42535423的博客

翻译 2021语义分割指南总结

语义分割介绍什么是图像分割语义分割实例分割图像分割的用例Google 肖像模式YouTube 故事虚拟化妆虚拟试穿视觉图像搜索自动驾驶汽车方法和技术全卷积网络网络深度实验室空洞卷积ASPP使用 CRF 提高输出Global Convolution NetworkSee More Than Once – 用于语义分割的 KSAC视频分割STFCN通过表示变形的语义视频 CNN用于视频语义分割的发条网络低延迟视频语义分割点云分割点网CNN指标像素精度Intersection Over Union频率加权 IOU

原创 裂缝检测专题（3）裂缝数据集dataset总结1-分类

裂缝检测技术-基于图像处理用于裂缝分类裂缝分割用于裂缝分类Concrete Crack Images for Classification像素值：227x227数量：40000张（20000negative+20000postive）引用该数据集的论文：“Automatic crack distress classification from concrete surface images using a novel deep-width network architecture”c

原创 半监督学习深度学习算法

该文章主体摘自知乎糯米稻谷的文章，对一些细节添加了自己的理解文章链接https半监督学习啥是半监督学习（Semi-supervised Learning）1.简单自训练（simple self-training）2.协同训练（co-training）3.半监督字典学习4.标签传播算法（Label Propagation Algorithm）5.半监督支持向量机半监督深度学习算法1.无标签数据预训练，有标签数据微调2.利用从网络得到的深度特征来做半监督算法3.让网络 work in semi-supervi

原创 RuntimeError: CUDA error: invalid device ordinal

解决方法：造成这个错误的原因主要是GPU编号原因或者cuda安装版本不匹配例如当本地只有一个 GPU (GPU:0)，而程序中使用 GPUs:1。因此，在程序中找到定义 device 的地方，我的如下：device = th. device ("cuda:1")将其中 “cuda:1” 修改为 “cuda:0”，程序将不在报错。device = th. device ("cuda:0")...

原创 ValueError: invalid literal for int() with base 10问题处理

问题描述：在用pthon写脚本得过程中，发生错误，ValueError: invalid literal for int() with base 10，这种错误是值得类型转换错误，int()函数是可以将字符串转换为整形，但是这个字符串如果是带小数得，比如‘470.00’,这个时候如果你再用int(‘470.00’)转换得话，就会出现上面报得错误。解决方案:这个时候可以用float()函数处理这个问题，在你不确定这个字符串是整形还是浮点数得情况下，用float（）比较好，这样可以避免出现错误。12

原创 CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构区别

神经网络1. 有监督的神经网络(Supervised Neural Networks)1.1. 神经网络(Artificial Neural Networks)和深度神经网络(Deep Neural Networks)1. 2. 循环神经网络(Recurrent Neural Networks)和递归神经网络(Recursive Neural Networks)1.3. 卷积网络(Convolut...

原创 python（2）中文编码乱码问题

python（2）中文编码乱码问题一、什么是字符编码。1.ASCII2.GB23123.Unicode4.UTF-8二、Python2中的字符编码三、decode()与encode()方法四、一个字符编码的例子**前言：**中文编码问题一直是程序员头疼的问题，而Python2中的字符编码足矣令新手抓狂。本文将尽量用通俗的语言带大家彻底的了解字符编码以及Python2和3中的各种编码问题。一...

原创 深度学习（13）神经网络中损失函数的作用

深度学习（13）神经网络中损失函数的作用三要素期望风险与经验风险结构风险与正则化损失函数层Softmax函数loss计算三要素机器学习的三要素就是：表示，评估和优化。表示指的是将样本空间映射到一个合适的特征空间，一般地，我们更青睐于这样的表示是低维度的，是更加稀疏交互的，同时也希望是相互独立的。评估指的是模型在数据上表现的量化形式，我们选取合适的函数来表示什么样子的模型是好的，性能度...

原创 报错（1）OverflowError: mktime argument out of range

OverflowError: mktime argument out of rangemktime函数是一个时间戳，从1970年开始，出现这样的错误，大家都可以检查一下是否设置的时间年号戳比1970要早。建议：年份从1971开始。...

原创 caffe报错（7）NameError: global name ‘plt‘ is not defined

调用python生成图片时，爆出错误：NameError: global name ‘plt’ is not defined解决方法在代码头部引入os模块即可import osImportError: DLL load failed: 找不到指定的程序。解析和解决办法。运行程序的时候，发现了ImportError DLL load failed 找不到指定的程序的报错。网上搜了一天...

原创 caffe总结（九）用Caffe做回归(regression)

caffe总结原理EuclideanLossLayer给图像混乱程度打分的简单例子什么是混乱度？生成基于Ising模型的数据生成训练/验证/测试集生成HDF5文件训练测试Caffe应该是目前深度学习领域应用最广泛的几大框架之一了，尤其是视觉领域。绝大多数用Caffe的人，应该用的都是基于分类的网络，但有的时候也许会有基于回归的视觉应用的需要，这篇举个简单的小例子说明一下如何用Caffe和卷积神经...

原创 caffe总结（八）loss不下降的原因

当我们训练一个神经网络模型的时候，我们经常会遇到这样的一个头疼的问题，那就是，神经网络模型的loss值不下降，以致我们无法训练，或者无法得到一个效果较好的模型。导致训练时loss不下降的原因有很多，而且，更普遍的来说，loss不下降一般分为三种，即：训练集上loss不下降，验证集上loss不下降，和测试集上loss不下降。这里，首先默认各位都能理解过拟合和欠拟合的概念。训练集loss不下降训练...

原创 深度学习（5）数据处理-resize

深度学习（5）数据预处理-resizeresize由来与发展resize的方式不同插值算法对训练结果的影响caffe数据转换成lmdb中的resize不同resize的影响（总）resize由来与发展对输入图像进行大小调整，为什么要这样做呢？因为图像输入，是转为向量（矩阵）输入的，向量的纬度一般是固定的，所以要进行大小调整输入向量维数 = 输入层节点数举例，假如训练输入的是一张张图片，每...

原创 【Transformer】医学分割TransFuse: Fusing Transformers and CNNs for Medical Image Segmentation

transfuse 医学分割背景网络简介transformer分支原论文地址：https://doi.org/10.48550/arXiv.2102.08005背景卷积神经网络 (CNN) 在众多医学图像分割任务中取得了无与伦比的性能，例如多器官分割、肝脏病变分割、大脑 3D MRI 等，因为它被证明在构建分层结构方面非常强大通过端到端训练网络来实现特定于任务的特征表示。尽管基于 CNN 的方法取得了巨大成功，但它在捕获全局上下文信息方面缺乏效率仍然是一个挑战。感知全局信息的机会等于效率的风险，因

原创 神经网络调参经验总结

新手炼丹经验总结炼丹入坑三年多，来总结一些经验，本文旨在帮助小白少走弯路，大佬轻喷：本文源于一个旧回答：你有哪些deep learning（rnn、cnn）调参的经验？我的工作可以参见 我的 Github，一股浓浓调参风，所以感觉能来说点小经验。另，旷视研究院目前在春招实习生，欢迎大家投递。准备工作大部分情况下，我们的工作应该站在巨人的肩膀上，切忌空中楼阁和徒手造轮子。在实践中建议琢磨以下两问：a. 目前的问题是否可能用神经网络学习？ b. 是否有人做过类似的工作？a. 即使有数据，神经网络不是万

原创 深度学习的多个loss如何平衡？

高赞回答1这也是个困扰了我多年的问题：loss = a * loss1 + b * loss2 + c * loss3 怎么设置 a，b，c？我的经验是 loss 的尺度一般不太影响性能，除非本来主 loss 是 loss1，但是因为 b，c 设置太大了导致其他 loss 变成了主 loss。实践上有几个调整方法：手动把所有 loss 放缩到差不多的尺度，设 a = 1，b 和 c 取 10^k，k 选完不管了；如果有两项 loss，可以 loss = a * loss1 + (1 - a)

原创 CSDN2021年年度报告

2021年年度报告查看地址：https://www.csdn.net/cps/2021summary/index.html最近经常看到朋友圈有人分享自己2020年在常用平台的年度报告：有的人分享了这一年来听了多少首歌，最喜爱听的歌是什么；有的人分享了这一年来消费了多少钱，最喜欢购买的产品类型是什么；有的人分享了这一年来看了多少篇文章，主要集中在什么领域…很多CSDN的忠实用户因为经常看到别人分享年度报告，也跑过来问：CSDN什么时候出年度报告？我想看看我的技术报告。这不，我们的年度报告在你们

原创 skimage data函数库

dataastronautbinary_blobscameracheckerboardchelseaclockcoffeecoinsexpected_warningshorsehubble_deep_fieldimg_as_boolimmunohistochemistryimreadloadlogomoon页火箭stereo_motorcycletextuse_plugin标准测试图像。有关更多图像，请参阅 http://sipi.usc.edu/database/database.php项目

原创 图片转化为向量Tensor的方法

图片转化为向量Tensor的方法两种方法报错1：结果pytorch中比较所得两个tensor是否相等源代码解析ToTensor()to_tensor(pic)图像数据读取PIL与CV数据格式PIL(RGB)代码解释OpenCV(python版)(BGR)两种方法import cv2import torchvision.transforms.functional as Fimport torchvision.transforms as Timage = cv2.imread('00001.jpg'

原创 skimage.feature函数使用说明

featureGenerate noisy image of a squareFirst trial with the Canny filter, with the default smoothingIncrease the smoothing for better resultsonly select one feature over twoskimage.feature.blob_dog(image[, min_sigma, …])Finds blobs in the given grayscale

原创 Transformer在CV上的应用前景

仅做学术分享，如有侵权，联系删除转载于 ：链接：https://www.zhihu.com/question/437495132编辑：深度学习与计算机视觉目前已经有基于Transformer在三大图像问题上的应用：分类（ViT），检测（DETR）和分割（SETR），并且都取得了不错的效果。那么未来，Transformer有可能替换CNN吗，Transformer会不会如同在NLP领域的应用一样革新CV领域？后面的研究思路可能会有哪些呢？作者：mileistonehttps://www.zhihu

原创 python sample函数

python sample函数1 sample(序列a，n)2 random sample()1 sample(序列a，n)sample(序列a，n)功能：从序列a中随机抽取n个元素，并将n个元素生以list形式返回。例：from random import randint, sampledate = [randint(10,20) for _ in range(10)]c = sample(date, 5)print(c)# 输出：[12, 17, 10, 12, 17]rand

原创 图像语义分割方法研究进展

全监督学习的图像语义分割方法研究进展1 全监督学习的图像语义分割方法1.1 基于全卷积的图像语义分割方法论文链接：https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CJFD&dbname=CJFDLAST2021&filename=JSGG202104007&uniplatform=NZKPT&v=3Qinehu7XHJafbpzRGn9ORaNwq9FWcHVRDWNUdk0zDg1h15SKCqIYBjxlAHRuw

原创 使用 Python 进行深度学习以进行裂纹检测

使用 Python 进行深度学习以进行裂纹检测问题陈述数据集准备训练模型结论参考问题陈述虽然新技术已经改变了我们生活的方方面面，在建筑领域似乎牛逼Ø正在努力追赶。目前，建筑物的结构状况仍然主要是人工检查。简单来说，即使现在需要检查结构是否有任何损坏，工程师也会手动检查所有表面并拍下一堆照片，同时记录任何裂缝的位置。然后需要在办公室多花几个小时来整理所有照片和笔记，试图从中做出有意义的报告。显然，这是一个费力、昂贵且主观的过程。最重要的是，出现了安全问题，因为有些结构的访问限制并且难以到达。

原创 torch.svd 向量计算奇异值分解

torch.svd(input, some=True, compute_uv=True, *, out=None) -> (Tensor, Tensor, Tensor)计算一个矩阵或一批矩阵 input 的奇异值分解。奇异值分解表示为namedtuple（ U,S,V ），使得 input = U DIAG（ S ） Vᴴ ，其中 Vᴴ 是的转置 V 为实数值的输入，或共轭转置 V 为复值输入。如果 input 是一批张量，则 U 、 S 和 V 也使用与 input 相同的批维度进行批处理。

原创 Ubuntu视频没有声音

Ubuntu中文版视频没有声音安装pavucontrol打开pavucontrol配置输出设备over安装pavucontrol打开终端输入sudo apt install pavucontrol打开pavucontrol打开终端输入：pavucontrol配置切换到“配置”选项卡，根据实际情况禁用不需要的声卡。禁止第一项，第二项选择模拟立体声输出（analogy stereo output推荐选择）或者模拟立体声双工（analogy stereo duplex）输出设备切换到输出

原创 python更改图像尺寸resize

from PIL import Imageimport os.pathimport globdef convertjpg(jpgfile,outdir,width=256,height=256): img=Image.open(jpgfile) h, w = img.size if h != 256 or w != 256: try: print(jpgfile,h,w) new_img=img.resize((w

原创 python替换删除增加图像名称中特定字符

# -*- coding:utf-8 -*-import ospath = "./3-concreteCrackSegmentationDataset/rgb/"files = os.listdir(path)for file in files: print(file)i = 0for file in files: # old name old = path + os.sep + files[i] # new name new = path + os

原创 python同时将两个文件夹更改名字

#### 将一个文件夹内的图片名称随机，对应着另外一个文件中的标签也改为相对应的名字#coding=utf-8import os #打开文件时需要from PIL import Imageimport re class BatchRename(): def __init__(self): #我的图片文件夹路径 self.path1 = './9-crack760/image/' self.path2 = './9-crack760/mas

原创 python 批量输出图像的尺寸大小及模式

file_path = './example/images/'i = 0for filename in os.listdir(file_path): img = Image.open(file_path + filename) mod = img.mode h,w = img.size print(filename,h,w,mod) # (int(h/4),int(w/4) #if h % 448 != 0 or w % 448 != 0: #可根据尺寸

原创 python识别两个文件夹中文件是否相同，将不同的提出来

较少文件夹较多文件夹import osimport shutilfrom PIL import Imageimport numpy as np#判定两个文件夹内的文件是否相同file_path1= './3-concreteCrackSegmentationDataset/rgb/' #已知 内容较少的文件夹file_path2 = './3-concreteCrackSegmentationDataset/BW/'f1 = []f2 = []for filename in os

原创 python 图像二值化处理

python 图像二值化处理import osfrom PIL import Imageimport shutilfile_path = './5-crack919/mask/'save_path = './5-crack919/mask01/'if not os.path.exists(save_path): os.makedirs(save_path)###二值化for filename in os.listdir(file_path): print(filenam

原创 python按顺序裁剪大图像分割为小图像，并组合

图像裁剪分割后组合裁剪分割代码图像组合裁剪分割代码分辨率3840x2160分辨率1920x1080# -*- coding: utf-8 -*-from PIL import Imageimport osimport cv2crop_w = 1024 #裁剪图像宽度crop_h = 1024 #裁剪图像高度imageDir="./example/images/" #./Original/Images/Labels #原大图像数据saveDir="./exam

原创 Transformer综述大全（2）【A Survey of Visual Transformers】

Transformer4 TRANSFORMER FOR DETECTION目标检测1Transformer Neck1)原始检测器2)稀疏关注的Transformer3)空间先验Transformer4)Transformer with Redesigned Structure5)Transformer Detector with Self-Supervised Learning2Transformer Backbone3讨论TRANSFORMER FORSEGMENTATION分割Patch-Based

原创 Transformer综述大全（1）【A Survey of Visual Transformers】

Transformer1 Introduction原始Transformer注意力机制Attention Mechanism多头注意力机制Multi-Head Attention MechanismPosition-wise Feed-F orward NetworksPositional EncodingTransformer ModelTransformer for classficationOriginal Visual TransformerTransformer Enhanced CNNVTsBo

原创 深度学习（18）机器学习常用的评价指标

评价指标回归问题1. MAE：平均绝对误差（Mean Absolute Error）2. MSE：均方误差（Mean Square Error）3. RMSE：根均方误差（Root Mean Square Error）4. MAPE：平均绝对百分比误差（Mean Absolute Percentage Error）5. SMAPE：对称平均绝对百分比误差（Symmetric Mean Absolute Percentage Error）6. R Squared:7. 代码实现：分类问题0. Confusio

原创 pytorch 损失函数（前）

在盘点常见损失函数之前，有必要先说一下在很多的损失函数中都出现的三个参数，也即size_average,reduce以及reduction，并且它们三个之间还存在一定的关系。size_average：bool类型；默认情况下，如果只有一个batch，每个batch有多个元素，那么误差计算结果是这个batch中多个元素的平均值；如果是有多个batch，然后每个batch有多个元素，那么误差计算的结果是将每个batch的平均值放到一块再求多个batch的平均值；如果把这个参数设置为False,那么只需要将计算

原创 报错-待写答案

原创 深度学习（17）机器学习常用的损失函数

损失函数分类损失函数一、LogLoss对数损失函数（逻辑回归，交叉熵损失）二、 指数损失函数（Adaboost）三、Hinge损失函数（SVM）回归损失函数一、均方误差、平方损失-L2损失：二、平均绝对误差-L1损失函数：平均绝对误差和均方误差（L1&L2）比较：三、Huber损失——平滑平均绝对误差四、Log-Cosh损失函数五、分位数损失（Quantile Loss）了解分位数损失函数比较研究：总结分类损失函数一、LogLoss对数损失函数（逻辑回归，交叉熵损失）有些人可能觉得逻辑回归的损

原创 机器学习词汇翻译解释（2）

词汇激活函数（Activation Function）AdadeltaAdagradAdam仿射层（Affine Layer）注意机制（Attention Mechanism）Alexnet自编码器（Autoencoder）平均池化（Average-Pooling）反向传播（Backpropagation）通过时间的反向传播（BPTT：Backpropagation Through Time）分批标准化（BN：Batch Normalization）双向循环神经网络（Bidirectional RNN）Ca