- 博客(62)
- 收藏
- 关注
原创 VSCode无法连接远程服务器的两种解决方法
直接在terminal或cmd中使用ssh命令可以连接服务器,但是在vscode中存在报错,最后一行为。目前VSCode更新至1.86,和服务器上的版本可能不兼容(但目前感觉不影响使用?若解决方式1无效,可以在vscode中打开命令面板。一直要求Retry或者重新输入密码。以及服务器IP即可。
2024-02-14 16:38:55 5141 3
原创 如何理解图卷积网络GCN
可以调用中的GCNConv进行实现。if bias:else:# 1.消息传递# 1.对所有节点进行新的空间映射# 2.添加偏置= None:# 3.返回source、target信息,对应边的起点和终点# 4.获得度矩阵# 5.度矩阵归一化# 6.计算sqrt(deg(i)) * sqrt(deg(j))# 7.返回所有边的映射# 8.计算归一化后的节点特征return x_j# 2.消息聚合# 1.返回source、target信息,对应边的起点和终点。
2024-01-02 10:56:57 889
原创 深度学习中Batch/Layer/Instance/Group normalization方法
图片中,N是batch size, c是channel。
2023-12-31 16:23:04 393
原创 使用CDSAPI下载ERA5数据设置grid分辨率
使用ERA5官方网站生成python脚本进行数据下载时,不能设置下载分辨率大小。在默认情况下,使用原始网格分辨率0.25*0.25。如果要改变网格分辨率,可以在请求中添加。其中,res为目标分辨率。值得注意的是,制定网格分辨率的值必须是原始网格分辨率的倍数。
2023-12-31 10:53:00 443
原创 torch_geometric 使用 batch
torch.geometric的batch不支持CNN中广泛使用的batch维度。CNN中使用batch的数据具有。基于torch.geometric的data具有node和edge的特征,其中node的维度表示为。中起始点和终点的index都必须小于nodes的个数(因为默认从0开始)将数据转换成Batch格式,或者手动将node concate成。与GCNConv, SAGEConv不同的是,当使用。,edge_index concate成。,edge的维度表示为。
2023-12-11 21:30:23 709
原创 Linux CUDA11.6 Python3.8 安装pytorch-geometric
Pytorch-gemetric适配 python3.8-3.11版本。
2023-12-06 11:24:39 472
原创 loss.detach().item(), loss.detach(), loss.item()的区别,以及requires_grad=True/False区别
最近的程序总会在运行了几个epoch之后CUDA out of memory,除了常见的几种解决方法以外,还有一种是在train loss合并的时候,没有选择detach,或者item,导致反向梯度在合并的时候进行了累计。
2023-11-10 11:18:27 418
原创 使用PIL打开tif图进行resize,PIL image.resize image has wrong mode
原因是因为tif image存储精度是unit16,使用。将数据格式转换为uint8后可以正常使用。
2023-09-06 19:35:19 263
原创 USSOCOM Urban3D 数据集读取与处理
Urban3D数据集图像为正摄RGB影像,分辨率为50cm。从每一块.tif大小为2048*2048。
2023-08-29 21:02:25 1039
原创 报错CUDA error: no kernel image is available for execution on the device
在这种情况下默认安装的是CPU版本的pytorch,因此如果使用GPU运行会出现CUDA版本不匹配的问题,即CUDA error: no kernel image is available for execution on the device。中给出了不同版本的pytorch对应的torchvision、torch audio和CUDA版本,十分实用。在安装pytorch的时候,如果服务器上有GPU,不能直接使用。的安装命令,如果需要安装GPU版本的pytorch,可以使用。
2023-06-18 18:44:22 1027
原创 在markdown中进行文内跳转
如果在markdown中想进行文内超链接(不是标题、目录超链接),可以用到HTML语法定义锚点。在想要进行超链接的原内容附近加入。在需要加入超链接的部分使用。id为给原内容起的名称。
2023-05-25 16:07:49 1131
原创 open3D depth image注意事项
如下代码提供转换方法。(注,PIL的Image不能很好的处理uint16格式数据,尝试了几次似乎都是当成int32处理,因此存储新图像的时候需要使用cv2中的函数。的时候,需要用到color image和对应的depth map。在open3d中默认的depth map是mm为单位,且需要使用uint16作为格式。Open3D中在使用。
2023-05-18 20:06:13 160
原创 Apple M1 python安装open3d
因为一开始在linux上安装open3d的时候python3.9发现有package不兼容,因此选择安装在python3.7版本上。但是python3.7和Apple M1芯片貌似不兼容。安装的版本是open3d-python 0.3.0.0,可能是版本和芯片不兼容。先说结论,Apple M1 安装python3.8+open3d 15.0.1。,安装的是open3d 0.17.0版本。但是在尝试代码的时候出现报错。因此选择python3.8的anaconda环境。,就可以正常运行了。
2023-05-17 21:15:37 621
原创 torch.inverse报错及其解决办法
网上也查不到相应的解决方法,也不是GPU显存不够出现的问题,因此选择使用cpu进行计算,然后再放到cuda上。原因是少安装了libnvJitLink.so.12这个库,在安装完之后依旧出现报错。
2023-05-15 17:13:45 2790 2
原创 DepthTransfer: Depth Extraction from Video Using Non-parameteric Sampling
如果是逐帧预测的话,可能会忽略视频原本的时间连续和时间依赖,因此对于video的energy function,作者加入了Ec: temporal coherence, Em: motion cues,系数分别是100和5。不同于其他主流方法以及深度学习方法,本文提出的方法并没有一个特定的模型完成深度估计,而是通过把已有的dataset标签数据与给定的待预测样本进行对应,并将深度信息进行迁移。与深度学习黑盒模型不同的是,这篇文章所用的方法是通过相似图片的匹配以及其深度图的迁移来计算待预测图像的深度图。
2023-05-04 11:45:31 66
原创 Deep3D: Fully automatic 2D-to-3D video conversion with deep convolutional neural networks
网络中间部分输出了left view 和 right view的视差图 (disparity map),but this is only used for minimizing the MAE between the predicted right view and the ground truth. Therefore, the “disparity map” is not “real” and “accurate”.我猜测可能还因为是拍摄角度的转变以及有效信息占比的减少(多输入数据的干扰)。
2023-05-03 12:33:45 244
原创 Unsupervised Monocular Depth Estimation with Left-Right Consistency
这篇文章一共combine了3个loss function,具体可见。
2023-04-27 20:38:24 41
原创 KITTI数据集wget下载operation timed out
这个命令只对当前终端窗口有效。如果想要永久保存则直接在 .bashrc 或者 .zshrc 添加上述两行命令并且。在拥有🪜的情况下,在终端wget。依然存在同样的错误。
2023-04-24 11:23:38 284
原创 ScanNet数据集下载 ConnectionResetError: [Errno 104] Connection reset by peer
如果直接python运行整个脚本很容易导致ConnectionResetError: [Errno 104] Connection reset by peer, 因此可以使用以下运行命令每次进行一个filetype的下载。出现 ConnectionResetError: [Errno 104] Connection reset by peer 解决方式。整套数据集共1.2TB,如果不想全部下载的话可以使用以下命令下载约5.6G的采样数据。
2023-02-24 15:06:32 562
原创 EfficientNetV2
与EfficientNet相比,EfficientNetV2有以下区别:+ 在浅层网络中大量运用了`MBConv`和新加入的`fused-MBConv`+ 使用了较小的expansion ratio,可以达到较小的内存访问开销+ 偏向于`kernel3x3`,但这需要增加层数来弥补小kernel感受野的不足+ 移除了last stride-1 stage,但是这是由于NAS搜索出来的,所以是作者的猜测可能是在参数量和访存开销的优化。
2023-02-23 16:14:42 279
原创 Xception
depthwise convolution的一个卷积核只负责一个通道,输入与输出的通道数相同,无法扩展featuremap,没有有效利用不同通道在相同空间位置上的feature信息,因此需要pointwise covolution将feature map进行有效组合。由于inception V2采用的是先pooling再inception的结构,会造成表达的瓶颈问题,即特征图的大小不能急剧缩减,只经过一层就骤降,会丢失大量信息,对模型训练造成困难。的参数,因此使用深度可分离卷积能有效减少参数的个数。
2023-02-08 15:41:03 375
原创 HRNet
在语义分割的时候需要得到一个高分辨率的heatmap进行关键点的检测。获取高分辨率的方式一般是采用先降分辨率再升分辨率的方法,例如U-Net,SegNet,DeconvNet,Hourglass。这些网络的一个特点是将不同的分辨率进行串联。与上述Net不同的是,HRNet并联了不同分辨率,并添加不同分辨率之间的交互。
2023-02-02 21:44:55 374
原创 tmux快捷指令
会话的一个重要特点是,窗口与其中启动的进程是的。打开窗口,会话开始;关闭窗口,会话结束,会话内部的进程也会随之终止,不管有没有运行完。为了解决这个问题,会话与窗口可以"解绑":窗口关闭时,会话并不终止,而是继续运行,等到以后需要的时候,再让会话"绑定"其他窗口。
2023-01-29 12:33:58 2081
原创 Tiff图像的前处理,median blur filter 及 linear stretch
从Google Earth Engine上下载的sentinel-1遥感影像(float32)。对于SAR影像在使用前可以做如下前处理:1. 去除SAR噪点2. 替换百分位2%以下及百分位98%以上的点3. linear stretch 将sentinel-1的值域转化为0-255
2022-12-22 18:59:52 422
原创 DeepLabv3+ 中Dilation ASPP 以及Decoder模块
ASPP模块主要包含以下几个部分: (1) 一个1×1卷积层,以及三个3x3的空洞卷积,对于output_stride=16,其rate为(6, 12, 18) ,若output_stride=8,rate加倍(这些卷积层的输出channel数均为256,并且含有BN层);(3)将(1)和(2)得到的4个不同尺度的特征在channel维度concat在一起,然后送入1x1的卷积进行融合并得到256-channel的新特征。
2022-12-22 13:18:45 907
原创 ResNet-50/101/152
与ResNet18 和 34不一样的是,50,101和152使用了bottleneck结构而不是basic block。在bottleneck中,对channel进行了缩放。,在这篇文章中,BTNK1对应代码中 bottleneck。的情况,BTNK2对应。
2022-12-19 18:55:31 1992
原创 求取批量图片的均值和方差
在训练神经网络的时候,需要对输入的图片进行归一化操作。对于单通道灰度图可以进行采样并求取采样图片的均值和方差。假设训练所用的图片名都存在figure_file.txt中。
2022-12-15 11:20:45 738
原创 torch.nn.CrossEntropyLoss报错及解决
不然softmax无法计算,及model的output channel = class number。假设传入torch.nn.CrossEntropyLoss的参数为。根据官网文档,如果直接使用class进行分类,pred的维度应该是。注意在网络输出的channel中加入。,label的维度应该是。
2022-12-14 12:56:04 10442 3
原创 nvcc和nvidia-smi显示版本不一致的问题
在服务器上用3090尝试运行程序的时候发现了报错查看了一下CUDA的版本,用nvcc -V得到的是V11.6.124,用nvidia-smi得到的版本是11.4。
2022-12-12 15:19:35 2437
原创 Holistically-Nested Edge Detection
文章还测试了"fusion-output without deep supervision" & "fusion-output with deep supervision"两种情况,其中without是loss function只使用 L_fuse的情况,with是使用L_side和L_fuse的情况。其中,e为本文提出的Holistically-nested networks. 与a-d不同的是,之前的四种方法都存在冗余。与VGG比起来,剪掉了第五个pooling一级之后的全连接层。
2022-12-12 11:13:25 169
原创 Mac 预览(Preview)丢失PDF标注恢复
https://github.com/julihoh/pdf_annotation_fix#readmereal好用!谁用谁感动!
2022-10-22 15:28:50 2166 6
原创 python使用gdal将二维numpy数组转换为单波段tiff格式
可以在读取出一部分图像后进行缩放。那么就用这两个参数来定义缩放后图像最终的宽和高,gdal将帮你缩放到这个大小。: 可以对读出的数据的类型进行转换(比如原图数据类型是short,你要把它们缩小成byte)。: 指定想要读取的部分原点位置在整张图像中距离全图原点的位置(以像元为单位): 指定要读取部分图像的矩形的长和宽(以像元为单位): 适应多波段的情况。可以指定要读取的波段。...
2022-08-29 14:46:00 2117
原创 大气对流参数
条件性不稳定是一种潜在性不稳定。只有当起始 高度上有较强的抬升力或冲击力,将气块抬升到 自由对流高度(LFC) 以上时,对流运动才能发展,不稳定才表现出来。850hPa上的湿空气沿着干绝热线抬升,到达抬升凝结高度(LCL)后再沿着湿绝热线上升至500hPa具有的气块温度与500hPa环境温度之差。对于海拔较高的地区,不能直接用SI指数,而是应该在低层、高层分别取两个等压面代替850hPa和500hPa。如果850hPa和500hPa之间存在锋面或者逆温层,SI无意义。阈值必须针对不同季节、根据各地实际情
2022-06-15 16:43:36 3965
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人