loovelj-CSDN博客

原创 MacOS 升级14.4.1后vscode无法远程连接

今天上班第一天，开始提示MacOS可以升级，顺手就点击了升级重启，版本显示 14.4.1 (23E224)此时大多数的VSCODE远程服务器无法连接，不管用不用VPN都不可以，报错大致包括如下信息。尝试清空knowhost和远程的vscode-server，都不起作用。就会报错，说无法连接，此时得改为英文且无空格的Host，这时就能连接了。这时如果你的名字是这样，Host 后面是中文或者有空格的。同时今天vscode升级到了1.88。此次MacOS的SSH升级了，此时。

2024-04-07 16:05:20 304

原创关于MNN中图像预处理

MNN工程化中，首先遇到图像预处理，其中要做的是对图像归一化，这里不需要我们自己用代码实现，MNN自动帮我们处理，代码如下，根据。,处理公式是 dst = (img - mean) * normal。

2022-09-07 16:24:35 853 1

原创 cv2_polylines_Expected Ptr＜cv::UMat＞ for argument ‘img

我原来以为是img变换出了问题，发现不画多边形，图像就能存储。发现，这个多边形不能在原图上画，只能在拷贝图像上画。今天画多边形，发现总是报下面这个错，

2022-08-17 10:54:55 465

原创 Android 中通过JNI调用OpenCV处理图片1

上篇提过，通过部署好了OpenCV的动态链接库，就是加入include和so文件，不用加入moudle;android studio使用jni调用opencv库实现图片转换【详细实例】（二）

2022-04-02 15:29:13 5469

原创 Android Studio使用OpenCV以及JNI

1、下载OpenCVSDK，2、导入OpenCV Moudle,同时配置一下gradle,主要是版本要相同3、导入include头文件以及so文件，gradle中的jinLibs设置，要不说找到两个so文件 sourceSets { main { jniLibs.srcDirs = ['libs']} }#动态方式加载#include_directories(${CMAKE_SOURCE_DIR}/include)include_directories(/root/app/

2022-04-01 17:26:27 2978

原创 MNN Ubuntu16部署流程

1、先安装protobuf2、下载MNN，注意，一定要下载1.2.1及以上的，要不编译会出问题编译参考 MNN编译方法生成处libMNN.so动态链接库，可以放在/usr/local/lib下，方便以后使用3、安装grpc第一步：升级git第二步：protobuf 安装下载protobuf1.enter the "protobuf/cmake/" dir.2.mkdir build. protobuf/cmake/build3.cmake ..4.make && m

2022-03-30 20:14:44 322

原创 pytorch中的setattr和getattr属性

最近看检测代码，经常会看到__setattr__和__getattr__这两个魔法属性，主要是对最后检测头的时候使用我查询了一下：__setattr__就等于在字典__dict__里面插入key和value但是，__getattr__是在获取不到key的时候才用到这个，但为什么pytorch可以获取import torch import torch.nn as nnclass Animal(nn.Module): def __init__(self,name,age) -> No

2022-01-06 16:26:20 3114

原创 conda升级python

最近vscode在python3.7的环境下，numpy的有些函数没有提示，所以准备升级一下python内核，查了一下，输入conda install python=3.8他就自动升级了

2021-12-27 17:38:07 1324

原创 Tmux 登录已经登录中的窗口

使用Tmux 的过程中，经常会遇到一种情况，就是想进去的tmux窗口，在别的电脑上登录过，然后没有退出，这时想登陆进去可以，但是size不一样，就感觉很难受，就像找那种把旧登录的挤下去那种命令，命令很简单，如下所示：tmux attach -d -t pannel1这样就能挤下去旧的登录，在这个窗口重新登录...

2021-08-12 10:31:35 351

原创 TensorRT cublasStatus == CUBLAS_STATUS_SUCCESS

最近部署TensorRT的时候，遇到了这个报错，导致生成的engine文件大小为0，就是空文件[TensorRT] INTERNAL ERROR: Assertion failed: cublasStatus == CUBLAS_STATUS_SUCCESS../rtSafe/cublas/cublasLtWrapper.cpp:279Aborting...[TensorRT] ERROR: ../rtSafe/cublas/cublasLtWrapper.cpp (279) - Assertion

2021-05-22 15:34:04 3432 8

原创 Pytorch 加速读取数据之 prefetch_factor

最近使用四卡训练图片，发现总有卡的效率突变到0，大致就是在读取以及处理数据了怎么能加速读取呢？一个方法是用NVIDIA的DALI模块，可以加速，具体可以参考英伟达DALI加速技巧：让数据预处理速度比原生PyTorch快4倍主要就是通过并行训练和预处理过程，减少了延迟及训练时间但是今天我发现一个更简单的方法就是升级pytorch到1.7以上，目前是1.8.1，最好的1.8.1吧为什么会这么说呢，因为在dataloader中加入了一个参数 prefetch_factor，这个就是提前加载多少个ba

2021-05-07 18:24:04 11681 1

原创 Matplotlib中文显示

最近想用matplotlib显示中文，搜了一大堆，发现还没搞懂，最后参考知乎上彻底解决Python里matplotlib不显示中文的问题的解决方式，终于解决了。第一步先看自己有没有中文字体包，就是那个ttf# 查询当前系统所有字体from matplotlib.font_manager import FontManagerimport subprocessmpl_fonts = set(f.name for f in FontManager().ttflist)print('all fo

2021-04-23 17:53:02 213 1

原创 Numpy 1e-0.1 小数显示问题修改

最近查看tensor输出的时候，只想看到小数后四位，但是由于tensor输出的是float64位的科学技术法，看起来很难受，如下图所示：1.去掉e显示由于上图很难看出来区别，所以需要转换一下输出方式，去掉e这种表示，在最上面设置一下np.set_printoptions(suppress=True)2.设置四位小数显示由于小数太多不美观，可以设置只显示4位，代码如下：np.set_printoptions(precision=4)效果为：这样就会美观好多，大家以后可以常用这两项设置

2021-04-23 10:53:19 1671

原创 MAC VsCode 跳板机远程连接服务器

最近一直使用VSCODE远程连接服务器进行开始，毕竟服务器比较多，VSCODE的远程服务开始又很方便，而且加入秘钥以后就等于秒开。但是最近我需要远程登录一台跳板机转的服务器，找了很多技术文档，这里总结一下。首先参考了这个201117-MacOS上通过VsCode配置跳板机连接服务器，刚开始没看懂，后面配置大致就了解了# Jump box with public IP addressHost <HUST> #跳板机服务器A名称<HUST> HostName <x

2021-01-20 22:48:24 4168 3

原创旋转图片及标注lable的实现

旋转图片相关内容背景旋转理论OpenCV操作背景1、做带角度的图像数据增强，一般使用rotate函数就可以，不过有时图片部分角就会旋转出去，如果不丢失信息，且补边呢？2、如果标注的label是一个矩形，如果旋转后，想让label也跟着旋转，怎么计算旋转理论旋转图片一般用到了仿射变换，仿射变换的原理可以从几何理解，也可以从极坐标方式理解，具体计算方式就是矩阵相乘OpenCV操作OpenCV的方法是cv2.getRotationMatrix2D()方法matRotate2 = cv2.getR

2020-12-26 18:57:07 1776

原创 DCNv2 RuntimeError: Error compiling objects for extension

最近使用CenterNet的时候，由于在DLA34中用到了DCN，所以需要编译DCNv2，但是每次都会出问题，最近做一个小结1、Pytorch版本：1.62、DCN选择：https://github.com/lbin/DCNv2，这个链接中针对pytorch不同版本做了相应改变，切换分支即可git checkout -b pytorch_1.6 origin/pytorch_1.6但是编译的时候遇到了报错：.../bin/sh: 1: :/usr/local/cuda-10.0/bin/n

2020-12-02 17:14:53 11675 4

原创 Pymysql中插入json内容 dict‘ object has no attribute ‘translate‘

最近在使用pymysql插入数据时，会出现以下报错You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near \'det": 和 dict' object has no attribute 'translate'最后发现是单双引号造成的问题，所以我们应该使用以下方法：aa = pymysql

2020-10-23 18:03:07 1123

原创 Pytorch训练总结

Pytorch中有许多需要注意的地方，这里总结一下1、数据加载1、要保证输出图片的格式是一致的train_data=CustomDataset(file_list,transform=transforms.Compose([ transforms.Resize(512),# 要保证数据输入大小一致 transform

2020-10-14 18:56:52 649

原创使用OpenCV和PIL旋转90,180,270效率对比

最近需要一个批量旋转图像的程序，现在发现的有3种方法，所以就想看看哪个效率高点，所以进行了以下测试。1、OpenCV使用仿射变换这个参考了 OpenCV Python – Rotate Image 90, 180, 270 – Exampleimport cv2import time# read image as grey scaleimg = cv2.imread('0916_174.jpg')# get image height, width(h, w) = img.shape[:2

2020-09-28 16:54:16 1138

原创 COCO数据集整理及使用

1、简介COCO数据集是微软团队获取的一个可以用来图像recognition+segmentation+captioning 数据集，其官方说明网址：http://mscoco.org/。引用首先看COCO数据集的构造,COCO数据集使用:2、数据结构1、通用字段info{ "year" : int, # 数据集年份号 "version" : str, # 数据集版本 "description" : str,

2020-09-22 18:29:57 4931

原创 Pytorch的gather和scatter

最近在看pytorch的gather与scatter函数，现在详细记录一下1、Gathergather是根据索引取数据，下图可以表示gather，具体见[gather]的介绍(https://stackoverflow.com/a/54706716)但是要注意的是，dim为0和1时，index是有区别的，要转置一下index = torch.as_tensor([[0,1,2],[1,2,0]]) src = torch.arange(9).reshape(3,3) torch.gather(s

2020-07-28 16:56:24 1403

原创 Pyinstaller解包

最近由于忘了源代码放哪里了，只能从Pyinstaller打包好的exe文件中找了，参考了一下教程，发现挺简单。1、把exe转为pyc文件1、首先在GitHub上下载pyinstxtractor，然后基于pyinstxtractor.py这个文件执行语句python pyinstxtractor.py test.exe# 输出[+] Processing dist\test.exe[+] Pyinstaller version: 2.1+[+] Python version: 36[+] L

2020-07-15 16:31:04 5703

原创 Tensorflow之TFRecord制作——VOC数据为例

TFRecord 是TensorFlow专用的数据处理文件，方便在训练的时候快速读取和转移现在就基于VOC数据集介绍一下。1、生成TFRecord首先就是封装数据集，其具体方法如下：具体实现代码为：with tf.io.gfile.GFile(full_path, 'rb') as fid: encoded_jpg = fid.read() def int64_feature(value): return tf.train.Feature(int64_list=tf

2020-07-09 17:33:02 535

原创 tensorflow2 中szie 和shape的区别

最近在根据pytorch的SSD代码改写为tensorflow2的。其中，pytorch中求tensor的矩阵大小，直接用size就可以了。例如：#简洁明了>>> torch.empty(3, 4, 5).size()torch.Size([3, 4, 5])但是到TensorFlow2中，是不能这样了。TensorFlow2中应该使用shapeReturns the shape of a tensor.tf.shape(input, out_type=tf.dtypes

2020-06-15 17:03:58 338

原创关于SSD中Conv4_3的L2 Norm处理

最近研究SSD代码时，发现在Conv4_3特征层后，进行了L2 Norm 的处理，最后研究了一下。首先介绍一下L2 Norm，其实很简单，就是把所有值平方后加起来，求根以后当分母，然后每个数当分子，进行求解， L2 Regularization and Batch Norm 详细介绍了他的不同但是简而言之，L2 Norm 是在channel上进行求平均，而batch_norm 是对=[batch,higth,width]进行求平均至于为什么要用L2Normal，原作者说conv4_3和其他特种层

2020-06-04 20:11:24 1815

原创使用OpenCV缩小图像同时返回矩阵和byte图像

最近项目需要，缩小图像后同时需要矩阵和byte图像，这里记录一下转换代码def resize_img_1280p(file_path): img_mat = cv2.imread(file_path) h,w = img.shape[:2] new_h = max(h,w) fx = 1280/new_h #按比例缩小图像 resize_img = cv2.resize(img,(0, 0), fx = fx, fy = fx, interpolation

2020-06-02 16:59:39 238

原创 TypeError default_name type type list is not a string type

最近使用Tensorflow 1.15版本跑老版本的代码时，报错如下：TypeError: `default_name` type (<type 'list'>) is not a string type.经过查找，git issues解决方案是：Using the TensorFlow documentation for tf.name_scope, I resolved the issue by prepending [x] with values=. That is chang

2020-06-02 10:50:16 450 2

原创 Jenkins部署grpc服务并重启

背景目前我在使用jenkins做自动化测试工作，目前有个grpc服务，需要配置不同的参数后，启动服务再测试不同结果。用shell方式配置在自动化脚本当中，遇到了几个问题，在这里总结一下启动python 的virtualenv环境平常启动virtualenv中的python环境，我们都是用如下语句执行：source ./pipeline_env/bin/activate #无法在sh脚本中执行取而代之的是使用点代替source:. ./pipeline_env/bin/activate #可

2020-05-25 23:45:06 392

原创 NMS 多个框中取最大值

在MNS计算中，取预测框与真实框的交集，需要算出[xmin,ymin,xmax,ymax]，那对于多对多的情况下，如何实现批量计算呢？如下代码所示：def compute_intersection(set_1, set_2): """ 计算anchor之间的交集 Args: set_1: a tensor of dimensions (n1, 4), anchor表示成(xmin, ymin, xmax, ymax) set_2: a tensor

2020-05-19 17:07:09 331

原创 Pythorch unable to get local issuer certificate python

最近用pytorch下载torchvision.models 里面的model，当加载的时候报错，说unable to get local issuer certificate python最后需要关闭ssl认证，需要执行：import sslssl._create_default_https_context = ssl._create_unverified_context后面在执行就可以了...

2020-05-18 15:19:21 697 1

原创 EAST框架解析

EAST框架解析EAST简介一、训练第一步：图像预处理二、模型训练1）前向计算Loss 计算三、前向推理正向预测图像：Locality-Aware NMS总结：EAST简介EAST是一个文本检测模型，由于他的实现方式非常简洁且高效，所以吸引了很多人用他的方法做文本检测，具体实现方法已经有很多人讲过，下面将记录一下其中的具体代码处理过程。EAST论文地址：https://arxiv.org/p...

2020-04-27 17:31:34 1563

原创远程连接阿里云服务器Conda的虚拟ENV环境

最近连接阿里云服务器的时候，想使用里面订制的ENV环境，但是由于启动时自动用系统自己的ENV，经过查找方法，参考这篇jupyter notebook选择conda环境1、主要的就是启动conda环境source activate env1 #env1是需要的的env2、然后把ipykernel注册进去python -m ipykernel install --user --name en...

2020-01-17 17:00:05 605

原创 COCO数据集合解析

最近在使用COCO数据集做框检测，对其内容进行记录。1、首先是下载COCOMS COCO 数据集主页：http://mscoco.org/，进去以后点击DownLoad下载，2017要下载这些，总过有20多G2、安装pycocotools这个是解析COCO代码的工具包，具体安装方式为apt-get install cython #先得在系统安装cython pip install c...

2019-12-20 10:31:26 415

原创 Pycharm undefined symbol: AttachDebuggerTracing

Pycharm Debug模式下出错最近PyCharm升级到2019.3版本，然后远程连接服务器，进行Debug的时候，发现会报错.pycharm_helpers/pydev/pydevd_attach_to_process/attach_linux_amd64.so: undefined symbol: AttachDebuggerTracing查了一圈，发现有人也遇到这个问题，具体见...

2019-12-11 15:48:03 2936 6

原创 tumx中启用anaconda失效的解决办法

最近在用Anaconda创建虚拟环境，然后启用后开始使用，由于全局随时都可以启动，比virtualenv好用。但是，在Tmux中，虽然执行了codna activate myenv 然后也可以看到bash中myenv启动了，如下：(myenv) root@:[/usr/]:但其实还是使用的默认环境，因为myenv 我用的python3.7，但是执行是发现版本还是3.6最后在githu...

2019-12-05 19:57:16 731

原创 cuda9升级cuda10方法记录 ubuntu1604

由于最近的tensorflow2.0和pytorch都纷纷需要cuda10的支持，即使是使用conda安装，也要跟新driver 到410以上，以前的384版本的driver也不行了。索性就一起升级了,其中遇到很多坑，记录一下，希望能帮助大家，不过安装有风险，安装需谨慎！推荐一个网站，所有驱动都可以在这里下 Ubuntu 环境，这位博主真是功德无量啊1、下载安装文件（1）下载驱动在Nvi...

2019-11-18 17:28:28 9269 1

原创 pyinstaller 打包应用

最近有个脚本，为避免多次重跑，然后就准备制作成一个exe,方便其他人员执行制作步骤：1、安装pyinstaller，用最简单的pip 即可pip install pyinstaller2、执行文件，如果需要输入参数的话，就用python 的input函数，到时候运行时会自动弹出弹窗#假如这个文件为test.pyimport numpy as npimport cv2from p...

2019-11-06 10:36:53 367 3

原创 numpy 数组降维

今天看east代码的时候，发现一个很巧的降维方式：score_map <class 'tuple'>: (1, 168, 88, 1) geo_map <class 'tuple'>: (1, 168, 88, 5)score_map = score_map[0, :, :, 0]geo_map = geo_map[0, :, :, ]score_map....

2019-11-05 11:40:12 2487 2

原创 win10安装shapely报错，找不到geos_c.dll

今天安装shapely，使用最常用的pip install shapely，最后报错，说找不到 geos_c.dll最后在github上找到答案，就是在https://www.lfd.uci.edu/~gohlke/pythonlibs/#shapely这里下载对应版本的whl文件，里面包含了geos_c.dll然后再执行pip install shapely就可以了...

2019-10-29 11:28:51 6846 11

原创 office365的订阅用户为什么还提示我激活

由于订阅了office365，以前的office试用版本，还一直提示让我激活，估计是因为有2个激活码，一个是原来的，一个是订阅的。解决办法是：您好，了解到您在激活Office时遇到问题。有装过Office 2016 专业增强版吗？提示要求激活的是该版本。尝试win+S输入CMD，以管理员身份运行后，使用下面的命令：cd C:\Program Files\Microsoft Of...

2019-09-16 17:04:52 9815 1

空空如也

空空如也