- 博客(38)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 给看我博客的你的一些建议：勇敢拥抱新技术
距离我最后一次发布技术博文，已经过去4年。这4年里，ai领域的技术巨变，我个人也从一个算法工程师转变成AI产品经理，并push自己在人生路上走阶梯。希望我们继续一起走阶梯，也祝愿你继续拥有好的生活和工作。Hi 看我博客文章的各位，
2023-07-01 16:22:32
232
原创 libcublas.so.10.0: cannot open shared object file: No such file or directory
报错的原因可能有几种，可逐一排除。环境变量没有生效安装cuda过程中需要配置环境变量：#cuda路径更改成自己的实际cuda安装路径export CUDA_HOME=/usr/local/cuda-10.0export PATH=$PATH:$CUDA_HOME/bin export LD_LIBRARY_PATH=/usr/local/cuda-10.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}如果只是在terminal执行上述代码，之后会失
2021-05-01 08:08:56
2041
1
原创 作为AI产品经理，你合格吗？
AI产品经理是近年职业市场上的新物种，遵循进化规律，市场自然会逐渐对其提出新的职业要求。如何成为一名合格的AI产品经理？除了需要具备传统PM的核心技能，还需要有契合职业本质的基本技能——将AI能力与场景匹配。正逆向匹配AI产品经理工作中涉及的AI能力与场景匹配情形主要有两种，分别是正向匹配和逆向匹配。正向匹配从AI能力出发，寻找匹配场景。AI产品经理经常会关注行业趋势，跟踪、分析新近出来的算法表现，如果理论效果特别优秀，会尝试将算法表现对应到AI能力，再去寻找AI能力所能解决的场景，探知是否
2021-03-06 17:49:39
282
原创 西瓜视频需要社区文化吗？
我是西瓜视频和b站的中度用户。早餐时、午休前、睡觉前是我的主要需求场景。对于两个平台的其他内容我并没有消费需求，主要关注点在PUGC，满足我的解压、学习需求。在b站混迹一段时间之后，我转用西瓜视频时一个最大的感受就是社区氛围的强度低，由于在两个平台我关注的创作者有大量交集，观看这些创作者的内容时这种感觉更被放大。感受差异的来源一部分是西瓜视频社区文化的不足，那是不是直接参照b站去建立社区文化就可以了？我认为不能如此草率的下结论，因为西瓜视频是否需要社区文化这个问题值得分析。在中视频赛道上，西瓜视频和
2021-03-04 22:05:15
465
1
原创 RuntimeError: ONNX symbolic expected a constant value in the trace
尝试利用 onnx 进行 pytorch2tensorrt 转换时，报错：RuntimeError: ONNX symbolic expected a constant value in the trace做了一个小测试：envs:pytorch1.0cuda9.0python3.7对于 avg_pool，只有当参数为确定值比如480，640时，torch.onnx.export...
2019-09-26 10:44:13
1883
原创 python复制list方法
a = [1]创建索引 a 指向 list [1]，a 不是列表。b = a不是复制操作，只是将 a 的索引list [1] 索引给 b，b 不是列表。修改 a 会同时修改 b，因为都指向同一个 list。 如果打印两者内存地址id()，则相同：>>> id(a)37498753>>> id(b)37498753复制操作：way1：切片...
2019-09-08 22:23:50
438
原创 ubuntu安装opencv-python
到opencv官网下载对应pkg：https://opencv.org/releases/ ，下载 sources file。这里以opencv-3.4.1.zip为例。依赖安装sudo apt-get install build-essential cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libsw...
2019-08-26 20:03:24
353
原创 validation set in neural network
Two effects.ONEworkflow like:for each epoch for each training data instance propagate error through the network adjust the weights calculate the accuracy over training d...
2019-08-10 15:31:39
188
原创 ModuleNotFoundError: No module named 'deeplab'
错误原因：没有将路径添加到python路径。解决：ubuntu下在tensorflow/models/research/下运行：# From tensorflow/models/research/export PYTHONPATH=$PYTHONPATH:`pwd`:`pwd`/slimwindows下添加你电脑里对应的以下路径到环境变量PYTHONPATH：D:\model...
2019-07-25 16:38:53
2711
3
原创 nvidia jetson agx xavier搭建tensorflow-gpu环境
nvidia jetson agx xavier目前放出的
2019-07-20 00:28:02
4472
原创 （超详细很完整）tensorflow下利用deeplabv3+对自己的数据进行训练
:boy::boy::boy::boy::boy::boy::boy::boy::boy::boy::boy::boy::boy::boy::boy::boy::boy::boy::boy::boy::boy::boy::boy::boy::boy::boy::boy::boy::boy::boy::boy:@[toc]***# 大前提:imp::imp::imp::imp::imp::imp::imp::imp::imp::imp::imp::imp::imp::imp::imp::imp
2019-06-27 10:32:02
14673
94
原创 神经网络训练中的batch，epoch，iteration
定义batch：使用训练集的部分数据对神经网络进行一次训练和反向传播参数更新。epoch：使用训练集的所有数据对神经网络完成一次训练。iteration：使用一个batch的数据对神经网络进行参数更新的过程。关系举例数据集有2000张训练图片，100张测试图片。现在选择 Batch Size=6对模型进行训练。每个Epoch要训练的图片数量：2000训练集具有的Batch个...
2019-06-10 11:08:50
2703
原创 tensorflow指定gpu进行训练
服务器共用的时候需要进行gpu分配，每个人用哪几块。方法1在训练代码内加上：import osos.environ['CUDA_VISIBLE_DEVICES']='0,1'方法2在训练指令前面加上CUDA_VISIBLE_DEVICES=1，即：CUDA_VISIBLE_DEVICES=1 python train.py……HOPE U ENJOY...
2019-05-28 17:56:24
726
原创 利用imgaug进行数据增强data augmentation
在数据量不够的时候需要进行data augmentation即数据增强，对数据量进行扩充。在这里使用imgaug库，此python库可以为机器学习项目扩充图像，它将一组输入图像转换为一组新的，数量更多的略微改变的图像。库的安装使用这里不再赘述，官网 https://github.com/aleju/imgaug 上的描述很详尽，简单易用。若读取的图片数据为image，image应该有四个维度...
2019-05-18 15:48:54
3103
10
原创 自制瀑布流型爬虫（思路适用很多网站）
文章目录BULLSHIT翻页网页源代码代码示例BULLSHIT之前误打误撞写过一篇《自制翻页型爬虫（思路适用很多网站）》，最近遇到瀑布流型的网站，于是继续整理一下有关瀑布流型网站的爬虫思路。举例网站：http://www.dunkhome.com/products/search翻页看一下瀑布流型的网页是如何翻页的：点击加载更多页面下方会加载更多的商品（有些网址是往下滚动的时候自动...
2019-05-08 18:06:41
1800
5
转载 python删除重复文件
让我们来分析一下这个问题：首先，文件个数非常多，手工查找是不现实的，再说，单凭我们肉眼，在几千张图片或文件里面找到完全相同的难度也是很大的。所以要用程序实现。那么用程序怎么实现呢？根据什么判断两个文件完全相同呢？1、首先，根据文件名判断是靠不住的，因为文件名可以被随意更改，但文件内容不变。再说在同一个文件夹下面，也不可能出现两个完全相同的文件名，操作系统不允许的。2、还有一种方法就是根据文件大...
2019-05-02 11:52:43
1759
1
原创 pytorch上实现语义分割网络bisenet
语义分割方向新近提出来的网络大概是deeplabv3+和bisenet，在18年2月和8月先后被提出。无条件相信google，于是直觉上认为deeplabv3+更靠谱。
2019-04-28 16:02:53
4549
3
原创 自制翻页型爬虫（思路适用很多网站）
非“数据科学家”（挺烦别人自称数据科学家的，分析员就分析员，哪来这么多科学家）的我，还得负责数据这块，太难了。爬虫对我来说是玄学，用什么爬虫...
2019-04-23 23:11:15
854
转载 在tensorflow环境下 ，利用slim 中的inception_resnet_v2训练自己的分类数据
利用slim 中的inception_resnet_v2训练自己的分类数据主要内容环境要求下载slim数据转tfrecord格式训练测试主要内容本文主要目的是利用slim中提供的现有模型对自己的数据进行分类训练。环境要求首先要检查自己的训练环境是否有以下工具（安装教程）：本文训练环境（安装版本不必一致，但各工具版本之间需匹配，版本匹配）：...
2019-04-22 18:29:11
1019
原创 使用labelme标注语义分割数据
当我们从各种途径获得图片数据之后，需要对其进行分割标注。这里我们使用labelme标注工具。环境：anaconda3labelme项目地址：https://github.com/wkentaro/labelme首先新建环境：conda create -n labelme python=3.6...
2019-04-17 20:42:01
6699
21
原创 （超详细很完整）tensorflow上实现deeplabv3+
最近在做语义分割，于是实现deeplabv3+。我的环境：ubuntu 16.04anaconda3tensorflow-gpu 1.11.0clone models文件首先clone官方提供的tensorflow/models文件。注意这里不要clone master分支，而要clone r1.12.0分支：git clone -b r1.12.0 https://github...
2019-04-01 15:47:43
18661
124
原创 anaconda环境操作：创建，删除，激活，退出等
文章所提到命令行在anaconda prompt里面进行输入运行。创建conda create -n env_name python=3.6指令中env_name为你所指定的环境名称，python=3.6表示你可以指定你所需要的python版本。删除conda remove -n env_name --all激活conda activate env_name退出conda ...
2019-03-22 17:35:35
6043
原创 ubuntu上cuda和cudnn的安装（配置gpu环境的准备工作）
在配置tensorflow-gpu或者pytorch-gpu等gpu运行环境之前，都需要进行cuda和cudnn的配置，让gpu能够发挥作用。我的配置环境：ubuntu 16.04cuda 9.0cudnn 7cuda安装cuda 9.0下载地址：https://developer.nvidia.com/cuda-90-download-archive?target_os=Linu...
2019-03-05 16:41:23
236
原创 python爬虫抓取淘宝图片
训练模型需要data，于是从网上抓取相关图片集，之后进行筛选标注。import urllib.requestimport rekeyword = '骚猪'#定义搜索关键字keyword = urllib.request.quote(keyword)#对关键字编码headers = ('User-Agent',"Mozilla/5.0 (Windows NT 10.0; WOW64) ...
2019-02-27 14:52:41
2076
原创 （很完整）ubuntu上fcn-tensorflow的配置
最近在对fcn进行复现，这里选择tensorflow作为复现平台。References:源码：https://github.com/shekkizh/FCN.tensorflow论文：https://arxiv.org/pdf/1605.06211v1.pdf我的环境：ubuntu 16.04anaconda3tensorflow 1.7.0tf 1.7.0的版本使用指令pi...
2019-02-20 17:43:33
556
原创 git clone太慢？这个方法提速简单优雅
git clone下载repo的时候好慢：see？好可怜。想要优雅又简单的提速，先去注册一个码云账号。登录你的码云，点击右上角+号，新建仓库，拉到页面最下方，找到导入已有仓库，输入想要clone的仓库地址，等待一小会儿，创建成功。回到git，再次git clone，这次clone的地址换成你方才使用码云创建的repo地址：see？开心:p...
2019-02-03 00:49:00
3976
1
原创 Markdown简明语法（3分钟快速上手）
文章目录标题一级标题二级标题三级标题列表无序列表有序列表待办To-do List引用斜体和粗体链接和图片分隔线表格目录高亮流程图代码高亮这里以有道云笔记内置Markdown编辑器的规范为例。标题在标题文字前面加上 #，再在 # 后加一个空格。每增加一个 # ，标题字号相应降低一级。语法：# 一级标题## 二级标题### 三级标题显示效果：一级标题二级标题三级标题列表...
2019-01-29 00:39:15
252
2
原创 神经网络模型的压缩加速之权值共享（Weight Sharing）
[References]:https://arxiv.org/abs/1510.00149http://www.cnblogs.com/chenshan-crystal/p/7543780.html神经网络的权值共享指从一个局部区域学习到的信息应用到图像的其它地方去。例如用一个相同的卷积核去卷积整幅图像，相当于对图像做一个全图滤波，每个卷积核在整个图像上是不断重复的，这些重复...
2019-01-25 16:08:34
6778
3
原创 有关语义分割（Semantic Segmentation）
语义分割（semantic segmentation）按照“语义”给图像上目标类别中的每一点打一个标签，使得不同种类的物体在图像上被区分开来，即像素级别的分类任务。也就是说，该方法会将图像中每个像素分配到某个对应类别。输入图片维度H*W*3，输出维度为H*W*class，可以理解为图片上每个像素点的one-hot表示，对每个像素点位置，都有class数目的值，每个值对应像素属于该class的预测概...
2019-01-18 17:02:36
761
4
原创 有关细粒度图像分析（Fine-Grained Image Analysis）
有别于通用图像分析（General/Generic Images）任务，细粒度图像分析（Fine-Grained Image Analysis）任务的所属类别和粒度更为精细，它不仅能在更细分的类别下对物体进行识别，就连相似度极高的同一物种也能区别开来。 [references]:https://www.microsoft.com/en-us/research/wp-content/u...
2019-01-15 13:43:09
2275
原创 python:目标检测模型预测准确度计算(基于IoU)
训练完目标检测模型之后，需要评价其性能，在不同的阈值下的准确度是多少，有没有漏检，在这里基于IoU(Intersection over Union)来计算。 希望能提供一些思路，如果觉得有用欢迎赞我表扬我~ IoU的值可以理解为系统预测出来的框与原来图片中标记的框的重合程度。系统预测出来的框是利用目标检测模型对测试数据集进行识别得到的。计算方法即检测结果DetectionRes...
2018-12-11 17:43:02
6065
1
原创 python处理优化自己的目标检测数据集
最近跑yolo的时候得到一批Penn-Fudan的行人数据集，想着处理优化后变成自己的数据放到yolo里面，会对模型的训练质量有提高。这份数据集是开源的，需要的同学可以直接在网上搜索到。 希望能提供一些思路，如果觉得有用欢迎赞我表扬我~ 首先看看拿到的数据集是什么样子的。图片为png彩图，无固定尺寸： 标签label是txt格式，里面包含的信息如下：# C...
2018-12-05 17:07:06
1498
2
原创 （超详细很完整）记录：巨坑的windows上caffe-ssd配置历程（CPU）
近几天心烦意乱，坑一个接着一个，不过最终还是成功跑完VOC数据集。事实证明caffe的配置让人烦躁。 P.S. 如果觉得有用欢迎赞我表扬我~ 配置环境：Windows 7vs2013Anaconda2Caffe-SSD-microsoft [References]: https://blog.csdn.net/gxb0505/article/details...
2018-11-16 08:27:43
5935
34
原创 目标检测：干掉尺寸过小的分类框
防止尺寸过小的分类框影响训练，在label中（尝试过在img中抹掉但是太麻烦）干掉尺寸不理想的框。import numpyimport globimport osreadpath=r'C:\Users\deepw\Desktop\data2yolo\AnnotationFiles'savepath=r'C:\Users\deepw\Desktop\data2yolo\new'#指...
2018-08-07 14:32:29
813
原创 Python读取、矩阵操作、保存.txt文件
针对目标检测标注文件，中间矩阵操作的目的是将txt标签格式转换成yolo标签格式，请忽略。设定路径地址，在前面添加r，避免转义。glob的glob方法可以提取指定路径的所有文件路径成列表。之后针对每一个txt进行操作。利用切片操作[:]获取文件名。numpy的savetxt方法保存txt文件，fmt可以设定保存的数据类型。具体代码及详细注释如下：import numpy...
2018-07-28 15:08:03
11038
原创 Python提取转移文件夹内所有.jpg文件并查看每一帧
python里面可以将路径里面的\替换成/避免转义。os.walk方法可以将目标路径下文件的root，dirs，files提取出来。后面对每个文件进行操作。切片操作[:]判断是否为.jpg或.JPG文件。shutil的copy方法将文件从旧路径复制到新路径。glob的glob方法提取目标文件夹的所有图片，对每张图片进行显示保存等操作。详细代码及注释如下：import os...
2018-07-02 10:10:58
3269
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人