- 博客(33)
- 收藏
- 关注
RSS订阅原创 开源AI中台部署运行
文章目录1.背景2.架构3.安装1.k8s安装2. 后端服务安装部署3. 前端服务安装部署4.功能展示5.总结6.参考文献1.背景 由于工作上的原因，需要搭建一个AI训练平台，其中包括数据标注管理，模型训练，模型推理等功能，如果从头开始搭建那工作量是巨大啊，设计到前后端，还有训练资源到管理，所以便找了一个开源的框架进行部署，此文是介绍之江实验室开源的天枢平台，当作记录，一些详细的步骤还是需要参考官方文档，这里只是从大的角度理解。硬件要求说明内存>32G程序太吃内存
2022-05-31 10:48:58
2173
原创 face.evoLVe 人脸比对测试
face.evoLVe和facenet相比经过测试前者要好，网上能找到的很多开源的资料都是关于facenet的，所以写一篇关于face.evoLVe的使用。想看源码的可以直接到github上看。1. 代码下载过程省略把模型下载下来2. 修改测试代码代码和模型都准备好了需要修改一下代码进行人脸的特征提取打开文件extract_feature_v2.py修改成一下代码，添加一个...
2019-12-27 18:00:17
2350
3
原创 python 部署 flask---搭建 flask+gunicorn+nginx后台服务
前言解决flask部署服务后台不稳定，容易down的问题。在Linux 平台下直接nohub启动flask服务虽然可以在后台运行，但极其不稳定，容易挂掉。如何保持后台的服务进程稳定运行是一件非常重要的事情。而本文的一个解决方法是flask+gunicorn+nginx。flask和gunicorn都是python下的轻量级的web开发服务。flask实现了web路由方法，gunicorn负责启动...
2019-10-15 13:56:32
2344
原创 使用 ESRGAN生成超分辨率图片
这只是作为一个demo 记录。在实际过程中可能会遇到这样的问题：拥有一些自然场景的图片，如监控摄像头拍摄到的，但是由于光照，天气，相机抖动等因素造成拍摄到的图片模糊或者变形，如果直接对这些图片进行下一步处理往往显得比较困难，假如有算法能把这些低质量的图片进行优化，生成比较清晰或者尺寸增加但清晰度变化不大，这也是极好的！基于这样的背景下，废话也不多说，直接使用对抗生成网络进行图片优化，此篇使用的是...
2019-06-27 10:22:42
2370
3
原创 tensorflow执行到session.run的时候发现内存泄漏原因排查
场景：加载训练好的模型进行推理代码大体实现流程：输入—》模型—》结果模型为一个单独的类，其中在调用模型的时候需要import 类，然后加载模型在类中init （）函数。也就是说当运行代码的时候先加载模型，然后模型等待别的函数调用进行推理。实际上是每次都需要调用session.run()函数。在这个过程中发现在循环调用session.run()出现了内存泄漏的问题。首先session 是se...
2018-11-19 17:02:56
3033
2
翻译 window 远程使用jupyter notebook
远程主机：linux本地主机：windows 10安装jupyterpip install jupyter notebook配置jupyer$ python#输入以下内容from notebook.auth import passwd; passwd()#需要设置两次密码，#最后生成'sha1:-----------------------'，复制该字符串，之后需要用到...
2018-10-31 09:55:02
249
原创 Tvm（1） SSD 模型
TVM 就不多介绍了，本文涉及TVM的安装和SSD 模型的测试。TVM 安装$ git clone --recursive https://github.com/dmlc/tvm$ sudo apt-get update$ sudo apt-get install -y python python-dev python-setuptools gcc libtinfo-dev z...
2018-06-28 11:08:25
3377
2
原创 ocr(2)-crnn-mxnet-chinese-text-recognition
ubuntu 16.04GTX1080Mxnet 最新pytho 2.71. 安装Mxnet Mxnet 按照参考官网，选择源码GPU安装。2. 安装warp-ctc 安装warp-ctc$ git clone https://github.com/baidu-research/warp-ctc.git$ cd warp-ctc$ mkdir buil...
2018-06-05 11:23:48
945
原创 ocr(1)-Attention-ocr的安装测试
Attention-ocr是一种端到端的图像文字识别方法。其输入是含有文字的图片，输出是文字。整个出来过程是： 图像—-CNN特征提取—Encoder—Visual Attention—Decoder以下是基于Github上的Attention-OCR进行安装测试Ubuntu 16.04GPU:GTX1080Tensorflow 1.8.0python 2.7.12...
2018-06-04 16:59:54
3755
原创 py-faster-rcnn训练过程中遇到的一些错误
以下问题都是根据参考文献修改-1.AttributeError: ‘module’ object has no attribute ‘text_format’解决方法：在/home/xxx/py-faster-rcnn/lib/fast_rcnn/train.py的头文件导入部分加上 ：import google.protobuf.text_format这里也尝试改变protobuf版本...
2018-05-22 10:48:02
546
原创 遗传算法（1）--初步认识
最近学习了遗传算法，尝试着把它按照理解写下来。对于遗传算法从名字上就可以看出来是和生物有关的东西，可以认为是和生物进化有关系，在生物进化里面又有一句话叫：物竞天择，适者生存。也就是说受环境的影响，最终会留下那些能适应环境的生物。如果从生物学里面进行考虑可能会涉及到 一堆的概念名词，如：染色体，个体，种群，基因突变等。那么如果遗传算法是根据生物进化进行涉及那么其也必定包含这些概念和过程。下面从概念和...
2018-05-09 16:16:38
822
原创 FPN(Feature Pyramid Networks for Object Detection)安装与训练
FPN主要使用特征金字塔网络来融合多层特征，改进了CNN特征提取。其在小目标上取得了很大的进步。更多细节可以阅读论文。 下面分两个内容介绍：1. 安装 2. 训练测试1.安装对于FPN有好几个框架实现的版本，如：caffe，mxnet 等。本文是对caffe 版本的FPN安装。 1.1 安装环境 Ubuntu 16.04 Python 2.7 opencv 3.3.0由于之前安装过c
2017-11-08 14:24:05
5563
13
原创 SSD 训练自己的数据
忽略细节较多，只做一个简单的说明。系统:ubuntu16.04python2.7opencv3.3.3主要内容1.安装 ssd 2.准备数据 3.训练1.安装 ssd可以根据官网的Toturial安装#1.get the codegit clone https://github.com/weiliu89/caffe.gitcd caffegit checkout ssd#2.
2017-10-16 12:54:31
1002
原创 Opencv对视频进行目标检测
在Opencv3.3版本中集成了deeplearning功能。其实现了对caffe和tensorflow两个框架的推理，但不支持训练。本文使用caffe训练的文件对目标进行检测。整个思路是首先读取视频文件，然后加载模型文件，最后读取到视频的每一帧对其进行检测。系统: ubuntu16.04python:2.7模型文件：MobileNet-SSD任意视频文件1.安装 openCV如果安装好了
2017-10-12 13:42:42
7544
原创 git(1)上传自己的项目到github上面
假如有一个存在的项目test-project，此时你有一个github帐号：[email protected]，想把test-project上传到自己帐号里面，那么只需要以下几步：建立系统和github的ssh通信在github创建项目上传到github1. 建立系统和github的ssh通信系统环境：ubuntu16.04sudo apt-get install git1.1 生成ssh ke
2017-08-17 18:00:10
351
原创 Tensorflow模型转caffe
整个过程可以分两步:找到对应的层名字（如：tensorflow 模型中的conv1_1和caffe中的conv1_1）。把weights 和biases 中的值赋给相对应的层。赋值的时候要注意Tensorflow和caffe之间通道不一样，这里还是做转换。 实现 实现的代码地址
2017-08-15 10:58:31
6641
5
原创 Mxnet图片分类(4)利用训练好的模型进行测试
利用训练好的模型测试只需要把模型和数据准备好。系统： ubuntu14.04 Mxnet: 0.9041.模型和数据准备2.模型加载测试import mxnet as mxsym,arg_params,aux_params = mx.model.load_checkpoint('vggnew',40)mod = mx.mod.Module(symbol=sym,context=mx.gpu()
2017-05-24 16:57:23
5854
原创 Mxnet图片分类(3)fine-tune
使用fine-tun的方式训练模型的话首先需要下载相应的模型，然后按照自己的数据集修改相应的类别，最后训练。系统： ubuntu14.04 Mxnet: 0.9041.数据准备train_iter = "/mxnet/tools/train-cat.rec"val_iter = "/mxnet/tools/train-cat_test.rec"batch_size=10num_epoch =
2017-05-24 16:35:43
3458
原创 Mxnet图片分类(2)训练模型
训练模型可以利用自定义的模型进行也可以采用fine-tune的方法。这里先介绍如何自定义模型进行训练。系统： ubuntu14.04 Mxnet: 0.9041.数据准备mxnet数据集的生成可以参考上一篇文章这里从代码来分析：#数据路径train_iter = "/mxnet/tools/train-cat.rec"val_iter = "/mxnet/tools/train-cat_t
2017-05-24 15:20:46
3096
2
原创 Mxnet图片分类(1)准备数据集
Mxnet做图片分类训练的时候提供了多种输入，这里介绍.rec数据的制作。mxnet版本：9.041.收集图片这里收集了两类图片，猫和狗的图片。 第一类 第二类所有的图片放到两个文件夹中 2.生成mxnet训练需要的数据格式如果mxnet自带的im2rec.py有问题，这里用的是另外的文件，文件名叫im2rec2.py，代码在最后面。#生成.lst文件python im2rec2.py
2017-05-24 11:58:45
4081
原创 Mxnet(4)-fcn训练自己的数据
fcn为全卷积网络，对于算法的介绍可以找到很多资料，本篇在mxnet框架下用自己的数据，或者说制作自己的数据来进行模型的训练和测试。假设已经安装好有关的Mxnet 的环境，其中在Mxnet安装包下的`example/fcn-xs`下找到相关的文件。这里也假设你已经跑过fcn-xs下的`image_segmentaion.py`。在用fcn进行训练的时候比较以后的是训练的数据是什么，有什么格式要求。
2017-04-18 17:32:21
5552
4
原创 Mxnet(3)-SSD训练自己的数据
整个ssd的安装和训练可以按照官方的例子。需要注意的是需要编译ssd相关的代码，可以通过两种方式进行：直接把ssd目录下的operator中的文件复制到src/operator，然后再编译 设置config.mk，把EXTRA_OPERATORS改成EXTRA_OPERATORS = example/ssd/operator，然后再进行编译。接着便是运行demo,看能否正确运行，运行前需要下载
2017-04-17 10:54:50
8830
4
原创 Mxnet(2)---faster-rcnn制作自己的数据集进行训练
Mxnet自带有faster-rcnn的例子，但是如果要用自己的数据进行训练可能需要作一些更改，一个是类别的数目，一个数据的标签。其实它的修改方式和py-faster-rcnn差不多。**1.环境的安装可以参考**:Mxnet—faster-rcnn环境安装**2.制作数据集** 制作数据集可以参考：py-faster-rcnn制作自己的数据集做目标检测。 作成VOC格
2017-03-28 12:51:33
6924
2
原创 Mxnet---faster-rcnn环境安装
官方版本已经有faster-rcnn的实现，所以这里从官方下载mxnet并安装编译。安装环境：Ubuntu14.04GPU gtx10801.mxnet的安装 这里还是从两种情况分析，一种是之前已经安装好了mxnet，但是没有安装编译faster-rcnn，第二种是没有安装过任何mxnet。 对于第一种情况需要做的是，首先是要知道有关rcnn的文件在文件夹mxnet/e
2017-03-14 14:23:52
3972
2
原创 Matlab 中训练faster-rcnn VGG16
环境：ubuntu14.04 GPU 1080(8G), CUDNN8.0Matlab在VGG16中训练faster rcnn 所需的GPU内存是8G，但是如果用官方的Matlab版本进行训练却报错，显示内存不足，可是同样的VGG16在py-faster-rcnn中进行训练却不存在这个问题，到底是什么原因，即使是把batch_size改为了1也没有是作用。 这篇博客算是很详细的介绍了怎么在Ma
2017-02-21 16:26:06
5942
4
原创 py-faster-rcnn windows 安装
rbg提供的python版本的faster-rcnn 在ubuntu 下安装比较容易，跟着敲命令就是了，如果想在window下安装却无从下手，搜了几十上百篇的博客以后还是没能成功。能看到的都是过于简单，几句话就说完了，采坑无数后想把自己的一些做法写下来，或许对一些人有用。安装环境：win7， python2.7 , cpu 版1.下载需要的安装包py-faster-rcnn py-faster
2017-02-04 17:08:54
5844
2
原创 py-faster-rcnn制作自己的数据集做目标检测
1.数据集 使用faster-rcnn的时候需要把数据集做成voc的格式，这和之前的caffe的图片分类很不一样，所以第一应该清楚voc是什么样的格式。这里有一个比较好的工具可以制作Annotations的xml文件的工具：labelImg 最后会得到图片的xml文件。比较简单的方法是做好了xml文件后直接替换原有的Annotations中的文件，同时还要替换掉JEPGImages中的图
2017-02-03 16:30:25
4693
转载 python 使用Boost.python 调用c++
Boost.python 调用c++需要两个步骤： 1.创建有关的cpp文件 2.编译1.创建有关的cpp文件：hello.cppchar const* greet(){ return "hello, world";}#include <boost/python.hpp>BOOST_PYTHON_MODULE(hello) // Python 模块开始{
2017-02-03 15:39:56
820
原创 目标检测 Faster-rcnn python demo 实现
**Fast-rcnn python demo**本章是githup上的py-faster-renn的实现假设：已经安装好caffe，并且python 接口可用（本文的实验环境:ubuntu14.04 ,python2.5 cudnn 8.0）。 同时你也可以通过阅读README.md,按照上面的要求按照demo所需的依赖。 -确保安装好python的一些必要的module, 如：cython,
2017-01-04 13:43:58
3387
原创 SpringBoot使用外部的配置文件（四）
当一个SpringBoot打成jar中，其内部可能有一个默认的配置文件，但有时候环境发生了变化，比如ip ,port和一些读取资源文件的路径。这事可以指定执行外部配置文件。 命令：java -jar my.jar –spring.config.location=Myapplicaiton.properties
2016-05-20 13:37:32
850
原创 SpringBoot中通过配置文件控制路径和变量（三）
当把一个springbooot打成jar时候，程序中要读的配置资源路径如何设置也会成为一个麻烦。假如使用的是IDEA开发，在IDEA中创建了maven项目，所有的资源文件放在resources目录下，当程序编译时会把resources中的所有资源copy到target中classes目录下。那么问题来了，当资源文件很大，编译时的copy就会消耗很长时间，同时当把整个项目打成jar的时候，jar就显得
2016-05-20 13:34:14
4097
原创 SpringBoot快速开发（二）
前提是你已经有一个maven项目，此处省略环境部署。假如你已经有一个项目，此时想用把它改成springboot项目，而把它作为所有大项目中的一个接口，即子项目或者模块。下面的方法可以把你快速实现，这就是springboot的强大之处，同时你也可以成jar包，通过jar可以直接启动项目，无需配置tomcat。下面开始介绍如何快速构建springBoot项目：1.建立运行主类Application.j
2016-05-20 13:09:08
433
原创 SpringBoot （一） -----Uploading Files 例子报错
当安装官网的例子运行程序的时候出现了以下报错 报错信息如下： Whitelabel Error PageThis application has no explicit mapping for /error, so you are seeing this as a fallback. Fri Apr 01 14:19:48 CST 2016 There was an unexpected e
2016-04-01 14:24:31
685
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人