不积跬步，无以致千里；不积小流，无以成江海

原创 使用nginx+tornado部署高并发web

首先配置nginx。具体可以参考tornado官网的配置。然后再这个基础上修改。tornado的nginx配置可以使用shell脚本进行动态修改nginx的配置文件tornado_works=16#创建nginx负载均衡相关serverserver_temp=""for((i=0;i<$tornado_works;i++));do port_temp=$(($tornado_port + $i)) str_temp="server 127.0.0.1:$port_tem

原创 Tornado绑定不同进程到不同端口上

sockets_apps = [] for i in range(options.process): port_num = options.port + i

原创 Tornado运行tensorflow卡死问题分析

在网上看到有人成功运行了tornado+tensorflow。但是看代码发现，那种运行时比较低效率的。每一个request都要重新建立一次session。我新建了全局session然后。各个进程就可以fork。然后session run就可以了。不用每次都重建。但是却发现了大问题。程序运行出现了死锁死锁死锁。通过python gdb进行跟踪，发现死锁在sess.run通过一下两种说法。https://github.com/tensorflow/tensorflow/issues/16969htt

原创 git克隆repo中的文件或者文件夹

新建一个目录，用来存储git clone的文件，进入目录执行git init然后再执行git remote add -f origin 远端仓库地址(例如：[email protected]:/home/kk/Desktop/test)再执行：git config core.sparsecheckout true将要clone的文件或者文件夹写入以下文件echo "b" >> .git/info/sparse-checkout将远端仓库中文件拉下来git pull o

原创 tensorflow2.0在使用keras的Average等数学计算类报错解决方法

今天在构建模型时候，为了方便直接使用了tf2的内置函数tf.keras.layers.Averagetf.keras.layers.Add结果就是我在用@tf.function进行包裹的时候报错：/Volumes/data_save/code_space/nlp/baidu/model/decoder.py:72 call * object_feature = self.add([encoder_hidden_state,tf.expand_dims(vv_sub,1),tf.e

原创 tensorflow2.0的模型保存加载的几个方法

tensorflow2.0中模型的加载更加便捷。我在github上新建了一个有关ner的项目，其中有对tensorflow2.0的api的一些详细使用。NER想了解更多tensorflow2.0中模型存储加载方法，可以直接到其官方网站tf2.0.我们这里说一下几个保存权重的方法：假如当前建立的模型代码如下：import tensorflow as tffrom tensorflow import kerasdef get_model(): # Create a simple model.

原创 tf2.0报tf.function错误

错误信息全部信息：WARNING:tensorflow:11 out of the last 11 calls to <functiontrain..train_step at 0x7f6d1843e840> triggered tf.functionretracing. Tracing is expensive and the excessive number of trac...

原创 python正则re的详解

python正则表达式中最常用的就是re。import reRegular expression operations表达式说明.匹配所有字符串，除\n以外-表示字符范围如[0-9]，[a-z]等等*匹配前面的子表达式多次。要匹配 * 字符，需要转义+匹配前面的子表达式多次。要匹配 +字符，需要转义^匹配以某个字符串开头的内容。如^ab...

原创 XLM-R---XLM的升级版本

这几天研究跨语言无监督模型，研究XLM-R的时候。顺便把XLM看了。因为这两篇文章时紧耦合的。XLM-R依赖XLM的思想。XLM-R来源于Facebook的11月份新文章《Unsupervised Cross-lingual Representation Learning at Scale》是EMNLP2019的最佳论文。在100种语言上使用超过2.5T的数据进行训练。相对于XLM，XLM-R使...

原创 跨域预训练语言模型(XLM)

XLM来自于Facebook ai的论文《Cross-lingual Language Model Pretraining》。目前多数语言模型都是单语义（monolingual）模型，比如BERT、XLNET、google的T5等等。期望有一种语言模型可以实现多种语言的融合，然后在一种语言训练模型，通过XLM迁移到其他语言上。比如标注语料较多的英语，我们训练好EN-》DE的翻译模型，但是，像印地语...

原创 pip查看安装包

查看安装的软件以及版本pip freeze查看安装的包的具体位置pip show numpy

原创 彻底删除文件或者修改文件中的‘feff’

这个字符出现文本训练语料中。首先是查找含有这个字符的文本：grep -I -r -l $'\xEF\xBB\xBF' yourfilepath只删除这个字符：grep -I -r -l $'\xEF\xBB\xBF' yourfilepath | xargs sed -i 's/\xEF\xBB\xBF//g'删除含有字符的哪一行：grep -I -r -l $'\xEF\xBB\...

翻译 TensorFlow – failed call to cuInit: CUDA_ERROR_UNKN

驱动安装正常。执行nvidia-smi可执行解决方案如下：http://kawahara.ca/tensorflow-failed-call-to-cuinit-cuda_error_unknown/sudo apt-get install nvidia-modprobe

原创 tensorflow模型restore问题

训练好的模型在恢复时候遇到如下问题：Attempting to use uninitialized value VariableCaused by op u'Variable/read'但是restore的代码如下：#load modeldef load_model(model, ckpt_path, session): start_time = time.time...

原创 树莓派编译opencv3

下载源代码：wget https://sourceforge.net/projects/opencvlibrary/files/opencv-unix/3.2.0/opencv-3.2.0.zip解压缩：unzip opencv-3.2.0.zip进入源代码mkdir buildcd buildcmake -D CMAKE_BUILD_TYPE=RELEASE ...

原创 树莓派3B完成ncnn框架测试

1、安装ubuntu-mate首先准备一张空的SD卡，用来刻录树莓派镜像。 下载树莓派镜像16.04-mate https://ubuntu-mate.org/download/ mac系统下使用：diskutil list查看SD设备假设设备名称是/dev/disk3，准备写入数据：unxz ubuntu-mate-16.04.2-desktop-armhf-ras...

原创 ubuntu安装Docker并使用gerrit镜像

1、安装dockersudo apt-get remove docker docker-engine docker-ce docker.iosudo apt-get install -y apt-transport-https ca-certificates curl software-properties-commoncurl -fsSL https://download.docke...

原创 查看tensorflow pb文件中的变量名

参考： https://stackoverflow.com/questions/46696859/tf-graphkeys-trainable-variables-on-output-graph-pb-resulting-in-empty-list 具体代码：import tensorflow as tffrom tensorflow.python.framework import ...

原创 tensorflow模型量化压缩

在使用tensorflow这个功能时候需要先下载tensorflow的源代码：git clone https://github.com/tensorflow/tensorflow.git进入tensorflow根目录，这里使用tools文件下的两个工具进行量化压缩：graph_transforms、quantization。 安装bazel进行tensorflow工具包的编译。 这...

原创 Failed to initialize NVML: Driver/library version mismatch

运行nvidia-smi出现上面情况： 看了很多重装驱动之类的，最简单粗暴的解决方法是重启电脑。 https://stackoverflow.com/questions/43022843/nvidia-nvml-driver-library-version-mismatchSurprise surprise, rebooting solved the issue (I thought I ...

原创 Django测试的两种方式

#coding=utf-8import urllibimport urllib2host_ip = 'localhost'port = '8000'def get_test_data_list(file_name): with open(file_name,'r') as read_file: return read_file.read...

原创 bson.binary.Binary与bson.BSON之间转换错误

本次，我需要把字符串数据以bson形式存储到mongodb，发现存储到数据库内是OK的。取出来解码的时候总是提示如下错误：TypeError: unbound method decode() must be called with BSON instance as first argument (got Binary instance instead)一直提示我解码时候，不是BSON的实体。这

原创 LSTM该不该使用RELU？

首先看下现在常用的激活函数最常见的就是σ\sigma函数 σ(x)=11+e−x\sigma(x)=\frac{1}{1+{e^-}^x} 其用在早期的神经网络中，但是多层神经网络存在梯度消失的问题。 tanh函数如下： tanh(x)=ex−e−xex+e−x\tanh(x)=\frac{ e^x-{e^-}^x}{ e^x+{e^-}^x} tanh函数也和σ\sigma函数类似，存在

原创 调试CRF出现的错误：cannot be interpreted as a Tensor.

CRF参考代码：https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/crf利用tensorflow调试CRF代码出现如下错误：ValueError: Fetch argument cannot be interpreted as a Tensor. (Tensor Tensor("ReverseS

原创 ubuntu踢掉已经登录的用户

pkill -kill -t pts/3

原创 opencv多线程处理数据

单线程处理数据，需要阻塞等待处理完一张图片才开始处理下一张图片。这里想用多线程的思路来处理。需要注意的是，imshow只能在主线程里面调用，具体原因还未查清楚～～下面是代码：#include #include #include #include #include #include #include boost::mutex io_mutex; using

原创 libopencv_videoio.so: undefined reference to `av_free@LIBAVUTIL_52'

https://stackoverflow.com/questions/28306091/opencv-build-errors-in-eclipse-on-linuxsolution:sudo apt-get install libswscale-dev libavformat-dev libavutil-dev

原创 C++之虚函数

C++三大特性：封装、继承、多态。封装呢？就是类的概念，把属于这个类的函数、变量与其他隔离起来。继承呢？派生类可以继承基类的方法。有三种方式继承：public、private、protected。多态呢？就是今天要说的虚函数的概念。先看一段代码：#include#includeusing namespace std;class Animal{public:

原创 Django的MVC结构

原创 多个cmake目录，根目录cmake写法

cmake_minimum_required(VERSION 2.8.3)project(PROJtotal) SET(PROJECT_ROOT_PATH "${PROJtotal_SOURCE_DIR}/../") SET(EXECUTABLE_OUTPUT_PATH "${PROJtotal_SOURCE_DIR}/.build_release/bin/")SET(LIBRARY

原创 人脸检测算法MTCNN

本文将对人脸检测效果不错的MTCNN算法做一个梳理。 论文地址 MTCNN主要分为三步： 最初先对图像进行多尺度变换，获取图像金字塔，获取图像多尺度信息。P-net(Proposal Network)：主要使用一个全卷机网络，获取候选框和这些候选框的bounding box regression向量组。然后评估这些候选向量，并进行校准。最后使用非极大化抑制来去除大量重复的候选区域。 P-N

原创 如何使用Caffe模型和权值进行开发

可能看到网上有很多关于适用caffe模型和权值实现各种应用的程序，但是怎么实现的呢。下面以一个程序一步步讲讲： 先上程序：Detector::Detector(const string& model_file, const string& weights_file) { google::InitGoogleLogging("ssd"); go

原创 Caffe框架初步理解

当前最火无非就是深度学习了。搞了大半年的机器人相关视觉东西，用的最多的也是Caffe。看网上有形形色色的Deeplearning的net，但是他们背后到底是什么样子的？这么说吧！这里我们把Caffe比作一个汽车。汽车怎么组成的？各种零件先组装成轮胎、发动机、车座、车外部框。。。然后这些组成的部件组成一个完成的车。那么有的人要问了这和深度学习框架Caffe有个毛的联系啊？？？！！！（ps：黑人问号脸）

原创 3维可视化卷积神经网络

http://scs.ryerson.ca/~aharley/vis/conv/

转载 ssh远程主机后，应用程序后台运行。

screen#screen回车后进入Screen子界面，此时putty标题栏会指示处于子界面状态，然后运行你的程序#应用程序名然后按下Ctrl+A后抬起，然后按下d键，此时切换回主界面，Putty的窗口标题栏也会指示。#进行其他的操作，或者exit 此时就是断开ssh,程序仍在运行。以后重新ssh连接后，输入#screen -ls

翻译 深度学习各种常见的Net

LeNet：基于渐变的学习应用于文档识别AlexNet：具有深卷积神经网络的ImageNet分类ZFNet：可视化和理解卷积网络VGGNet：用于大规模图像识别的非常深的卷积网络NiN：网络中的网络GoogLeNet：卷入更深入Inception-v3：重新思考计算机视觉的初始架构ResNet：图像识别的深度残差学习Stochastic_Depth：具有随机深度的深层网络WResNet：非常深的网络

原创 目标检测之YOLO算法

项目地址：https://github.com/pjreddie/darknet编译：GPU=0CUDNN=0OPENCV=1OPENMP=0DEBUG=0按照自己系统的需求修改上面的参数，支持的修改为1. 然后直接make就好。 下载预训练的权值：wget https://pjreddie.com/media/files/yolo.weights这个权值是yolo默认的，比较大，检测速

原创 solver.prototxt参数解析

solver.prototxt的一般结构先看一个实例： train_net:"models/VGGNet/VOC0712/SSD_300x300/train.prototxt" test_net:"models/VGGNet/VOC0712/SSD_300x300/test.prototxt"test_iter: 619test_interval: 10000base_lr: 0.001d

原创 run in term

#!/bin/bashsource /home/ubuntu/ObjectDetectDemo/env.rc/home/ubuntu/ObjectDetectDemo/ObjectTestread

原创 caffe相关问题（持续更新。。。。）

case1: syncedmem.cpp:56] Check failed: error == cudaSuccess (2 vs. 0)  out of memory这种情况下，可能有进程在使用显存，而且使用很多，已经耗尽显存了。无法再分配显存。使用：nvidia-smi查看显存使用情况：Mon Aug 21 17:22:35 2017+----------------------