- 博客(41)
- 收藏
- 关注
RSS订阅原创 linux 搜狗输入法 隐藏状态栏
进入sougou的配置目录 $HOME/.config/sogoupinyin/conf/env.ini 找到StatusAppearance 设置为StatusAppearance=0
2021-02-15 23:45:25
2774
4
原创 es查询, 向量查询
查询字符串查询:_search!q=age:22DSLmatch_all 查询所有match对于所给的内容进行analyzer后查询(term 是查询的最小单位)全文查询GET /_search{ "query": { "match" : { "message" : { "query" : "this is a test", "operator" : "and"
2020-06-11 22:54:34
1367
原创 es+docker swarm es集群部署, es数据迁移
流程老版本的elasticsearch 因为某些原因无法使用快照snapshot进行数据数据备份,然后在到新版进行恢复, 所以使用的策略是使用elasticsearch-dump工具(更慢)将数据导入本地单机的elasticsearch中, 导入完成后使用快照snapshot将数据备份到本地(snapshot恢复时数据更快). 随后将老版本es那几台服务器从ubuntu18升级到ubuntu20, 使用docker swarm 进行分布式部署. 部署完成后将本机备份的快照放到新版本elasticsearc
2020-06-11 22:51:25
1294
原创 apt list 不打印出版本信息
apt list | awk -F '/' '{print $1}'-F ‘/’ 指定以’/'作为分隔符, '$1’取分割后的第一项.apt list | awk -F '/' '{print $1}' > request.txt将结果输入到request.txt文件中.apt install $(cat request.txt)按照文件中的包...
2020-05-07 18:02:35
277
原创 vim/neovim 速查表
1. 文件指令1.1. 分屏1.2. 分屏切换1.3. 关闭分屏2. 退出3. 进入插入模式4. 命令模式4.1. 复制和移动4.2. 执行普通命令4.3. Ex命令补全4.4. 把当前单词插入到名利行4.5. 回溯历史指令4.6. shell5. 光标移动过5.1. 翻页6. VIM 的复制, 粘贴, 删除7. 删除 d8. 复制 y9. 粘贴 p10. 撤销和恢复11. 删除字符和替换12. ...
2020-03-24 14:05:29
1158
1
原创 机器学习基石（林轩田）作业1， python 代码实现
PLA15注意: 在原有4维数据的基础上有增加一维作为偏移量import numpy as np # 数据处理def getData(file_name): f = open(file_name) data = [] for line in f.readlines(): line = [float(v) for v in line.split()...
2020-02-13 21:49:33
545
原创 virtualenvwrapper 常用命令
virtualenvwrapper 常用命令显示已经创建的环境 workon = lsvirtualenv = allvirtualenv切换环境 workon {环境名}创建环境mkvirtualenv {环境名}指明环境python版本 mkvirtualenv --python=其他要求 mkvirtualenv --help 查看删除环境rmvitualenv退...
2020-01-12 15:24:57
242
原创 终端快捷键
Ubuntu终端快捷键快捷键描述Ctrl+Alt+T启动终端F1打开帮助指南F10激活菜单栏F11全屏切换Alt+F打开 “文件” 菜单（file）Alt+E打开 “编辑” 菜单（edit）Alt+V打开 “查看” 菜单（view）Alt+S打开 “搜索” 菜单（search）Alt+T打开 “终端” 菜单（t...
2020-01-12 15:02:34
302
原创 yolov3的tensorflow实现代码中文详解,超多中文注释
OpenSourceAI/yolov3_tensorflow_Chinese
2019-03-30 20:56:04
4752
1
原创 opencv摄像头调用（笔记）
#-*- coding: utf-8 -*-import cv2import sysfrom PIL import Imagedef CatchUsbVideo(window_name, camera_idx): cv2.namedWindow(window_name) #视频来源，可以来自一段已存好的视频，也可以直接来自USB摄像头 # 摄像头id ...
2019-03-25 10:07:18
379
原创 ImportError: DLL load failed: 找不到指定的模块
https://github.com/tensorflow/tensorflow/issues/10033
2018-11-28 21:22:50
905
原创 Bad config encountered during initialization:No such notebook dir ：'E:\\Documents\\notebook'
由于删除了’E:\Documents\notebook’目录，导致pycharm在使用默认启动目录时无法找到该路径，解救，在用户目录C:\Users\（所使用的用户名）\.jupyter下找到.jupyter文件中的jupyter配置文件jupyter_notebook_config.py修改为存在的目录，也可以自己叫#将他注释掉，这样jupyter notebook就直接从当前目录启动。感谢...
2018-11-22 20:52:07
6561
4
原创 使用numpy实现图片等距离剪切
def slice_image(image, stride, image_size): # 切分一行图片,长条图片 def slice_image_y(image, stride, image_size): h, _, _ = image.shape image_list = [] for i in range(0, h, strid...
2018-11-22 18:55:15
1232
原创 踩坑日常—tf.layer.batch_normalization中的坑
tf.layer.batch_normalization中的training ， 看了很多的文章，说的都时在训练的时候时候将training=true，以保存一个batch中的平均值，方差等，在测试时，有些时候输入时单个样本，没有一个batch的样本，无法计算除一个batch平均值，方差等，所以在训练时保存平均值，方差等，在测试时将training=false，使用训练时保存的平均值，方差等数据...
2018-11-22 17:14:39
5051
4
原创 tensorflow数据结构-AssetFileDef
AssetFileDef单个文件或具有相同名称的一组分片文件的资源文件def。这个应该就是保存权重的.data文件，根据AssetFileDef属性在.data中寻找对应的权重参数。message AssetFileDef { //将资源文件名绑定到的张量。 TensorInfo tensor_info = 1; //资产目录中的文件名。 注意：不包括路径前缀，即目录。 //...
2018-11-08 10:42:59
481
原创 tensorflow数据结构-SignatureDef
文章目录SignatureDef案列SignatureDef应该就是导出模型后，.index文件的部分，建立张量名到张量的映射。message SignatureDef { //指定输入参数。 map<string, TensorInfo> inputs = 1; //指定输出参数 map<string, TensorInfo> outputs = 2...
2018-11-08 10:42:13
2879
原创 tensorflow数据结构-CollectionDef
文章目录collection_def案列NodeListBytesListcollection_defmessage CollectionDef { // NodeList用于收集图中的节点。 message NodeList { repeated string value = 1; } // BytesList用于收集字符串和序列化的protobufs。 me...
2018-11-08 10:41:11
785
原创 tensorflow数据结构- SaverDef
文章目录SaverDefCheckpointFormatVersion案例SaverDefhttps://github.com/tensorflow/tensorflow/blob/r1.11/tensorflow/core/protobuf/saver.proto记录持久化模型时需要用到的一些参数，比如保存到的文件名，保存操作和加载操作的名称以及保存频率，清理历史记录等message...
2018-11-08 10:39:53
782
原创 tensorflow数据结构-GraphDef
文章目录GraphDefNodeDef案列GraphDef只关注计算图的连接结构信息, 根据连接结构中”索引“在MetaInfoDef中寻找节点运算的具体message GraphDef { repeated NodeDef node = 1; // 版本号 VersionDef versions = 4; // 实验性的版本号 int32 version = 3 [de...
2018-11-08 10:37:55
11945
3
原创 tensorflow数据结构-MetaInfoDef
MetaInfoDef文章目录MetaInfoDefOpListOpDefArgDefAttrDefOpDeprecation案例记录计算图中所有是使用到的运算方法message MetaInfoDef { // 用户指定的版本字符串 可以是模型和修订的名称， // 此模型已经过训练的步骤等。 string meta_graph_version = 1;...
2018-11-08 10:33:13
982
原创 tensorflow数据结构-MetaGraphDef
tensorflow数据结构https://github.com/tensorflow/tensorflow/blob/r1.11/tensorflow/core/protobuf/meta_graph.proto《Tensorflow实战深度学习框架》 Tensorflow的计算图在运行时，以MetaGrapDef的形式实行计算图，并且在进行计算图保存（save）时，将MetaGra...
2018-11-08 10:27:30
2578
原创 tensorflow中的.numpy()方法
.numpy方法只用在使用tf.enable_eager_execution()(命令式编程开启)后才有的方法, 否则会有==AttributeError: ‘Tensor’ object has no attribute ‘numpy’==报错from math import pidef f(x): return tf.square(tf.sin(x))assert f(pi/2)...
2018-10-06 17:22:14
6305
原创 tensorflow中读取模型中保存的值, tf.train.NewCheckpointReader
使用tf.trian.NewCheckpointReader(model_dir)一个标准的模型文件有一下文件, model_dir就是MyModel(没有后缀)checkpointModel.metaModel.data-00000-of-00001Model.indeximport tensorflow as tfimport pprint # 使用pprint 提高打印的可...
2018-10-06 16:13:46
7127
4
原创 sess.run()调用次数与效率的关系
一般来说, sess.run()的调用往往是tensorflow最大的瓶颈之一,因此用它的次数越少越好, 如果可以的话,再一个sess.run()的调用中放回多个项目,而不是进行多个调用...
2018-10-05 18:06:59
1750
原创 神经网络中固定每层权重方差的作用
控制输入，防止数值的剧烈变化方差的相关性质 两个随机变量相乘后的方差 经过变化得到 在这个等式中，x输入可以近似的看成是一个不变的常数，而D(y)又完全由权重初始化稳定控制为一个常数，所以输出的方差就完全决定于权重的平均数，优化过程中平均数一般变化比较稳定，所以输出值方差稳定。如果不控制权重的方差，在网络的不断传播中，一方面可能导致方差不断增大，输出值不断增大，导致产...
2018-10-05 18:02:17
1776
原创 tensorflow相关配置
<tensorflow实战google深度学习框架>都使用GPU进行训练 没运行一个程序时使用设置不同的 CUDA_VISIBLE_DEVICES ，在执行程序前先运行export CUDA_VISIBLE_DEVICES = 0，表示指定编号为0的GPU给程序，然后运行程序。在要执行第二个程序的使用 export CUDA_VISIBLE_DEVICES = 1指定另外一个...
2018-10-05 16:48:33
127
原创 tensorflow模型保存, 单个文件, 模型读取, 部分模型保存,读取
保存完整的模型生成一下4个文件:checkpoint.meta.data-00000-of-00001.index使用此方法保存时，会生成3个文件，其中后缀为.meta保存图的结构和常量，.data和.index保存模型的权重，偏差，梯度其他的变量的所有的值等。创建服务对象，如果Saver（）有传入，表示只对传入的值有相应的后续效果saver = tf.train.Saver...
2018-10-05 16:46:30
2792
原创 tensorflow数据读取和处理
文件匹配["file0", "file1"]或[("file%d" % i) for i in range(2)]files = tf.train.match_filenames_once("C:/path/to/data.tfrecords-*")读取文件队列二进制文件，每一个像素点的代表占用一个byte的文件，所以在以二进制存储的图片中，图片总共的像素点表示一张图片的大小tf.tr...
2018-10-05 16:43:39
1555
原创 将tensorflow中函数转化为正常函数
将一个队Tensor定义的函数装换成一个队numpy.ndarray定义的函数。<21个项目玩转tensorflow>，P82def tffunc(*argtypes): placeholders = list(map(tf.placeholder, argtypes)) def wrap(f): out = f(*placeholders) ...
2018-10-05 16:40:29
393
原创 读取txt乱码
先使用rb二进制读取读取，文件然后使用decode进行转码with open(CHECKPOINT + 'checkpoint.txt', 'rb') as f: self.step = str(f.read().decode('utf-8'))
2018-10-05 16:37:18
1484
原创 图像金字塔, 高斯金字塔, 拉普拉斯金字塔
图像金字塔一张图像以金字塔的形式分辨率一层一层的降低，最底层是图像的原图，*说白了，就是将图片，整个长和宽缩小一般，图片大小变成原来的四分之一高斯金字塔https://blog.csdn.net/poem_qianmo/article/details/26157633?tdsourcetag=s_pctim_aiomsg用于图片下采用（减小图片的尺寸），从金字塔的底层到上层拉普拉斯...
2018-10-05 16:34:11
5543
原创 图像显示, 动态matplotlib,
显示图片时不暂停程序plt.ion()import numpy as npimport matplotlib.pyplot as plt# 配置# 设置坐标范围, 当为off是不显示坐标轴plt.axis([0,100,0,1])# 显示图片时不暂停程序plt.ion()xs=[0,0]ys=[1,1]for i in range(100): y=np.random.r...
2018-10-05 16:28:02
2289
原创 图像保存, scipy, OpenCV
scipydef savearray(img_array, img_name): scipy.misc.toimage(img_array).save(img_name) print('img saved: %s' % img_name)OpenCVcv2.imwrite(os.path.join(SAVED_IMAGES, file_name), final_image)...
2018-10-05 16:20:40
331
原创 自信息,KL散度(相对熵),交叉熵
自信息《深度学习》P47自信息：描述一个所含有的信息量，概率越小的事件所有包含的信息量（也叫自信息）越大，概率越大的事件发生了所包含的自信息越小。自信息的数学定义：I(x)=−logP(x)\Huge I(x) = -logP(x)I(x)=−logP(x)机器学习中log的底一般为为自然对数eee自信息只是处理单个的输出，使用香农熵来表示对整个概率分布中的不确定性的总量的量化H...
2018-09-29 11:39:01
170
原创 牛顿法（二阶梯度法）和拟牛顿法优化
相关阅读 &lt;统计学习方法&gt;李航，附录B.牛顿法将优化函数使用二阶泰勒展开中，x上标ķ表示第ķ次迭代 下列公式表示优化函数在 x k处展开，g T kxkXķx^kGŤķGķŤg_k^T函数f（x）有极值的必要条件是一阶到时为0，即梯度向量为0.同时牛顿法利用极小点得的必要条件是 同时假设下次到达的点的一阶导数为0对泰勒2阶展开求导得因为要求...
2018-09-07 20:02:11
3564
转载 CSDN的Markdown欢迎界面
@[TOC](这里写自定义目录标题)# 欢迎使用Markdown编辑器你好！ 这是你第一次使用 **Markdown编辑器** 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。## 新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功...
2018-08-28 17:18:06
177
原创 使用np.random.randint制作minbatch
0表示起始位置，data.shape[0]，结束位置，batch提取的大小indices = np.random.randint(0, data.shape[0], batch)
2018-08-28 16:57:25
543
原创 np.newaxis
在原有得到矩阵中增加一个轴，实际上上np.newaxis的值为无print(np.newaxis)#Nonenp.newaxis的位置决定要在哪个维度增加import numpy as npa = np.arange(1, 10)a = np.reshape(a, (3, 3))print(a[:, np.newaxis].shape)'''shape(3, 1...
2018-08-28 10:56:10
140
原创 python函数动态参数调用*args（元组），**kwargs（字典）
*args，只有1个*时表示元组一般指使用元组传入参数，在函数体中直接以元组变量的方式使用该参数def a(*args): print(args, type(args))a(1, 24, 5)# (1, 24, 5) <class 'tuple'>为什么不使用列表，而是用元组？元组是是不可变，不能修改的，以防止在函数体对传入的参数意外修改。**kwar...
2018-08-27 14:24:40
4166
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人