- 博客(40)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 如何快速找到对应的论文源码
参考2如果这论文很老，论文里的算法在该领域有举足轻重的地位。那么网上很可能有工具包。例如我做的机器学习方向，经典的聚类、分类算法，MATLAB, python等常用语言都有丰富的工具包可供使用，一般有名的算法都会包括在其中。如果论文非常新，或者论文中的算法在该领域并没有多大的影响，这时网上各种编程语言自带的工具包一般是不包括它的。我能想到的大概有以下3种方法：a.在google搜索该论文的名称或者第一作者的姓名，找到该作者的个人学术主页（计算机领域多数科研人员都有自己的学术主页）。在他
2022-03-29 17:43:44
4657
原创 搜索引擎语法--实用
搜索引擎是大家在日常生活和工作中必备的工具，是我们查个明星八卦、地址，搜索遇到的某个问题的解决方法，另外，其实搜索引擎的背后，有很多鲜为人知的搜索语法。1、 filetype 搜索文件的后缀或者扩展名2、info 网站基本信息3、inurl 网址链接包含的关键字4、index of 对搜索引擎结果进行二次检索5、intext 网页内容信息6、intitle 网页title信息7、cache 搜索引擎缓存信息8、define 关键词定义9、link 相关联的
2021-06-28 09:48:50
888
1原创 多模型架构
一个目标分类检测任务两步法先大分类是否为Person，在小分类是否为Red Person。一个识别项目展开做分层任务。现在fushan是单模型架构。
2021-06-04 09:20:45
86
原创 VSCode打开GitHub上的任意一个Repo
收藏于同事分享：大家介绍一个非常实用的工具，有了它，我们可以在几秒之内用 VS Code 打开 GitHub 上的任意一个 Repo，无需 Clone，速度飞快！用法也十分简单而且好记，下面给大家介绍下。介绍比如这里是 vue 的仓库：https://github.com/vuejs/docs-next-zh-cn，用 GitHub 打开是这样的：看代码的时候我们可能需要一个个点进去，速度慢而且感觉不太方便。为此大家可能安装了一些 Chrome 插件，比如比较火的是Octotree，安装之后效果是
2021-05-27 09:33:38
1058
原创 docker-apt国内镜像加速与代理配置
需要修改添加2个文件一、apt加速镜像源# 阿里源deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiversedeb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiversedeb http://mirrors.aliyun.com/ubuntu/ bionic-updates ma
2021-05-25 16:46:42
507
原创 RNN-LSTM-ATTENTION-TRANSFROM序列算法
时间序列模型一、RNN二、LSTM三、Attention四、Transfrom五、其它时间序列的机器学习算法5.1 条件概率模型-Word2Vec（使用负采样训练方法）一、RNN二、LSTM三、Attention四、Transfrom五、其它时间序列的机器学习算法5.1 条件概率模型-Word2Vec（使用负采样训练方法）两种形式：1. CBOW(Continuous bag of words连续词带)，最大化的条件概率函数。2. Skip-gram推荐系统基于用户行为item的行为
2021-05-24 14:09:13
126
原创 k8s企业级Docker容器集群管理
一、针对于docker容器到达千级个数的集群部署二、k8s相较于kafka能够深入控制docker集群的工具
2021-05-24 10:04:45
187
原创 Ubuntu安装cuda10.2来用tensorflow2.x和pytorch
CUDA10.2与tensorflow2.x版本不对应报错问题解决1. 简要2. 前提是你已经正确安装cuda10.2.89，检查：3. 检查GPU：4. OK！！！1. 简要**注：尽量使用TensorFlow2.x推荐版本，以免遇到不必要的问题。**目前tensorflow2.4.x以下官方标配cuda10.1，也是官方在github给出方案，修改cuda软链接即可，非常简单。也不影响pytorch1.5(cuda10.2.89)的继续使用。2. 前提是你已经正确安装cuda10.2.89，检查
2021-05-13 15:45:35
586
原创 nvidia-docker镜像中tensorflow-gpu无法使用gpu
nvidia-docker之tensorflow-gpu无法使用gpu一、报错一、报错no NVIDIA GPU device is present: /dev/nvidia0 does not exist
2021-05-13 13:50:56
2630
原创 nvidia–docker虚拟机使用gpu进行训练与推理
参考：启用Docker虚拟机GPU，加速深度学习https://blog.csdn.net/mogoweb/article/details/80633235
2021-05-13 11:35:02
731
原创 git clone代理与加速设置
切记先打开代理！！！！！！！在cmd中输入以下指令：git config --global http.proxy socks5://127.0.0.1:1080git config --global https.proxy socks5://127.0.0.1:1080如果要取消代理修改：git config --global --unset http.proxygit config --global --unset https.proxy完美建议：上述方法挂了全局代理，但是如果要克隆码
2021-05-12 16:55:04
608
原创 掌握深度学习框架步骤
掌握一个深度学习框架的用法，从训练一个模型的流程来看，需要掌握以下几个步骤：数据的处理，包括训练数据转成网络的输入，模型参数的存储与读取网络结构的定义，包括网络主体的搭建以及loss的定义solver的定义，也就是如何对网络进行优化模型评估的定义，也就是对模型训练结果进行评测这篇博文主要介绍第一部分，数据处理中的训练数据读取部分tensorflow当中读取数据的方式一共有三种：供给数据(feeding)：在定义graph的时候，可以用placeholder来表示其中的某些节点，在运
2021-05-11 21:27:02
338
原创 TF2.0之TFRecord文件读取（下）
TF2.0之TFRecord文件读取（下）此文章为 “VOC转化为TFRecord文件（一）”的下篇# tfrecord文件读取：参考reader = tf.data.TFRecordDataset('./target2/000.tfrecord')feature_description = { #1. 对于单个元素的变量，我们使用FixlenFeature来读取，需要指明变量存储的数据类型 #2. 对于list类型的变量，我们使用VarLenFeature来读取，同样需要指明读取变
2021-05-11 15:03:57
450
原创 VOC转化为TFRecord文件（上）
VOC转化为TFRecord文件：#####################################Example协议内存块下feature结构定义#######################################def int64_feature(values): if not isinstance(values, (tuple, list)): values = [values] return tf.train.Feature(int64_list
2021-05-11 14:34:57
187
原创 TF1.2和TF2.0命令对照
总结TF1.2和TF2.0命令对照表:原谷歌表格（歪国人在维护）：https://docs.google.com/spreadsheets/d/1FLFJLzg7WNP6JHODX5q8BDgptKafq_slHpnHVbJIteQ/edit#gid=0腾讯表格（以防有人不能访问谷歌表格）（木有在维护）：https://docs.qq.com/sheet/DZkR6cUZpdFJ2bUxS?tab=BB08J2tensorflow官网总结的来自TF2.0的变化tensorflow gui
2021-05-11 14:05:45
281
原创 conda install加速
一、直接修改为清华镜像源conda install加速镜像配置conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --set show_channel_urls yes二、下面操作
2021-05-09 16:15:49
368
原创 jupyter notebook运行指定的conda虚拟环境
jupyter运行于指定的conda虚拟环境问题描述解决方案问题描述打开jupyter notebook新建一个文件，发现只有一个默认的解释器，我们在指定的虚拟环境中安装了我们想要的包后是无法使用的，只有在base环境下安装的包才是可用的解决方案接下来解决上述问题：conda search python # 查看当前conda镜像下能获得的版本conda activate emotiona_analysis # 切换到虚拟环境emotiona_analysispip install
2021-05-09 16:07:04
123
原创 python3.5安装numba加速模块llvmlite版本不一致问题
报错：Building wheel for llvmlite (setup.py) ... error解决方案：C:\Users\mazhe>pip install llvmlite==0.31.0 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com --proxy="http://proxy3.bj.petrochina:8080"C:\Users\mazhe>pip install llvmlit
2021-05-08 14:49:32
674
原创 docker镜像root用户不能使用jupyter，报错
报错：Running as root is not recommended. Use --allow-root to bypass
2021-05-08 11:02:15
346
原创 深度模型gpu运行机制
gpu运行原理一、单机多gpu运行原理1.1 单机多卡并行机制：1.2 具体实现二、多机多gpu集群运行原理-分布式计算一、单机多gpu运行原理1.1 单机多卡并行机制：首先是将模型加载到主GPU，然后将模型复制到其他指定的GPU，接着把输入数据按batch维度划分给各个GPU去计算（batch_size_per_gpu=total_batch_size / num_gpu），各个GPU上的模型和数据独立进行前向推理计算，得到结果（loss）后汇总到主gpu上反向传播更新模型权重，再将主GPU模型更新
2021-04-28 16:39:50
470
原创 深度学习中Epoch，Batchsize，Iterations
Epoch，Batchsize，Iterations，这三个都是深度学习训练模型时经常遇到的概念。你一定有过这样的时刻，面对这几个词傻傻分不清楚，这三个概念究竟是什么，它们又有什么区别？ 深度学习，梯度下降，Epoch，Batchsize，Iterations 深度学习中的Epoch，Batchsize，Iterations，都是什么意思 梯度下降法一切的一切，要从机器学习中的梯度下降法说起。首先让我们来回顾一下这个常见的不能再常见的算法。梯度下降法是机器学习中经典...
2021-04-28 16:21:30
529
原创 接口通信apipost和postman
快速生成、一键导出API文档ApiPost不仅可以快速生成接口文档，还支持导出离线html、markdown、word文档。方便您部署接口文档到您的本地，甚至局域网服务器。全新的Cookie管理器支持Cookie管理，发送接口时，可以携带自定义的Cookie进行模拟登录，从而方便测试一些需要登录才能访问的API！更强大的控制台ApiPost V5版本开始，提供了更强大的控制台功能支持console.log()打印、支持请求request参数打印，支持响应response参数打印！...
2021-04-28 15:12:15
331
原创 SourceTree管理git项目
看完这篇文档你能做到的是：1、简单的用Git管理项目。2、怎样既要开发又要处理发布出去的版本bug情况。SourceTree是一个免费的Git图形化管理工具，mac下也可以安装。下载地址：https://www.sourcetreeapp.com/...
2021-04-28 15:08:13
85
原创 harbor管理docker容器
harbor搭建与使用https://blog.csdn.net/qq_24095941/article/details/86063684
2021-04-28 15:04:51
72
原创 wordTree笔记
public class WordTree extends HashMap<Character,WordTree>DFA（Deterministic Finite Automaton 确定有穷自动机）DFA单词树（以下简称单词树），常用于在某大段文字中快速查找某几个关键词是否存在。单词树使用group区分不同的关键字集合，不同的分组可以共享树枝，避免重复建树。 单词树使用树状结构表示一组单词。例如：红领巾，红河构建树后为：红/ 领 河/巾其中每个节点都是一个Wor
2021-04-28 14:19:04
748
原创 深度学习gpu的选择
gpu选择，有两件+2点事情比较重要一、显存二、计算的能力1. GFlops：每秒钟，完成的浮点数运算。2. 高端的型号，它计算核的个数多些、显存多、计算快些。三、1点：价格三、2点：gpu的厂商一、显存二、计算的能力1. GFlops：每秒钟，完成的浮点数运算。2. 高端的型号，它计算核的个数多些、显存多、计算快些。三、1点：价格三、2点：gpu的厂商1. NVIDIA GPU2. AMD，Intel，苹果，手机gpu。AMD的gpu游戏端做的好这里我们所说的gpu，特指NV
2021-04-28 13:44:39
354
原创 深度网络gpu运行知识
问题总结神经网络在gpu训练，device注意事项神经网络如何使用gpu话题 神经网络第n层推理，与训练怎么使用gpu的问题在gpu上做运算，把cpu数据挪到CPU上 只要所有操作数据在gpu上，所有的操作也会在gpu上完成只要所有操作数据在gpu上，所有的操作也会在gpu上完成。如果数据不在gpu上你需要手动copy然后在运行，如果你有多个gpu话，你需要保证操作的数据在同一个gpu去运行神经网络需要在一个gpu上做运算，你需要把它权重copy深度网络gpu运行知
2021-04-28 13:19:31
220
原创 深度网络gpu运行知识
神经网络在gpu训练，device注意事项神经网络如何使用gpu话题神经网络第n层推理，与训练怎么使用gpu的问题在gpu上做运算，把cpu数据挪到CPU上只要所有操作数据在gpu上，所有的操作也会在gpu上完成只要所有操作数据在gpu上，所有的操作也会在gpu上完成。 如果数据不在gpu上你需要手动copy然后在运行，如果你有多个gpu话，你需要保证操作的数据在同一个gpu去运行神经网络需要在一个gpu上做运算，你需要把它权重copy...
2021-04-28 09:37:21
78
原创 nvidia-docker安装与维护
一、gpu版root用户安装Docker！(生产服务器需要运维人员安装，开发人员可忽略1.安装)1. 安装该部分运维可根据生产实际情况，进行具体问题补充1.1 卸载系统Docker和Nvidia-container-runtimesudo yum remove -y docker-ce docker-ce-cli containerdsudo yum remove -y nvidia-container-runtime* libnvidia-container*sudo yum remov
2021-04-27 15:05:22
666
原创 python三大神器之virtualenv虚拟环境使用
一. 安装与部署1. 安装[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HQmJXMQS-1619506740733)(D:\田沛勋资源\中油工作夹\202104\20210414-python虚拟环境安装+linux命令\pic\图片1.png)]# 1. 通过pip进行安装virtualenv,virtualenvwrapper工具# 1.1 安装virtualenvpip install virtualenv -i http://pypi.douban.co
2021-04-27 15:02:16
140
原创 markdown符号使用
@[TOC](这里写自定义目录标题)# 欢迎使用Markdown编辑器你好！ 这是你第一次使用 **Markdown编辑器** 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。## 新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：1. **全新的界面设计** ，将会带来全新的写作体验；2. 在创作中心设置你喜爱..
2021-04-27 14:56:29
296
原创 markdown编辑器
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2021-04-14 11:12:04
56
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人