HaoRenkk123-CSDN博客

原创 MegatronLM源码阅读-数据预处理

MegatronLM大语言模型预训练框架源码阅读-数据预处理

2023-12-20 17:21:50 1116

原创 undefined reference to `c10::Error::Error(c10::SourceLocation, std::__cxx11::basic_string

场景：在c++调用libtorch库的过程中makefile需要添加-lc10,和-ltorcherror原因：本地编译环境为c++11,gcc版本为7.5，而下载的libtorch并不是c++11编译的，所以会导致库使用不正确解决方法:重新下载libtorch，根据cuda和pytorch版本选在连接下载，参考这位博主博客：https://blog.csdn.net/weixin_43742643/article/details/114156298我的模型是由pytorch1.

2021-04-18 19:51:12 3541

原创 ‘ascii‘ codec can‘t encode characters in position 151-155:ordinal not in range(128)

这是由于编码问题导致解决办法：进入修改环境变量：vi ~/.bashrc加入：export LANG="en_US_UTF-8"即可再source ~/.bashrc即可解决，如果还没解决，请退出环境再重新进入，以使环境变量生效即可...

2020-09-24 14:36:41 298

原创 git clone 加速

git clone经常30kb/s，40kb/s的，很慢，怎么加速到1M/s甚至2M/s参考大神：https://blog.csdn.net/xy_zhangchn/article/details/81558144?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.nonecase&depth_1-utm_source=distribute.pc_relevant.none-tas

2020-05-21 21:05:36 884

原创手绘图形识别并拟合

思路：1，先通过求二值图形的轮廓，判断是否存在内轮廓,且细化得到二值图的点集points2，如果存在内轮廓，则用多边形拟合approxPolyDP，判断输出的点集个数，和凸边拟合convexHull得到的点集个数是否超过阈值10和30，若超过，则用points进行椭圆拟合，否则用多边形拟合3，若没有内轮廓，则说明图形是未闭合图形，求其外轮廓最小外接矩形，如果矩形框的高宽比大于6，则该图...

2020-03-30 16:32:43 1920

原创 python矩阵增加维度

将矩阵A： m×n×p 转化为 m×n×p×1 以实现多维矩阵叠加的效果:import numpy as npA = np.array([ A ]) // A为待操作矩阵这样得到的是（1，m，n，p）如果想得到（m，n，p，1）的维度矩阵，则：A =A [:, : ,:,np.newaxis]...

2019-09-02 22:03:36 5539

原创 blob size exceeds INT_MAX

caffe训练或者测试报错：F0324 13:10:43.535276 16290 blob.cpp:33] Check failed: shape[i] <= 2147483647 / count_ (3000 vs. 2485) blob size exceeds INT_MAX首先找到错误出处：blob.cpp，在caffe目录下的./src/caffe/blob.cpp注...

2019-08-06 15:14:57 913

原创 Linux批量kill进程

当我们写的python脚本中用到多进程Process时，由于一些原因，这些进程一直休眠或者停止，导致程序无法继续，由于进程太多，这里我们需要kill掉这些无用进程1、首先查看所有进程ps -ef | grep jiangmi //这里的jiangmi是当前使用的用户名，我的是jiangmi显示如上图，例如我要批量杀掉由generate_dataset_hunhes...

2019-07-26 16:09:09 16065

原创 vs2013+caffe+anaconda3+gpu配置（超详细）

如果要安装pycaffe，那么首先要明白，最好用anaconda2+python2配置，如果安装的是anaconda3,那么也要新建一个python2的环境。这篇教程的前提是假设已经安装好了vs2013，cuda7.5，cudnn V4版（其他版本的cuda和cudnn类似，注意后边修改处就行）Anaconda3。第一步：在Anaconda3中建立一个python27的环境：在...

2018-12-13 13:41:25 643 1

原创 Qt上传文件到ftp服务器

第一步，首先确定环境已经配置好Qt应用程序默认没有加QtNetwork库。如下图：在开发过程中，因处理业务需要手动添加QtNetwork库。根据常见情况分为以下两种：【1】若使用QTCreator开发程序在工程的pro文件中添加：QT += network（如果找不到.pro文件，如果配置了vs+qt的环境，则可以在vs打...

2018-11-26 21:04:57 4337

原创 configure --prefix 的用法

源码的安装一般由有这三个步骤：配置(configure)、编译(make)、安装(make install)一般在编译前加上一句：./configure --prefix=/xxx/xxx其中–prefix选项就是配置安装的路径，如果不配置该选项，安装后可执行文件默认放在/usr /local/bin，库文件默认放在/usr/local/lib，配置文件默认放在/usr/local/e...

2018-11-22 21:08:48 1289

原创 could not connect to any x display

问题描述：在Linux下跑python程序，出现标题所示错误，原因是Linux无法可视化，而程序代码中有可视化代码比如代码开头结尾出现：import matplotlib.pyplot as pltimport pylab as pl...pl.show()等，就会出现标题所示错误，可能会提示需要下载GUI运行时需要的Xmanager 解决办法：在开头的...

2018-11-22 20:06:33 15910 1

原创 Unable to fetch some archives, maybe run apt-get update or try with --fix-missing?

楼主在配置caffe的情况时，安装依赖库的时候：sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler sudo apt-get install --no-install-recommends libboost-...

2018-11-19 17:26:33 1927

原创 Linux非root用户安装opencv

一句即可：pip install opencv-contrib-python opencv-python简单粗暴，如果要自己编译，则需要sudo权限。这句可以不用权限，就能直接安装上

2018-11-15 17:56:03 1431

原创 Linux 常用命令

cd /sata2/ 进入到sata2目录内ll 显示所有当前目录下的文件信息ls 显示当前目录下的所有文件夹和文件sz filename 下载名字为filename的文件到windows本地 sz /sata2/anyu/vin_date_train/data/la...

2018-10-21 23:13:05 329

原创 C++面试题总结

1：new、delete、malloc、free关系delete会调用对象的析构函数，和new对应，free只会释放内存。new调用构造函数。malloc和free是C/C++的标准库函数、new和delete是C++运算符。它们都可用于申请动态内存和释放内存。对于非内部数据类型的的对象而言，光用malloc、free无法满足动态对象的要求。对象在创建的同时要自动执行构造函数，对象在消亡前要自...

2018-09-25 23:28:43 293

原创机器学习面试复习知识点

1：有监督和无监督学习的区别有监督学习：对有标记的训练样本进行学习，以尽可能对训练样本集外的数据进行分类预测。（LR,SVM,BP,RF,DBRT）无监督学习：对未标记的训练样本进行学习，比如发现这些样本的结构知识，分布情况等。（KMeans,DL）半监督学习：所给的训练样本一部分是有标签的一部分是没有标签的，若我们先使用有标记的样本数据集训练出一个学习器，再基于该学习器对未标记的样本...

2018-09-23 00:56:37 651

原创剑指offer第四十一题：和为S的连续正数序列

题目描述小明很喜欢数学,有一天他在做数学作业时,要求计算出9~16的和,他马上就写出了正确答案是100。但是他并不满足于此,他在想究竟有多少种连续的正数序列的和为100(至少包括两个数)。没多久,他就得到另一组连续正数和为100的序列:18,19,20,21,22。现在把问题交给你,你能不能也很快的找出所有和为S的连续正数序列? Good Luck!输出描述:输出所有和为S的连续正数...

2018-09-19 23:37:13 115

原创剑指offer第四十题：数组中只出现一次的数字

题目描述一个整型数组里除了两个数字之外，其他的数字都出现了偶数次。请写程序找出这两个只出现一次的数字。思路1：先排序，然后遍历整个数组，如果当前数和前边的数以及后边的数都不一样，那么当前数就是只出现了一次的数字，注意考虑边界（只出现一次的数可能在数组第一个也可能出现在数组最后一位）。思路2：听说可以利用两个数字的逻辑异或来做，这里先只讨论第一种思路，第二种，刷完一遍剑指offer再回来...

2018-09-14 19:59:39 159

原创剑指offer第三十九题：平衡二叉树

题目描述输入一棵二叉树，判断该二叉树是否是平衡二叉树。思路：首先说明平衡二叉树的概念：它是一棵空树或它的左右两个子树的高度差的绝对值不超过1，并且左右两个子树都是一棵平衡二叉树。剑指offer第三十八题是计算二叉树的深度，那么这里我们可以计算左子树和右子树的深度，再比较它们的差值，即可判断是否是平衡二叉树。代码：class Solution {public: ...

2018-09-14 19:53:54 201

原创剑指offer第三十八题：二叉树的深度

题目描述输入一棵二叉树，求该树的深度。从根结点到叶结点依次经过的结点（含根、叶结点）形成树的一条路径，最长路径的长度为树的深度。思路：用递归，左右两个子树一直递归比较，取最大的值，就是深度。代码：/*struct TreeNode { int val; struct TreeNode *left; struct TreeNode *right; TreeNode(int...

2018-09-14 16:22:20 138

原创剑指offer第三十七题：数字在排序数组中出现的次数

题目描述统计一个数字在排序数组中出现的次数。思路1：双子针法，头指针从头向后开始遍历查找，找到即退出到当前位置i，尾指针从尾部开始向前查找，找到即退出到当前位置j，最后两个指针的位置相减，再加1，得到的就是该查找的数字在数组中出现的次数。思路2：顺序数组可以用二分查找，上面这种做法的时间复杂度为O(n)O(n)，我们没有充分利用有序这个条件，有序序列的查找可以用二分来做，查找第一个数字...

2018-09-14 12:23:03 147

原创剑指offer第三十六题：两个链表的第一个公共结点

题目描述输入两个链表，找出它们的第一个公共结点。思路：由于参数都是单链表，那么意味着遇到第一个公共结点后，后边的结点都是公共结点，用哈希set，将其中一个链表所有的结点先放入set中，然后遍历第二个链表，遍历的同时查找set，若查到，则当前结点即为第一个公共结点。代码：/*struct ListNode { int val; struct ListNode *next; ...

2018-09-14 12:01:17 120

原创剑指offer第三十五题：数组中的逆序对

题目描述在数组中的两个数字，如果前面一个数字大于后面的数字，则这两个数字组成一个逆序对。输入一个数组,求出这个数组中的逆序对的总数P。并将P对1000000007取模的结果输出。即输出P%1000000007输入描述: 题目保证输入的数组中没有的相同的数字数据范围：对于%50的数据,size<=10^4对于%75的数据,size<=10^5对于%1...

2018-09-14 11:57:02 206

原创剑指offer第三十四题：第一个只出现一次的字符

题目描述在一个字符串(0<=字符串长度<=10000，全部由字母组成)中找到第一个只出现一次的字符,并返回它的位置, 如果没有则返回 -1（需要区分大小写）.思路：这题比较简单，直接用map。代码：class Solution {public: int FirstNotRepeatingChar(string str) { map<ch...

2018-09-13 20:54:38 142

原创剑指offer第三十三题：丑数

题目描述把只包含质因子2、3和5的数称作丑数（Ugly Number）。例如6、8都是丑数，但14不是，因为它包含质因子7。习惯上我们把1当做是第一个丑数。求按从小到大的顺序的第N个丑数。思路：因数又叫约数，整数a除以整数b(b≠0) 的商正好是整数而没有余数，我们就说b是a的因数。质数：质数，又叫“素数”，在大于1的自然数中，仅有1和本身为自己的因子的数叫素数...

2018-09-13 20:53:06 205

原创剑指offer第三十二题：把数组排成最小的数

题目描述输入一个正整数数组，把数组里所有数字拼接起来排成一个数，打印能拼接出的所有数字中最小的一个。例如输入数组{3，32，321}，则打印出这三个数字能排成的最小数字为321323。思路：设计一个排序依据，实现数组内每个数的排序，好比普通数字排序。代码：class Solution {public: string PrintMinNumber(vector<in...

2018-09-13 20:27:52 121

原创剑指offer第三十一题：整数中1出现的次数（从1到n整数中1出现的次数）

题目描述求出1~13的整数中1出现的次数,并算出100~1300的整数中1出现的次数？为此他特别数了一下1~13中包含1的数字有1、10、11、12、13因此共出现6次,但是对于后面问题他就没辙了。ACMer希望你们帮帮他,并把问题更加普遍化,可以很快的求出任意非负整数区间中1出现的次数（从1 到 n 中1出现的次数）。思路：分别求出n的个位、十位、百位、千位等等，每一位1出现的个数，然后...

2018-09-13 11:02:19 236

原创深度学习超参数理解

这篇博客是对深度学习中比较重要的或者常见的超参数做一个整理笔记。1：learning rate（）学习率决定了权值更新的速度，在迭代更新权值的过程中，设置过大容易使训练的模型跨过最优值，导致过拟合；设置过小会使梯度下降过程过慢。这个参数是根据经验和不断实验来设置。2：Weight decay（）为了避免过拟合，必须对目标函数cost function（损失函数一般也叫价值函数）...

2018-09-11 19:28:49 8082

原创图像滤波算法总结

该篇主要是对图像滤波算法一个整理，主要参考的大神的博客： https://blog.csdn.net/qq_15606489/article/details/52755444 1：图像滤波既可以在实域进行，也可以在频域进行。图像滤波可以更改或者增强图像。通过滤波，可以强调一些特征或者去除图像中一些不需要的部分。滤波是一个邻域操作算子，利用给定像素周围的像素的值决定此像素的最终的输出值。图像...

2018-09-11 00:01:13 72778 5

原创常用的颜色空间

概述颜色空间通常用三个相对独立的属性来描述，三个独立的变量综合作用，自然构成一个空间坐标，这就是颜色空间（颜色模型）。而颜色可以由不同的角度，用三个不同属性加以描述，就产生了不同的颜色空间。但被描述的颜色对象本身是客观的，不同颜色空间只是从不同的角度去衡量同一个对象。常见的颜色空间有： 1、RGB:：是最常见的面向硬件设备的彩色模型，它是人的视觉系统密切相连的模型，根据人眼结构，...

2018-09-08 23:43:05 23838 1

原创剑指offer第三十题：连续子数组的最大和

题目描述HZ偶尔会拿些专业问题来忽悠那些非计算机专业的同学。今天测试组开完会后,他又发话了:在古老的一维模式识别中,常常需要计算连续子向量的最大和,当向量全为正数的时候,问题很好解决。但是,如果向量中包含负数,是否应该包含某个负数,并期望旁边的正数会弥补它呢？例如:{6,-3,-2,7,-15,1,2,2},连续子向量的最大和为8(从第0个开始,到第3个为止)。给一个数组，返回它的最大连续子序...

2018-09-08 13:16:21 133

原创剑指offer第二十九题：最小的k个数

题目描述输入n个整数，找出其中最小的K个数。例如输入4,5,1,6,2,7,3,8这8个数字，则最小的4个数字是1,2,3,4,。思路：要考虑边界情况，假如k>arr.size()，则要返回一个空的vector。对于k<=arr.size()的情况，则先排序，然后去排序后数组的前k个数。代码：class Solution {public: vector&lt...

2018-09-07 09:56:23 111

原创剑指offer第二十八题：数组中出现次数超过一半的数字

题目描述数组中有一个数字出现的次数超过数组长度的一半，请找出这个数字。例如输入一个长度为9的数组{1,2,3,2,2,2,5,4,2}。由于数字2在数组中出现了5次，超过数组长度的一半，因此输出2。如果不存在则输出0。思路：这题第一想到的就是用哈希表，让每个数字作为表的键，该数字出现的次数作为键值，然后遍历整张表，判断键值shif是否大于arr.size()/2即可，直接上代码：cl...

2018-09-07 09:49:28 115

原创剑指offer第二十七题：字符串的排列

题目描述输入一个字符串,按字典序打印出该字符串中字符的所有排列。例如输入字符串abc,则打印出由字符a,b,c所能排列出来的所有字符串abc,acb,bac,bca,cab和cba。输入描述:输入一个字符串,长度不超过9(可能有字符重复),字符只包括大小写字母。思路：这里直接用c++的STL标准库中的next_permutation()，注意边界条件。可以看看大神对于全排列总...

2018-09-06 16:07:31 175

原创剑指offer第二十六题：二叉搜索树与双向链表

题目描述输入一棵二叉搜索树，将该二叉搜索树转换成一个排序的双向链表。要求不能创建任何新的结点，只能调整树中结点指针的指向。思路：暂时只知道用中序遍历，但是代码还写不出来，过段时间再来写。留个脚印。...

2018-09-06 16:00:31 139

原创 caffe权值初始化方式

在caffe/include/caffe/目录下有一个滤波器的权值类头文件，即filler.hpp文件。该Filler类的作用实际上就是根据prototxt文件中的weight_filler参数如下所示：既然是权值要初始化，除了调用预训练模型的参数外，初始化的方式总共有几种呢，在filler.hpp文件中定义了7种初始化方式：分别为常量初始化（constant）、高斯分布初始化（gauss...

2018-09-05 20:50:36 2642

原创 MobileNet_ssd原理

之前实习用过太多次mobilenet_ssd，但是一直只是用，没有去了解它的原理。今日参考了一位大神的博客，写得很详细，也很容易懂，这里做一个自己的整理，供自己理解，也欢迎大家讨论。先整理MobileNet 这里奉上大神的博客地址：https://blog.csdn.net/u013082989/article/details/77970196 论文地址：MobileNets: Effic...

2018-09-03 23:20:24 45563 14

原创 batchnorm原理理解

接触CNN也一段时间了，最近也到了秋招期间，面试的时候可能会问到的一些内容需要做一个整理CNN-BN层参考了一个大神的博客，感觉讲的很深入也很好理解。我这里主要是对他的博客做一个自己的归纳整理，主要是为了方便自己去理解，也欢迎大家一起讨论自己的理解。这里给出大神的博客地址：https://blog.csdn.net/qq_25737169/article/details/79048...

2018-09-02 12:00:11 8862

原创剑指offer第二十五题：复杂链表的复制

题目描述输入一个复杂链表（每个节点中有节点值，以及两个指针，一个指向下一个节点，另一个特殊指针指向任意一个节点），返回结果为复制后复杂链表的head。（注意，输出结果中请不要返回参数中的节点引用，否则判题程序会直接返回空）思路：假如这题没有随机指针，很好搞，问题是有了随机指针，如何在新建结点的时候令随机指针指向正确的位置？可以用一个map来映射原结点和对应的新结点，刚开始的时候不要管...

2018-08-28 22:35:11 122 1