ZQ_ZHU-CSDN博客

转载 Spark学习之第一个程序打包&提交任务到集群

Spark学习之第一个程序打包&提交任务到集群免密钥登录设置环境工具环境打包工具打包安装插件创建项目编写代码打包提交任务启动hadoop上传测试文件到hdfs上传程序jar包提交任务启动master启动worker提交作业查看测试程序是否正确查看是否生成文件夹进入文件查看程序是否正确进入文件查看程序是否正确免密钥登录设置ssh-keygencd .sshtouch authorized_keyscat id_rsa.pub > authorized_keyschmod 600

2020-09-01 15:47:11 399

原创 Font shape `TU/ptm/m/n' undefined(Font) using `TU/lmr/m/n' instead

我用的是IEEE的模板来写的，但是里面的textbf{}居然不起作用了，真是尴尬，警告信息如下：最后网上各种找解决办法，最后发现原来是编译器在作祟，我用的是TeXstudio，默认编译器设置为XeLaTex，原因就在此，最后在默认编译器里添加了一个PdfLaTex，问题完美解决，想什么摘要加粗显示、算法流程加粗啥的都有了。【Options】->【Configure Texstudio...

2019-12-18 17:22:41 9597 7

原创 'docker' 不是内部或外部命令，也不是可运行的程序或批处理文件。

如题所示，在windows上安装docker出现了错误，解决方法：在path环境变量中加入docker.exe所在路径就可以了，然后用cmd或者powershell重新打开就可以了

2019-11-29 16:08:33 20012 4

原创解决报错：Variable generator/encoder_image/conv2d/kernel already exists, disallowed

具体错误信息如下：Traceback (most recent call last): File "/home/wanghao/bin/pycharm-2017.1.2/helpers/pydev/pydevd.py", line 1585, in <module> globals = debugger.run(setup['file'], None, None, is_...

2019-07-01 15:37:37 2284

转载低秩恢复算法（图像去噪）

声明：本博客为整料整理，引用的地方均有注明。如需转载，请注明出处！低秩矩阵恢复算法概述近几年，低秩矩阵恢复（LRMR）广泛用于图像处理用途图像恢复，比如去噪、去模糊等。一幅清晰的自然图像其数据矩阵往往是低秩或者近似低秩的，但存在随机幅值任意大但是分布稀疏的误差破坏了原有数据的低秩性。低秩矩阵恢复是将退化图像看做一组低维数据加上噪声形成的，因此退化前的数据就可以...

2019-05-21 20:03:33 13984 5

原创 PyTorch基本数据类型及其占用空间大小

PyTorch上的常用数据类型如下Data typedtypeCPU tensorGPU tensorSize/bytes32-bit floatingtorch.float32 or torch.floattorch.FloatTensortorch.cuda.FloatTensor464-bit floatingtorch.float64 or t...

2019-04-23 15:38:58 10588 1

转载 tf.einsum—爱因斯坦求和约定

1. einsum记法如果你像我一样，发现记住PyTorch/TensorFlow中那些计算点积、外积、转置、矩阵-向量乘法、矩阵-矩阵乘法的函数名字和签名很费劲，那么einsum记法就是我们的救星。einsum记法是一个表达以上这些运算，包括复杂张量运算在内的优雅方式，基本上，可以把einsum看成一种领域特定语言。一旦你理解并能利用einsum，除了不用记忆和频繁查找特定库函数这个好处...

2019-04-08 20:53:01 7600 2

原创 RuntimeError: one of the variables needed for gradient computation has been modified by an inplace

Traceback (most recent call last): File "train.py", line 182, in <module> train(config) File "train.py", line 120, in train loss.backward() File "/home/zqzhu/anaconda3/lib/python3....

2019-03-30 16:06:59 8875

转载稀疏表示（Sparse Representations）

1.什么是稀疏表示：用较少的基本信号的线性组合来表达大部分或者全部的原始信号。其中，这些基本信号被称作原子，是从过完备字典中选出来的；而过完备字典则是由个数超过信号维数的原子聚集而来的。可见，任一信号在不同的原子组下有不同的稀疏表示。假设我们用一个M*N的矩阵表示数据集X，每一行代表一个样本，每一列代表样本的一个属性，一般而言，该矩阵是稠密的，即大多数元素不为0。稀疏表示的含义是，寻找一个...

2019-03-28 17:00:27 26333 2

转载稀疏表示入门

1.稀疏学习学什么稀疏学习的任务主要是有稀疏编码、字典学习。关于稀疏信号的定义，这里给出4种形式：严格k稀疏信号，可压缩信号、稀疏基下的稀疏信号、稀疏基下的可压缩信号（1）严格k稀疏信号：考虑一个有限长信号x属于Rn，如果x至多有k个非零元素，即||x||0≤k，则称信号x为严格k稀疏信号，（2）可压缩信号：如果信号可以用一个k稀疏向量来近似表示，则称这样的信号为可压缩信号。（3）稀疏基下的稀疏信...

2019-03-28 16:57:46 909 1

转载机器学习中的范数规则化之（二）核范数与规则项参数选择

机器学习中的范数规则化之（二）核范数与规则项参数选择[email protected]://blog.csdn.net/zouxy09 上一篇博文，我们聊到了L0，L1和L2范数，这篇我们絮叨絮叨下核范数和规则项参数选择。知识有限，以下都是我一些浅显的看法，如果理解存在错误，希望大家不吝指正。谢谢。...

2019-03-26 17:19:22 305

转载机器学习中的范数规则化之（一）L0、L1与L2范数

机器学习中的范数规则化之（一）L0、L1与L2范数[email protected]://blog.csdn.net/zouxy09 今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较...

2019-03-26 17:18:35 279

转载 JPEG压缩原理详解

转载： http://blog.csdn.net/shelldon/article/details/54234433图片压缩有多重要，可能很多人可能并没有一个直观上的认识，举个例子，一张800X800大小的普通图片，如果未经压缩，大概在1.7MB左右，这个体积如果存放文本文件的话足够保存一部92万字的鸿篇巨著《红楼梦》，现如今互联网上绝大部分图片都使用了JPEG压缩技术，也就是大家使用...

2019-03-25 15:36:17 14383 4

翻译 Convolutional Sparse Coding for Image Super-resolution

Convolutional Sparse Coding for Cmage Super-resolutionAbstract 大多数基于稀疏编码的超分辨率方法首先将图片划分为具有重叠的小块，然后在得到的每个小块上单独处理，最后得到超分辨率图片。以上方法存在的问题就是各个patchpatchpatch之间忽略了像素的一致性问题，最后在一定...

2019-03-22 17:26:23 2791 11

原创 PyTorch创建自己的数据集

图片文件在同一的文件夹下思路是继承 torch.utils.data.Dataset，并重点重写其 __getitem__方法，示例代码如下：class ImageFolder720p(Dataset): &quot;&quot;&quot; Image shape is (720, 1280, 3) --&amp;gt; (768, 1280, 3) --&amp;gt; 6x10 128x128 patc

2019-03-10 20:00:11 1929

原创 pytorch快速安装【清华源】

step1：安装anacoda 下载地址bash Anaconda3-2018.12-Linux-x86_64.shstep2：按照官网的方法安装pytorchconda install pytorch torchvision cudatoolkit=10.0 -c pytorch在此期间你会发现特别的慢，慢也就算了主要它还老安装不成功，出现的错误见我的另一篇博客补充说明：...

2019-02-28 19:14:14 180994 94

原创诡异的错误：OpenSSL.SSL.Error: [('SSL routines', 'ssl3_get_record', 'decryption failed or bad record mac')

最近在学习pytorch，所以必须首先配置环境，但是在此期间出现了如题所述的错误，更奇怪的是当自己要安装opencv是竟然出现了同样的错误（以上均是在服务器上进行的），真是令人发指。。。。首先看错误信息：Traceback (most recent call last): File "/home/zqzhu/anaconda3/lib/python3.7/site-packages/pip...

2019-02-27 21:39:32 30462 13

原创 vim常用命令总结

三种状态Command：任何输入都会作为编辑命令，而不会出现在屏幕上，任何输入都引起立即反映Insert：任何输入的数据都置于编辑寄存器，按【ESC】，可跳回command方式Escape：以“：”或者“/”为前导的指令，出现在屏幕的最下一行，任何输入都被当成特别指令。...

2019-02-22 11:07:42 419 1

转载机器学习算法总结

转自：https://blog.csdn.net/weixin_40411446/article/details/81836322 ~~~~~·个人整理，如需转载，请说明并备注，不甚感激~~~~~~（这篇文章我很早发布在简书上，不用简书好多年了，哈哈哈，居然上了热搜，特复制在CSDN上供大家参考，为秋招攒点人品）suxuer简书原文地址BAT机器学习面试系...

2018-09-05 13:12:31 4074

原创 python安装opencv出现如下错误：Could not find a version that satisfies the requirement cv2 (from versions: )

如题所示在python中安装cv2库是提示不能找到满足需要的版本，我的环境配置是：pycharm+anaconda3，对应的python版本是python3.6，之前想着在pycharm中直接安装的，即打开项目对应的解释器设置模块，然后安装，但是发现安装失败，最后转至用命令安装首先打开终端，直接输入如下命令安装时发现也会提示出错pip install cv2最后利用下面的命令安装就成功了，然后你就...

2018-07-03 23:17:01 135633 51

原创 VNC中Tab键不能实现命令自动补全解决方法

最近由于学习需要，跑tensorflow的实验，但是用VNC连接上服务器后打开的终端中Tab键居然不能自动补全命令，每次都要自己一个一个照着敲，实在忍不了了。出现这种状况的原因是Tab键被占用了，从而不能命令自动补全了，真是尴尬，下面来说下本人的解决方法，以方便大家高效的撸代码。。。首先在桌面点击右键打开终端，然后切换到如下目录，由于不能Tab键补全，只能一个一个字母敲了。。。cd ~/.

2017-10-15 14:41:59 2416

原创 0x003B8027 处有未经处理的异常(在*.exe 中): 0xC00000FD: Stack overflow (参数: 0x00000000, 0x00252000)

如图，错误信息如下：代码如下所示，找了半天错误还以为自己代码有问题，然而并不是，真是心累。。。#include "myfun.h"#include #include #include const int MAX_N = 1000000;using namespace std;//区间调度问题//s:任务开始时间//e:任务结束时间//N:任务数量int s

2017-10-10 22:07:08 18565 3

原创虚拟机下创建共享文件夹时找不到设置的文件夹

最近由于学习需要，于是装了一个虚拟机（安装的linux版本是Ubuntu 16.04），为了文件访问方便配置了共享文件夹，但是配置好之后怎么也找不着配置好的文件夹（按道理来说在/mnt/hdfs/目录下是可以找见共享文件夹的），最后经过各种办法终于解决了，于是记录下来分享一下。1.首先配置虚拟机共享文件夹打开虚拟机，右键点击已装好的linux，然后点击设置，选择【选项】，找到共享文件夹一栏

2017-10-02 16:16:50 77525 11

原创 VS2013安装部署项目为安装包超详细

俗话说：工欲善其事必先利其器，那么在一切开始知之前就先利下你的器吧，说白了就是把该装的软件先装好了。。。

2017-07-26 10:18:54 23733 3

原创如何将C#中将TextBox的数据以及从数据库中查询得到的数据导出到Excel中

最近在做一个项目，其中需要将数据导出到Excel中去，今天总结下具体实现过程，方便大家使用，希望能够帮到大家！！！首先我们写一个函数，功能是将DataSet中的数据添加到Excel中去，一下是函数体/// /// 将DataSet中的数据批量导出到excel中去 /// /// 暂时存放数据的容器 /// 要导入的exce

2017-07-25 17:28:30 6350 1

原创 Linux系统启动时都发生了什么

今天我们简单来说下Linux系统在启动过程中一些重要的步骤：首先来一张图，大家先热热身接下来，我们庖丁解牛。。。。。。Step1：BOIS自检 (Power On Self Test)该过程主要功能是完成硬件的初始化，包括显示器、键盘以及主存储器（内存），如果该步有问题的话，你的PC是开不了机的，说明你需要好好检查下你的硬件设备了。BOIS软件存储在主板上的ROM芯

2017-06-29 20:45:45 1283

转载 IP地址、子网掩码、网络号、主机号、网络地址、主机地址以及ip段/数字-如192.168.0.1/24是什么意思?

背景知识 IP地址 IP地址被用来给Internet上的电脑一个编号。大家日常见到的情况是每台联网的PC上都需要有IP地址，才能正常通信。我们可以把“个人电脑”比作“一台电话”，那么“IP地址”就相当于“电话号码”，而Internet中的路由器，就相当于电信局的“程控式交换机”。 IP地址是一个32位的二进制数，通常被分割为4个“8位二进制数”（也就是4个字节）。IP地址通常用“点分十进制”表示成（a.b.c.d）的形式，其中，a,b,c,d都是0~2...

2022-02-18 19:08:10 7247

转载子网掩码是什么，IP段的24是什么写法

背景关于设置 IP 网段，我们常见到的 192.168.1.0/24 是什么意思，24是什么意思？这里的 “192.168.1.0” 的末尾0是，一定是0吗？跟 192.168.1.5/24 所表示的网段是一样的吗？解答 /24 这种写法 /24 的写法是子网掩码的写法。表示有多少位是1的意思，比如表示前面24位是1，即 11111111 11111111 11111111 00000000/24 其实也就是 255.255.255.0(等价的写法...

2022-02-18 18:30:45 5267

原创 Warning FailedScheduling 30s (x2 over 108s) default-scheduler 0/3 nodes are available

具体错误信息如下：Warning FailedScheduling 30s (x2 over 108s) default-scheduler 0/3 nodes are available: 1 node(s) were unschedulable, 2 node(s) didn't match Pod's node affinity/selector.想利用nodeSelector直接在master节点上启动pod，出现以上错误信息【解决方法】通过如下命令可以查看taint信息：#

2022-02-11 16:19:39 4540

原创 K8S删除pod显示状态为terminating

文章目录错误信息解决方案重置kubernetes服务，重置网络肯能出现的其他问题refs错误信息【出错信息】在node上删除pod时状态一直为terminating，无法正常删除pod，只能利用--force强制删除【错误排查】// # systemctl status kubeletFeb 08 15:57:09 mas02 kubelet[26122]: E0208 15:57:09.012020 26122 pod_workers.go:765] "Error syncing po

2022-02-11 11:43:09 3969

转载浏览器同源策略与ajax跨域方法汇总

原文什么是同源策略如果你进行过前端开发，肯定或多或少会听说过、接触过所谓的同源策略。那么什么是同源策略呢？要了解同源策略，首先得理解“源”。在这个语境下，源(origin)其实就是指的URL。所以，我们需要先理解URL的组成。看看这个URL：http://www.jianshu.com/p/bc7b8d542dcd我们可以将它拆解为下面几个部分协议、域名和路径：http :// www.jianshu.com /p/bc7b8d542dc...

2021-12-21 15:49:06 215

原创 java.sql.SQLException: Access denied for user ‘root‘@‘...‘ (using password: YES)

RT，在连接数据库时发生了Access denied的错误，用Navicat和mysql客户端都进行了尝试，都是不行，最后发现是因为密码不一致问题。（本人之前对密码加密方式进行过更新，导致root用户远程连接和本地连接密码不一致，但在远程连接时还用的新的密码，但是数据里保存的还是旧的密码，导致每次数据库连接认证时总是出现RT错误）解决方案重新修改root用户的本地连接密码和远程连接密码use mysql; update user set authentication_string='' wher

2021-11-16 11:07:17 1228

转载 Kerberos安全体系详解---Kerberos的简单实现

文章目录1. Kerberos简介1.1. 功能1.2. 概念2. 3次通信2.1. 你和验证服务2.2. 你和TGS2.3. 你和Http服务reference1. Kerberos简介1.1. 功能一个安全认证协议用tickets验证避免本地保存密码和在互联网上传输密码包含一个可信任的第三方使用对称加密客户端与服务器（非KDC）之间能够相互验证Kerberos只提供一种功能——在网络上安全的完成用户的身份验证。它并不提供授权功能或者审计功能。1.2. 概念首次请求，三次通

2021-09-28 16:34:29 751

原创 Latex常用数学符号

文章目录字母上标输入小写希腊字母大写希腊字母二元关系符二元运算符大尺寸运算符定界符字母上标输入小写希腊字母大写希腊字母二元关系符二元运算符大尺寸运算符定界符

2021-06-25 15:09:10 552

原创 python awk keyError print $1

代码如下：os.system("ps aux | grep {} | awk '{print $2}'".format (PROJECT_DIR_NAME))错误信息如下：提示keyError：print $2解决办法：os.system("ps aux | grep %s | awk '{print $2}'" % (PROJECT_DIR_NAME))

2021-03-11 09:13:44 1535

转载安装redis中执行make时出错及解决方案 make[1]: * [server.o] Error 1 ...... make:* [all] Error2

安装redis出现些之前安装不曾出现错误稳定版6.0.1之后版本都会出现这个问题！！！解决办法为：升级 gcc到最新版本 [root@localhost redis-6.0.1]# gcc -v [root@localhost redis-6.0.1]# yum -y install centos-release-scl [root@localhost redis-6.0.1]# yum -y i...

2021-03-04 10:49:57 5385 1

原创 Running setup.py install for pyicu ... error

如题所示，在开发中需要pyicu库，但是安装一直失败：使用的linux环境信息：Linux version 3.10.0-1127.19.1.el7.x86_64 ([email protected]) (gcc version 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC) ) #1 SMP Tue Aug 25 17:23:54 UTC 2020部分错误信息 bases.h:53:23: warning: override

2021-01-30 17:52:11 2169

转载 Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?

今天打开centos7，由于没设置开机自启，当我启动docker时，发现与docker有关的命令都会报错，百度过，说什么重装docker啥的，我都试过，但是还是解决不了问题，下面我贴出问题集：例如我查看版本信息重启容器systemctl status docker 查看docker状态也发现错误：最后解决问题方法是：进入 /etc/docker，没有daemon.json文件就自己新建一个：编辑daemon.json文件：加入这段代码：{ "registry-mirrors": ["

2021-01-28 16:16:38 208

原创【kubectl cp之bug】tar: Removing leading `/‘ from member names

错误信息如下所示：kubectl cp test-7894747c4-whtnh:/opt/ai/web/service.py ./tar: Removing leading `/' from member nameserror: open .: is a directory目的是从k8s容器中复制文件到本地，然后出现以上错误，最后通过查找资料发现这个是k8s的一个潜在bug，从k8s容器中复制文件时不能是绝对路径，它是从workdir继承的路径，所以要注意，第二个地方是目标路径问题：只能是文件

2021-01-06 17:59:32 5713

转载 linux下安装redis与启动,及后台启动redis

linux下安装redis及其中遇到的问题的解决方法 1.将下载好的压缩包放到/usr/local目录下# tar xzf redis-3.0.2.tar.gz# cd redis-3.0.2 # make 提示错误 make: cc: Command not found make: *** [adlist.o] Error 127没有安装gcc环境，需要安装gcc # yum install gcc安装后检查是否安装成功 ...

2020-12-16 10:19:28 229