琴&-CSDN博客

原创【docker】debian安装官方docker源解析IP404问题

根据Ubuntu 的 docker 页面，问题是它应该https://download.docker.com/linux/ubuntu代替https://download.docker.com/linux/debian.

2024-02-26 10:56:01 625

原创 VMware 虚拟机下ubuntu命令行(parted)扩容方法，包括一些坑

vmware下使用parted直接扩展/下内存，无需新建卷

2023-07-01 10:44:23 793

原创【python3】基于贝叶斯和TF-IDF的新闻内容分类

贝叶斯新闻分类贝叶斯公式：P(D∣h)=P(D)P(h∣D)P(h) P(D|h) = \frac{P(D)P(h|D)}{P(h)}P(D∣h)=P(h)P(D)P(h∣D)理解这个公式的作用：已知学校男女生的数目，男生穿长裤的概率和女生穿长裤的概率，求已知一个人穿长裤，那他是女生的概率；这个问题可以解决：先得到学校的人穿长裤的人数，在得到女生穿长裤的人数，那么是女生的概率=女生穿长裤的人数/学校穿长裤的总人数，即KaTeX parse error: No such environme

2021-05-17 08:46:44 700 1

原创【python3】基于逻辑回归的信用卡欺诈检测

前言这个项目实战系列主要是跟着网络上的教程来做的，主要参考《跟着迪哥学习机器学习》中的思路和具体实现代码，但是书中使用到的应该是python2的版本，有一些代码也有问题，有的是省略了一些关键的步骤，有的是语法的问题，总之就是并不是直接照着敲就能够一路运行下来的。这里整理了能够运行的代码和数据集(链接容易挂，需要请私聊)。系列导航基于逻辑回归的信用卡欺诈基于随机森林的气温预测基于贝叶斯的新闻分类基于推荐系统的音乐推荐平台…import pandas as pdimport matplot

2021-05-10 08:14:34 1447 2

原创【python3】基于随机森林的气温预测

前言这个项目实战系列主要是跟着网络上的教程来做的，主要参考《跟着迪哥学习机器学习》中的思路和具体实现代码，但是书中使用到的应该是python2的版本，有一些代码也有问题，有的是省略了一些关键的步骤，有的是语法的问题，总之就是并不是直接照着敲就能够一路运行下来的。这里整理了能够运行的代码和数据集。系列导航基于贝叶斯的新闻分类基于逻辑回归的信用卡欺诈基于随机森林的气温预测…思路随机森林建模->特征选择->效率对比->参数调优import pandas as pdfea

2021-05-03 20:09:53 9219 46

原创 python中遇到的关于浅拷贝和深拷贝的坑

之前还在看相关博文，没想到自己现在遇到了这个问题【情景描述】：一个表头作为模板，需要在每次数据写入csv文件时判断，如果是条件1，执行一种操作，如果是条件2，执行另一种操作。而我的公用表头写在了一个公共的py文件中供整个项目使用入坑的写法...省略号...header = outer.headerif condi1: header.append(obj)writer = csv.writer(f)writer.writerows...省略号...当你执行以上代码，就会发现，每写一次，

2021-04-05 15:57:12 216

原创【java】基于开源库sarxos.webcam实现哈哈镜

感觉这个项目很冷门，找不到相关内容，只能在github的issue中找到。查看当前有哪些设备System.out.println("Webcams: "+Webcam.getDiscoveryService().getWebcams(10, TimeUnit.SECONDS));设置Webcam.getWebcamByName("your device name code");实例：Webcam.getWebcamByName("HD Camera 1")...

2021-03-30 17:34:41 1979 4

原创【pytorch】双向LSTM实现文本情感分析

整个个专栏记录一下深度学习的相关文章(一)认识深度学习(二)机器学习应用策略(三)卷积神经网络(四)序列模型(五)pytorch从零实现手写数字识别(六)认识NLP，RNN实现文本情感分析(六)经典试题整合循环神经网络tokenization：分词 token：具体的词常见工具jiebaTHULAC(不推荐)分词方法：句子转为词语句子转换为单个字N-gram准备词语特征的方法，N代表能够一起使用的词的数量分词长度：len(cuted) -1 、获取分词（以.

2021-03-29 08:11:46 3197 1

原创快速入门pyTorch，实现手写数字识别

PytorchTensor各种数值称为张量，例如常数0阶、向量1阶、矩阵2阶张量创建方法import torchimport numpy as np# 原始类型torch.Tensor([1,2,3]) tensor([1., 2., 3.])# 数据转换torch.Tensor(arr) tensor([[ 0., 1., 2., 3.], [ 4., 5., 6., 7.], [ 8., 9., 1

2021-03-29 07:55:24 1816

原创序列模型

输出的结果长度不是一定的（比如机器翻译）循环神经网络RNN每个词进行分析输出之前还输入了来自上一次分析的时间步，如图所示，右边代表是简化的模型展示。通常：计算各个层的时间步a使用tanh函数作为激活函数各层的输出结果使用sigmoid函数作为激活函数a<t>=g(Wa⋅[a<t−1>,xt]+ba)Wa=[Waa(100)∣Wax(10000)](100⋅10100)y^<t>=g(Wya<t>+by)a^{<t>} = g.

2021-03-29 07:55:00 1944

原创卷积神经网络

卷积运算部分将卷积核经过水平轴和竖直方向轴旋转之后才进行运算，在深度学习中不需要（互相关）常见的过滤器（核）sobel filter [[1 0 -1], [2 0 -2], [1 0 -1]]scharr filter[[3 0 -3], [10 0 -10], [3 0 -3]]而通常的做法是将过滤器九个数字作为w参数输入网络通过BP算法学习缺点：在每次卷积运算之后，图片都会变小，特征缩小图像边界点检测丢失注：处理图像分辨率计算方法：n为原图单

2021-03-29 07:54:41 1879

原创机器学习应用策略

正交化正则化的超参数，这些参数尽量正交，互不影响早停并没有那么好用单实数评估标准提出一个实数评估标准比如查全率和查准率，这里使用F1作为两个参数的均衡F1=21p+1RF1 = \frac{2}{\frac{1}{p}+\frac{1}{R}}F1=p1+R12满足和优化指标必须满足某个条件下如准确率到达一定阈值以后，再去优化另一个指标。训练-验证-测试集测试这些集合应该反映未来可能遇到的训练集，尽量覆盖整个分布；现代数据集过大，例如一百万数据集，这时候使用的应.

2021-03-29 07:54:23 1830

原创认识深度学习

深度学习Python的使用利用向量化替代for循环利用numpy工具包对矩阵向量运算替代重复计算广播机制常用reshape方法确保变量的维度axis 选择方向：1代表水平方向 0代表竖直方向广播机制中常见bug：np.random.randn(5) 与 np.random.randn(5,1) 的区别前者为一维数组，后者为行向量解决未知变量是否为行向量：断言assert(a.shape==(5,1))数组 -> 行向量： a = a.reshape((5

2021-03-29 07:54:02 1952

原创 colab配置运行python项目

注：这里是博主自己摸索的一个方式，如果使用其他方法无法成功的话，这里的方法可以一试，而如果有更好的方式，可以留言分享学习一下。复杂的模型一般在GPU上面运行，而一般电脑基本跑不起来，我的MAX250基本没戏，一运行就会报错RuntimeError: CUDA out of memory. Tried to allocate 30.00 MiB (GPU 0; 2.00 GiB total capacity; 271.60 MiB already allocated; 5.06 MiB free; 3.

2021-03-22 13:23:09 7252 2

原创【pycharm+colab】python项目文件之间相互import错误解决

记录一个错误，困扰了我好一会儿：一个项目内的文件之间相互import报错，最后发现需要将所在的主文件夹作为resource文件夹，如图所示，让文件夹标记为蓝色。迷惑的是没有在网上找到解决方案，果然是这个问题太低级了。具体操作：右键文件夹 - mark director as - resources同时记录一下，引用虚拟环境没有成功导入库的解决方案：在项目设置面板直接添加库。试过用terminal安装import并不成功。File - settings - Project: - Project Inte

2021-03-21 20:55:12 4639

原创 “dot” not found in path

回顾一下绘制树模型需要的插件检查是否安装Graphviz，并添加path（可能需要重启生效）还需要安装如下插件pip install graphvizpip install pydotpip install pydotplus注：有的镜像可能没有，不需要加上如-i https://pypi.tuna.tsinghua.edu.cn/simple的参数网络上解决方案：3. 修改pydot.py文件，添加Graphviz安装的绝对路径【不推荐，如果路径出错，又需要重新修改】4. 代码中增

2021-03-18 15:49:36 3487

原创【Java】最少次数改造字符串为回文字符串

具体思路：从两边向中间寻找相同字符，找到了就交换并固定位置。如果字符串长度为偶数，存在奇数次数的字符，无法构成如果字符串长度为奇数，有且仅有一位奇数次数字符。示例：mamadmamad << j=N-1=4 i=0 k=j=4 m!=d << k-1=3m!=a << k-1=2m==m << cnt=2, 交换后: maadm, break跳出循环固定首尾字符,maadm << i=1, k=3a!=d &lt

2021-03-15 21:19:54 3920

原创 C++二维数组的声明、赋值、函数传值和遍历方法

更新2021/3/10c++二维数组的声明赋值函数传值遍历#include <iostream>using namespace std;void getArr(int **,int,int);int main(){ int columns = 2; //两列 int rows = 3; //三行 int input_list[] = {1,3,5,6,7,7}; int **testArr; testArr = new int

2021-03-10 14:51:25 3854

原创 Failed to initialize graphics environment

问题出自云服务器Ubuntu系统下通过vncserver启动图形化界面中启动IDEAjava.awt.AWTError: Can’t connect to X11 window server usisng ‘:1.0’ as the value of the DISPLAY valriable.针对报错信息，明白需要设置DISPLAY的值，具体解决方法如下：基于VNC，服务器端已经启动vncserver，无需重新启动。su -切换至管理员，执行echo DISPLAY=localhost:1

2021-03-08 12:21:37 6214

原创机器学习西瓜书笔记

机器学习与算法学习机器学习，走进数据分析的第一步第一章（基本概念）基本术语术语含义记录一对括号内的数据数据集一组数据示例、样本、特征向量记录中的描述值样例拥有标记的示例标记分类的结果标记空间、输出空间所有标记的集合属性、特征性别、年龄属性值属性的取值属性空间、样本空间、输入空间属性的集合学习、训练从数据中获得模型的过程训练数据训练过程中使用的数据训练集训练样本组成的集合假设学习的

2021-01-21 12:09:55 2832

原创进程经典同步问题

在开始之前注意拼写信号量：semaphore你需要知道：信号量只能通过初始化和两个标准的原语来访问P-wait，V-signalP、V操作作为一个整体实施，不能分割整型信号量wait(S): while S<=0 do no-op //如果没有资源不进行操作（让权等待） S:=S-1;signal(S): S:=S+1; //赋值操作记录型信号量解决让权等待问题关于中断操作：禁止处理机响应中断源的中断请求，这部分操作不允许被打断，也就是不允许去执行其他的程

2021-01-18 17:11:12 2930

原创【windows】查看文件md5码

certutil -hashfile [filepath] [type]filepath为文件路径type为选择的加密算法MD2 MD4 MD5 SHA1 SHA256 SHA384 SHA512

2021-01-18 13:39:40 2954

原创 DFD图（数据流图）转换至SC图（系统结构图）

【绘制工具：visio2019】注：visio中并没有SC图的模板，需要先自己建立样式利用visio确定构图元素模板选择：基本流程图箭头：箭头上标注文字：选择上面第二步下面的文本点击空白处即可其他元素与流程图给出的元素一致DFD->SC图画法输入流，输出流，变换中心输入流：信息从外部形式变换为内部形式的路径输出流：信息从内部形式变换为外部形式的路径区分输入流和输出流的边界：多股数据流汇集处->考虑是否为数据变换中心从数据流图的数据源输入开始，不断逼近系统

2021-01-06 10:58:59 18662

原创【Docker 学习笔记】基本原理和基本操作

注：所有实验均来自【Educoder平台】Docker学习基本原理和操作启动服务：service docker start拉取镜像docker pull isoname:latestdocker run --name first_docker_container isoname:latest echo "Hello"查看容器信息docker ps [-a查看所有容器]停止一个容器docker stop [option] Container [Container ...]容器在后台运行并且

2020-12-23 09:00:42 2826

原创【已解决】time out in locking authority file /home/toshiba/.Xauthority

# 删除所有无效文件$ cd ~~$ rm .Xauthority*# 创建与赋权~$ touch .Xauthority~$ chown 你的用户名:你的用户名 .Xauthority~$ chmod +x 你的用户名

2020-12-09 16:29:43 5235 5

原创 SPARQL基础查询语句

jena数据库安装????下载地址????本地安装jena数据库：安装：解压，linux(.tar.gz)执行./jena-fuseki或者win(.zip)双击fuseki-server.bat【注：下载时有两个版本，一个版本只有jena工具类，应该下载apache-jena-fuseki】文末附数据生成操作查询操作查询一个歌手的所有歌手id# DISTINCT 不重复PREFIX music: <http://kg.course/music/>SELECT DIS

2020-12-03 15:03:46 3175 1

原创 Xlib: extension “XInputExtension“ missing on display “:1.0“

ubuntu 安装vscode之后点击生成的图标无法打开（没有图标记得重启），建议在安装地址直接打开可以看到报错信息如果是root用户，可能需要--no-sandbox参数才能启动继续执行$ ./code --no-sandbox出现Xlib: extension "XInputExtension" missing on display ":1.0"继续执行：$ sudo sed -i 's/BIG-REQUESTS/_IG-REQUESTS/' /usr/lib/x86_64-linux-gnu

2020-11-25 09:44:12 5003

原创 linux 关闭所有占用端口进程

$ lsof -i :80|grep -v "PID"|awk '{print "kill -9",$2}'|sh

2020-11-25 08:29:16 3149

原创云服务器部署war:Connections could not be acquired from the underlying database~

背景大部分云服务器VNC默认为root用户用户登录vnc连接云服务器图形界面，有时直接apt-get install mysql，而其他用户是无法访问数据库的由于root用户可以登录mysql的root，所以在debug时往往会忽略这个情况。情况将maven项目打包成war部署到云服务器中的tomcat，页面中调用api访问数据库失败并主要报错如下(找最先报错信息)java.sql.SQLException:Access denied for user 'root'@'localhost'

2020-11-21 19:29:25 2969

原创 mysql5初始化配置

由于原来的电脑装的是mysql80，然后我给搞忘了，于是遇到了各种冲突，现在记录一下。卸载其他版本(或者找到好的方法让让他们共存，不推荐)完全卸载mysql80方法：????>>传送门解压mysql5的压缩包在解压后的文件夹中创建my.ini配置文件参考：[mysqld]#端口号port = 3306#mysql-5.7.27-winx64的路径basedir=S:\mysql-5.7.31-winx64#mysql-5.7.27-winx64的路径+\da

2020-11-19 09:46:01 3105

原创 navicat:rsa public key not find

一定要严格按照安装步骤来，不然Genarate就会报错!解决方案彻底卸载已安装(不推荐)关闭Navicat，重新执行PJ步骤：先启用ZCJ进行patch之后，再打开本体!

2020-11-19 07:55:58 4213

原创 pyspark:TypeError:an integer is required（got type bytes）解决

linux【ubuntu,其他版本仅供参考】下jupyter notebook中运行pyspark程序出错，查询资料发现，目前2020.11.18，pyspark仍然不支持更高版本的python，只支持到python3.7(有的博客可能写的3.6，更新了嘛)。解决方案切换anaconda中jupyter notebook 的python版本，由于过程比较复杂，经测试并没有成功重装anaconda3具体过程卸载原来的anaconda3，默认安装路径为~/anaconda3，直接删除即可

2020-11-18 16:43:25 7312 3

原创 linux(ubuntu) 下python版本切换

此为后续…linux中根据系统不一样一般都会自带2.x版本，这个不能删除代码如下查看系统python的指向版本$ file /usr/bin/python查看系统是否已经存在需要的版本$ cd /usr/bin/python$ find python*如果没有则下载，如果有请忽略$ sudo apt-get install python3.x # 自己想要的版本/usr/bin:$ find python* # 查看是否已经安装，没有可以重开一下console 修改，莫慌，这不是

2020-11-18 16:36:14 3008

原创 matlab逐行读取有索引的单词文本文件并构建数据结构

感觉挺巧妙地，记录一下。文本数据结构：1 a2 b3 c4 aa...基本思路是利用了fscanf函数参考：fscanf 函数原型为 int fscanf(FILE * stream, const char * format, [argument…]); 其功能为根据数据格式(format)，从输入流(stream)中读入数据，存储到argument中，遇到空格和换行时结束。function vocabList = getVocabList()file_path = '';fid

2020-11-11 21:39:04 2988

原创【python】从零开始学习车牌识别（三）车牌字符分隔与字符识别ver.0.9

准备工作分类的cascade.xml分类器图像文字识别的库PIL和pytesseract> pip install -i https://pypi.tuna.tsinghua.edu.cn/simple Pillow pytesseract戳????安装tesseract别急着next！仔细看信息，选择对应的安装包配置环境变量path(根据电脑已有的名称配)，如下目录增加TESSDATA_PREFIX系统变量，如下目录测试是否成功> tesseract --li

2020-11-11 08:29:35 3719 1

原创 github页面绑定域名/Domain‘s DNS record could not be retrieved

本地的博客source文件夹中创建CNAME文件并写入注册的域名示例：baidu.comhexo g => hexo d然后在自己购买的域名页面选择对应域名设置解析：解析中添加如下信息：将第一列的记录值改为自己的github.io即可记录ip，参考官方文档185.199.108.153185.199.109.153185.199.110.153185.199.111.153最后记得开始解析过一会儿，就可以访问，不知道为啥我每次多刷新几次才会出来...

2020-11-10 18:04:29 4563

原创 MySQL无法登录的问题

修改root密码我忘了设置密码，导致一度登不进账号，而没有设置密码，默认密码为空(直接回车)select host,user,authentication_string from mysql.user;看看字段是否为空，接下来时修改密码alter user 'root'@'localhost' IDENTIFIED BY 'new_password'...

2020-10-31 14:24:17 2787

原创【笔记】大数据技术之图计算原理概要（十一）

图计算专门针对图结构数据的处理社交网络数据传染病交通事故等非图结构的大数据，也可以转换成为图模型很好的表达了数据之间的关联性大数据计算核心：关联计算图计算软件基于遍历算法的、实时图数据库图顶点为中心，基于消息传递批处理的并行引擎BSP：整体同步并行计算模型网络连接起来的处理器一系列的全局超步超步组件局部计算通讯栅栏同步：等待所有处理器处理器执行完毕Pregel是谷歌公司发布的一款商业图计算产品谷歌公司三大开源产品

2020-10-31 14:23:55 3160

原创【笔记】大数据技术之流计算Storm（十）

流计算流数据：数据以大量、快速、时变为主要特点需要实时的处理流式数据->点击流数据->实时跟踪分析->迅速给出相关分析特征：快速，无尽、来源众多、数据量大、注重数据整体价值、数据颠倒不完整等静态数据：例如数据仓库中的数据动态数据：(流数据)概念流计算：实时获取来自不同数据源的海量数据经过实时分析处理获取有价值信息数据的价值随时间的推迟而降低系统要求高性能海量式实时性分布式易用性可靠性开源六计算框架StromS4Dstream…

2020-10-31 14:23:40 2829