skj1995-CSDN博客

原创 matplotlib画图，这一篇就够了（使用Python画常见的柱状图、折线图、直方分布图、二维和三维的散点图，热力图）

目录画柱状图画折线图画直方分布图改进（自由设置坐标刻度、横纵坐标重合）画二维散点图（包括坐标刻度用科学计数法）画三维散点图画热力图为了达到美观的效果，本文给出的例子都稍微有点复杂。但是使用起来并不困难，只需要将对应位置的变量替换成自己的数据即可。代码看起来有点多是为了便于理解，所有的参数都加了注释，实现功能的代码量并不是很多，对于只想使用基础画图功能的，可以通过删减参数达到简化的目的。画柱状图...

2020-04-28 21:03:08 1729 2

原创服务器节点通过挂载共享数据

首先说明一下我们的服务器，由1个主节点和12个子节点组成，每个节点相当于一个独立的linux系统主机。其中还有一个/data目录是所有节点能够访问到的。在子节点上写Python程序的时候，有时候子节点上面的jupyter因为各种故障打不开，这时候就需要将jupyter打不开的节点A里面的程序拷贝到其他jupyter能打开的子节点B。这时候我们可以通过xshell进行操作。但是节点到节点之间不能...

2020-02-04 17:04:10 849

原创 pytorch保存训练好的模型及pytorch自己定义损失函数

一.pytorch保存训练好的模型假设你的模型定义为：class Net(torch.nn.Module): ......两种方式：仅仅保存和加载模型参数:#保存PATH="./model.pkl"the_model = Net()torch.save(the_model.state_dict(), PATH)#加载the_model = Net()th...

2020-01-05 15:43:45 1086

原创 pytorch如何搭建GCN有关的网络

前言：本人研究领域为交通方面，做科研需要搭建GCN有关的网络，比如GCN-GAN【1】，基于GCN的权值完成网络【2】，以及基于这些网络的新的GCN网络框架。但是搜索了一些网上使用pytorch搭建GCN网络的资料，只有github上面的无解释代码和最近几年发表的论文，有详细讲解的资料很少，这对于快速入门GCN实战，会有很大的门槛，鉴于此，经过几天的探索实战，我将自己的关于使用pytorch搭建G...

2020-01-01 11:15:48 3163 1

原创 Python读取、写入、修改、删除xml文件内容

本人在工作中需要读写xml文件，看到大多是C++实现的，本人对于Python语言比较熟悉，想使用Python实现一下。Python读取xml文件有多种方式，其中一种是使用包xml.dom.minidom,这个包的官方文档地址为：https://docs.python.org/3/library/xml.dom.minidom.html这个地址上面有API接口参数说明。我这里大概说一下读取、写入...

2019-07-15 15:11:42 11344 3

原创 python中的append是浅拷贝

Python中的append()操作是浅拷贝操作，也就是说Python 在执行append时并没有拷贝这个对象，而只是拷贝了这个对象的引用，如果不注意这一点的话会导致出乎意料的错误。比如执行下面的代码：M=['a','b','c','d']MyList=[['a','b','c','d']]temp=M[1]M[1]=M[0]M[0]=tempMyList.append(M)...

2019-06-12 18:31:41 1071

原创 pandas中将每一行数据拆分成多行的方法

一.应用场景用pandas处理数据时，我们经常会遇到将一行拆分成多行，或者将一列拆分成多列的方法，今天主要讲第一个问题，第二个问题下次讲。举个例子：我现有的数据如下：其中TrainData是我需要将它的一行分成多行的数据，上面的图片没有显示完全，我们读取TrainData的第二行，详细数据如下：LuKou_train_DF["TrainData"][1]='1902 1850 5...

2019-06-04 11:34:03 9156 1

原创用matplotlib将数据的PDF和CDF放在同一张图里面，并画出包络线

先放出最终的图：左边是分布直方图，右边是累积概率分布图，黑色的是CDF的包络线实现步骤如下：步骤一：将原来的直方图表示成左边这种只显示折线的形式：首先我们需要实现分布直方图，使用函数plt.hist()z1=plt.hist(list(my_DF["最短路径的长度"]), 30, normed=1,color="red",alpha=0.75,histtype='ste...

2019-05-16 14:31:09 2628

原创用matplotlib画空心散点图

我之前的图是这样的：我想要把图里面的散点变成空心的方格，如下图所示：但是matplotlib中画散点图的函数plt.scatter(x_values, y_values,c='b',s=50,marker = 's')中表示形状的参数marker没有空心的方框这个选项，因此我们可以这样操作：将表示颜色的参数"c"设置为“w”表示白色，用一个参数edgecolors，表示边框，设...

2019-05-15 12:18:57 10850 2

原创 python里面的深拷贝和浅拷贝

执行下面的程序：a=[[1,2],[3,4]]b=ab[0][1]=34print(a)你会发现输出是：[[1, 34], [3, 4]]说明当改变b的值的时候，a的值也被改变了。这就是Python里面的浅拷贝。要想在改变b的情况下保留原来的a，要使用深拷贝b=copy.deepcopy(a),（别忘了导入import copy）这样在改变b的时候a不会改变。...

2019-04-14 22:27:57 110

原创使用百度API常见错误

错误："status":240,"message":"APP 服务被禁用"和错误："status":210,"message":"APP IP校验失败"官方的解释在这里：http://www.itdaan.com/blog/2018/05/27/987c613ee3e4d5b08b75c814d2409233.html根据官方的解释，我又重新申请了一个AK，申请时的设置如下

2018-12-21 21:56:44 10213 3

原创 pandas DataFrame高效编程方法：根据多列的值做判断，生成新的列值,其中多列的值是包含多个值的数据类型

一.遇到的问题描述：我遇到问题的数据比较复杂，下面以比较简单的数据为例说明问题，所以这些数据的含义是没有意义的，可以忽略数据的的具体意义。数据如下所示：import numpy as npimport pandas as pddata = {'city': [{'Beijing':1, 'Shanghai':2,"lanzhou":7}, {'Guangzhou':3, 'Shenz...

2018-10-16 11:59:16 4395

原创 Python中利用正则表达式用逗号分割数据，但是忽略引号中的逗号的方法

一.问题描述：我在做一个网站搜索记录的分割工作，原始数据如下：x= '{"娇妻有毒路明": "0.013", "娇妻有毒%2c陆少宠上瘾": "0.078",\ "娇妻有毒老公你放松点": "0.021", "娇妻有毒陆明白芬": "0.011", "娇妻有毒:陆少,宠上瘾": "0.051"}'

2018-10-15 11:09:19 7502

原创 Linux下JupyterNotebook中python版本/kernel共存的解决方法

一.首先说明一下我的环境：我的环境是linux环境下的服务器、跑python程序用的是安装在服务器上的Jupyter Notebook二.我遇到的问题：我的服务器上的JupyterNotebook上只有Python2,而python2中编码格式跟python3并不一样，会出现许多错误，所以我需要安装python3。但是linux下没有AnacondaPrompt命令端，linux的ju...

2018-10-13 21:19:11 2967 3

原创 ValueError: could not convert string to float错误的解决办法

错误：ValueError: could not convert string to float出错的地方为：month_diff = int(float(date_consumed[-6:-4])) - int(float(date_received[-6:-4])),这一句包含在函数get_time_diff中我的目的是提取两个时间字符串里面的月份，然后计算月份差出错的原因...

2018-10-10 16:58:30 123858 2

原创关于错误：OOM ResourceExhaustedError 的完美解决方法

遇到的问题：我使用MobileNet训练图片分类器，参数大概有几百万个并不是很多，然而报错OOM ResourceExhaustedError分析：这样的话可能有两个原因：（1）batchsize太大，这种只需要将batchsize减小就行了（2）GPU的显存太小，或者剩余的显存太少了解决：因为我将batchsize减少到1还是会出现这种错误，所以肯定不是batchsi...

2018-09-24 13:49:03 21112 16

原创服务器上GPU的相关操作

1.用JupyterNotebook跑程序时，当发现某个包没有导入时，比如发现tqdm没有导入时，用下面的步骤导入：（1）点击Running:（2）点击terminals2,进入下面的页面：进行pip install tqdm即可2.查看服务器上GPU的占用情况：在上面展示的页面上输入：nvidia-smi结果如上图所示3.程序中指定使用的GPU节点区域：os....

2018-09-22 18:03:44 2759

原创 Anaconda下安装pyecharts步骤及常见错误

（1）之前看了几篇博客，有人说用cmd命令在目录C:\Users\Administrator\Anaconda3\Lib\site-packages下执行pip install pyecharts,执行之后没有错误，显示安装成功。但是重新打开JupyterNotebook执行from pyecharts import Geo之类的发现还是会出现错误：ImportError: No module...

2018-07-24 17:07:31 15142

原创使用 qemu 模拟器搭建 arm 运行环境（一）

一.流程（1）安装交叉编译工具链（2）安装 qemu 模拟器（3）编译 arm 架构 u-boot（4）用 u-boot 测试 qemu 是否正常启动二.原理qemu 是一个在 linux 上广泛使用的可以模拟 ARM 的模拟器。在进行嵌入式系统的开发时，运行程序的目标平台通常具有有限的存储空间和运算能力，比如常见的 ARM 平台，其一般的静态存储空间大概是 16 到 32MB，...

2018-07-23 15:51:34 25295

原创 The system is running in low-graphics mode问题

打开Ubuntu16.04出现了上述问题解决方法：在点击确定后进入有四个选项的界面，其中一个选项是让尝试运行default设置。1.在有四个选项的界面按Ctrl+Alt+F1进入纯命令界面2.输入用户名和密码3.依次执行：sudo apt-get updatesudo apt-get upgradesudo reboot4.会自动重启，若没有自动重启，手动重启就好了说明：戴尔笔记本的话按F1的方...

2018-05-22 20:09:24 3304 1

原创 AndroidStudio中用java实现利用正则表达式过滤html的标签，保留换行的方法

我最近做一个简单的app，用HttpURLConnection解析网络返回的值，得到的原始数据格式如下：为了过滤HTML的标签，达到只显示中文的目的，可以在程序中用正则表达式过滤得到的字符串。将html的标签全部过滤的正则表达式如下：private static final String REGEX_HTML = "<[^>]+>";然后Pattern p_html = Patt...

2018-05-19 19:31:04 1477

原创 Linux下pycharm+python2+tensorflow安装流程

Linux下pycharm+python2+tensorflow安装流程可以分成以下几个步骤：（1）安装pycharm一般就是解压，然后在bin下面执行./pycharm.sh就可以了参考链接：https://baijiahao.baidu.com/s?id=1622347860160507809&wfr=spider&for=pc（2）安装python2因为项目使用的是python2+tensorflow，所以我也需要在pycharm下有这两个环境，下面说一下我的安装过

2021-02-16 18:22:28 551

原创 gitlab常用操作总结

1. 常用命令（1）git clone xx.git 首先从git项目xx.gitclone项目到本地（2）clone之后，使用命令行项目进入项目所在文件夹，此时一般在master分支下，为了不影响主分支代码，进行新建分支：git checkout -b yourBranchName（3）在新建分支下修改代码，修改完之后依次执行git add . ； git commit -m "your notes" . ； git push ；执行完之后就把新建的分支push到线上的git项目里面去了.

2021-02-14 11:28:07 767

原创 Hive中LIKE和RLIKE的区别

1. LIKE和RLIKE的使用示例：SELECT name LIKE ‘%Alice’ FROM table1;表示选择name列内以ALICE作为结尾的数据相同的功能使用RLIKE实现如下：SELECT name RLIKE ‘*.Alice’ FROM table1;2.LIKE使用的是SQL中的简易通配符RLIKE使用的是java中的正则表达式，RLIKE的使用范围更广3. LIKE中使用的通配符常见的有三种：”_”表示只匹配一个字符，”%”表示可以匹配多个字符，[ch.

2021-02-14 09:05:12 1523

原创 Hive中join方法总结--有这一篇就够了

1. 常见的四种join的区别常见的join主要有下面四种，join,outer join, semi join和inner join，下面对这四个join的关系进行说明（1.1）join等价于inner join,也就是只会将两表都存在的join在一起（1.2）outer join分为：left outer join（等价于left join），right outer join（right join）和full outer join（full join）Left join是以左表为基准

2021-02-14 09:02:54 5000

原创 Hive中多行合并成一行以及一行扩展成多行的方法

1. 多行合并成一行：使用函数collect_list假如现在数据表table1如下所示：col1 col2 col3A B 1A B 2A C 3A C 4我们想将col1和col2值相同的col3合并成一行，得到如下的数据表，使用函数collect_listCol1 col2 col3A B 1,2A C ...

2021-02-13 23:23:57 11659 1

原创 HQL常见错误及处理方式

错误：Only numeric type arguments are accepted but string was passed as parameter 1.原因：是因为我使用函数做了这样一个操作：percentile_approx(fst_shlv_time, array(0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.99,0.999)) as fst_shlv_time_distrib而fst_shlv_time的类型是string，所以报错错误：Par.

2021-02-13 22:50:51 1255

原创 Hive QL常见问题总结

首先是常用的一些官方文档地址：（1）官网文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF（2）Hive简介及基础架构：https://geek-docs.com/hive/hive-tutorial/introduction-of-hive.html（3）Hive教程：https://www.yiibai.com/hive/hiveql_joins.html（4）SQL全部详细教程，一些跟Hive中一样.

2021-02-13 11:17:58 838 1

原创 TensorBoard打不开的解决方法

先自查以下问题，99%能解决：1.打印日志的log不能包含中文名2.使用命令：tensorboard --logdir C:\tensorboardLog打不开的话，可以尝试下面的命令：tensorboard --logdir C:\tensorboardLog --host=127.0.0.1其中的C:\tensorboardLog是日志存放目录，按照自己log位置所在目录修改3.如果还不行，尝试在C盘后面加//，也就是命令变成：tensorboard --logdir C://t

2020-08-02 10:15:09 1673 2

原创已安装更新版本的teamviewer 请先卸载当前版本解决方法

在重新安装teamviewer时出现如标题所示的错误，原因肯定是旧的teamviewer版本没有清理干净。我卸载的时候是先用360的软件管家卸载，出现这个问题之后，由于之前具体安装到哪个位置不记得了，所以我在安装的C盘里面搜索Teamview，把能找到的目录都删除了。然后重启，还是不行！在网上看了很多办法，其中一个办法非常管用简洁，就是先搜索控制面板，然后选择卸载，最后卸载掉Teamview就可以了。...

2020-07-24 09:56:20 7047

原创错误ModuleNotFoundError: No module named ‘tensorflow.contrib‘的解决方法

我的Python为3.7版本，自动安装的TensorFlow是2.2版本，但是运行的程序中有：from tensorflow.contrib.rnn import RNNCell会导致错误：ModuleNotFoundError: No module named 'tensorflow.contrib'，这是由于新版本的tensorflow里面不包含tensorflow.contrib包，于是我按照网上说的，将TensorFlow降为版本1.13，但是会出现其他问题，这是因为1.13版本的tens

2020-07-06 22:31:11 56597 17

Python+Spark 2.0+Hadoop机器学习与大数据实战_林大贵(著)_完整高清带书签PDF压缩包

pyecharts安装包

空空如也