盘行

原创 centos安装openstack：pip install uwsgi 出现：ERROR: Failed building wheel for uwsgi

1.centos安装uwsgi出现：ERROR: Failed building wheel for uwsgi可以按照以下步骤解决：yum groupinstall “Development Tools”yum install python-devel最后再执行:pip install uwsgi 就可执行成功！

原创 openstack中安装keystone服务，初始化身份认证服务的数据库 ([Errno 111] Connection refused)“)问题

虚拟机ubuntu18.04，当按照官网的教程配置M版的openstack时，：出现问题：([Errno 111] Connection refused)")输入命令： tail /var/log/keystone/keystone-manage.log进行日志查看的时候，发现是主机连不上数据库的原因。经过排查有以下解决办法：进入：cd /etc/mysql/mariadb.conf.d文件夹下：vim打开 50-server.cnf文件，找到bind-address

原创 ubuntu18.04 更改固定IP

1.如若想在更改固定ip的同时，让ip和主机不在同一个网段，就参考另一篇博客（如主机ip为192段，可以更改虚拟机ip为10段）：https://blog.csdn.net/qq_16963597/article/details/1077872112.更改网络配置文件：sudo vi /etc/network/interfaces编辑文件中的内容为：其中，ens33代表网卡的名称，可以通过ifconfig命令去查看；address为你想要设置的固定ip；netmask为子网掩码，一般就是这个

转载 VM虚拟机安装centos无法上网问题。附加修改centos ip的问题（随意设置网段，不限定当前计算机网段）

由于采用了默认最小化安装centos，导致很多服务不可用，首先面临的就是不可上网问题，通过查阅资料发现可以通过以下设置：cd /etc/sysconfig/network-scripts有一个ifcfg-ens开头的文件，此时用vi打开，把最后一行的：ONBOOT=no这一项改为ONBOOT=yes然后保存退出。然后重启网络服务，大功告成。service network restart...

转载 解决虚拟机能主机ping通虚拟机，但是xshell连不上的问题

安装了xshell软件，但是在命令行可以ping通虚拟机，但是在xshell里一直连接失败，在网上找了很多办法，下面是成功的命令。1.首先关闭ubuntu防火墙：sudo ufw disable 重启等待2.安装OpenSSH服务：sudo apt-get install openssh-server openssh-client然后可以试着连接以下，到这步发现我自己的就可以了，可能是ubuntu选择最小化安装，有些必要插件安装不全。...

原创 百度词语爬虫

"""一：百度词语爬虫"""import urllib.requestfrom lxml import etreefrom urllib.parse import urlencode, unquoteimport requestsimport reimport jsonimport timedef digui(url,headers): try: requ...

原创 dask入门（3）利用python实现一个分布式的wordcount

1.利用dask分布式，首先搭建一个dask分布式系统；2.搭建一个HDFS分布式文件系统，因为对于分布式系统来说，由于计算能力分散，最好的就是搭建一个局域网文件系统，避免本地数据的频繁分发传递；3.代码如下所示：#dask 利用hdfs单词计数from hdfs import Clientfrom distributed import Client as Cl,progressfro...

原创 dask分布式出现TypeError: can't pickle _thread.lock objects错误解决办法

看了好多博客，这个问题都没有讲清本质，看得我一知半解，下面是出错代码，一个简单地单词计数。#dask 利用hdfs单词计数from hdfs import Clientfrom distributed import Client as Clfrom collections import defaultdicthdfs = Client('http://192.168.175.139:9...

翻译 dask入门（2）

#计算斐波那契数实战1方法from distributed import Clientfrom dask import delayed, compute@delayeddef fib(n): if n < 2: return n # We can use dask.delayed and dask.compute to launch # c...

翻译 dask入门（1）

简介：dask是一种分布式集群系统，由于python GIL(全局解释锁)的限制，运用多线程时，在同一时刻，只能有一个线程在执行，导致了运用多线程并不会使程序运行速度明显加快，反而由于线程之间的数据传输实现效果并不好。分布式系统框架流程：单机模式上运行dask：简单地例子，求解10个数的平均值。#dask求解10个数的平均值Import dask.array as daImpo...

原创 python 模拟鼠标点击屏幕固定区域

from ctypes import *import pyautoguiimport timetime.sleep(5)while 1: # windll.user32.SetCursorPos(600,300); # windll.user32.SetCursorPos(900,300); pyautogui.click(600, 670, clicks=1, interval=0...

原创 python调用cmd进行输入输出

由于程序需要用java和python混用，所以可以取巧，就是在python中调用cmd，在cmd中执行java所以，进行了一下测试。完美运行import oswith open("text1.txt","w",encoding="utf8") as file1: mystr = os.popen("ipconfig") # popen与system可以执行指令,popen可以接受...

原创 ubuntu 安装过程中 安装界面卡死完美解决办法 笔记本

在安装ubuntu过程中，由于是神舟电脑，问的淘宝客服，没想到比我还白，在网上搜了资料，总结如下：1 设置优盘启动 这里就不多说了，网上资料很多，找个工具直接写进u盘就好。2 u盘启动过程中，会出现选择界面，try ubuntu 、install ubuntu等，此时点“e”键，会出现一个黑框，此时在倒数第二行左右，找到quiet splash - - - 改成 quiet splas...

原创 pycharm出现 Pycharm this applicatation failed to start because it could not find or laod the qt 的解决办法

通常这种情况会出现在pycharm中运行图形界面时出错，在我这idle是可以运行。通过在cmd窗口中pip check matplotlib发现 matplotlib中依赖包的问题。更新其中的依赖包，问题解决。...

原创 int /'float' object is not callable 问题完美解决（单次能执行，一循环调用就出错）

遇见这种问题几次，编译器一直定位不到错误，刚开始以为是自己的算法问题，在逐步调试加入continue之后，发现在某一行之前程序都能正常运行，到某一行就出现问题。报这种错误，一般都在循环中，单次执行时程序没有问题，这种都是程序参数命名和系统关键字重复所致解决办法：查找程序，看有哪些参数名字命名为系统关键字，改正即可。...

转载 倒排索引原理 搜索引擎

在搜索引擎中每个文件都对应一个文件ID，文件内容被表示为一系列关键词的集合（实际上在搜索引擎索引库中，关键词也已经转换为关键词ID）。例如“文档1”经过分词，提取了20个关键词，每个关键词都会记录它在文档中的出现次数和出现位置。得到正向索引的结构如下： “文档1”的ID > 单词1：出现次数，出现位置列表；单词2：出现次数，出现位置列表；…………。 “文档2”的ID >...

原创 python 正则表达式或( | )的用法

str1 = """我是人民解放军 我sdfsdfsdf张 """result = re.findall(r"我.*?[军|张]", str1)print(result)结果:

转载 pytorch CNN手写字体识别

## """CNN手写字体识别"""import torchimport torch.nn as nnfrom torch.autograd import Variableimport torch.utils.data as Dataimport torchvision #其中包括一些数据库（图片...）import matplotlib.pyplot as plt...

转载 pytorch 多种optimizer优化器 的使用

"""optimizer优化器"""import torchimport torch.utils.data as Data #批处理模块from torch.autograd import Variableimport torch.nn.functional as F #激励函数模块import matplotlib.pyplot as plt #画图模块#hyper para...

转载 pytorth编程基础实战 （一） 分类，回归，保存模型，批处理

看莫烦pytorch编写pytorch实现回归："""回归"""import torchfrom torch.autograd import Variableimport torch.nn.functional as Fimport matplotlib.pyplot as pltx = torch.unsqueeze(torch.linspace(-1,1,100)...

转载 pytorch中nn.Conv2d的理解

nn.Conv2d对应的参数如下：class torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True)kernel_size: Size of the convolving kernelstride: ...

原创 urllib.request.urlopen（）出现的程序超时假死问题

写了一个百度通用爬虫，需要对很多的url进行循环处理，获取url的html，程序逻辑没有问题，但是程序经常跑着跑着就停止不动，不报错，所以一句句加输出，最终发现原来是：pagetext = urllib.request.urlopen(request,data=None,timeout=15).read()停止都是在这句 查找资料得知，urlopen()有一个超时参数，当长时间获取不到响...

转载 gensim的简单实用实例

转载加原创简单程序代码和注释：：raw_corpus = ["Human machine interface for lab abc computer applications", "A survey of user opinion of computer system response time", "The EPS user int...

转载 keras入门一

"""基于MLP的softmax多分类（十分类）"""import keras#引入序列模型模型from keras.models import Sequential#引入全连接层、# 随机失活（引入随机失活后，神经网络的每个节点都会贡献内容，不会出现少数高权重节点完全控制输出结果的情况，因此降低了网络的结构风险）# 激活层（没有直接用到，在全连接层间接用到）from keras...

转载 不用降级keras更改softmax() got an unexpected keyword argument 'axis'错误的方法

原创 CrawlSpider爬虫的使用

1. rule规则：rule规则的参数allow：满足括号中“正则表达式”的值会被提取，如果为空，则全部匹配。 deny：与这个正则表达式(或正则表达式列表)不匹配的URL一定不提取。 allow_domains：会被提取的链接的domains。 deny_domains：一定不会被提取链接的domains。 restrict_xpaths：使用xpath表达式，和allow共同作...

原创 pyqt5使用笔记

退出程序并提示是否退出：def quite(self,event): #退出程序按钮 reply = QtWidgets.QMessageBox.question(self,'程序',"是否退出程序", QtWidgets.QMessageBox.Yes | QtWidgets.QMessageBox.No, QtWidgets.QMessageBox...

转载 ubuntu安装google浏览器

依次执行下面命令： sudo wget http://www.linuxidc.com/files/repo/google-chrome.list -P /etc/apt/sources.list.d/wget -q -O - https://dl.google.com/linux/linux_signing_key.pub | sudo apt-key add -sudo apt u...

原创 scrapy设置中间件（uese-agent和代理）

settings.py#下载中间件DOWNLOADER_MIDDLEWARES = { 'douban.middlewares.RandomUserAgent': 100, 'douban.middlewares.RandomProxy': 200,}USER_AGENTS = ['Mozilla/5.0 (Windows NT 10.0; Win64; x64) Ap...

原创 python scrapy爬虫链接mongodb数据库

piplines.pysettings.py

原创 CrawlSpider下的腾讯招聘网站内容爬取

1.首先是scrapy项目的建立：scrapy startproject TencentSpider 2.打开项目文件，在对应的spider文件夹内输入：scrapy genspider -t Crawl tencent tencent.com进行tencent.py爬虫文件的建立。3.爬虫程序的设置4.tencent.py程序的编写：源代码如下：# -*- ...

原创 PyQt5可视化界面进行深度学习框架调用

根据网上教程，先把界面文件转换成.py文件，然后进行程序的编写。直接上代码：# -*- coding: utf-8 -*-# Form implementation generated from reading ui file 'test5.ui'## Created by: PyQt5 UI code generator 5.11.3## WARNING! All change...

原创 python3 scrapy 爬取腾讯招聘，数据存为Json格式

程序主要代码：（tencentPosition.py）# -*- coding: utf-8 -*-import scrapyfrom tencent.items import TencentItemclass TencentpositionSpider(scrapy.Spider): name = "tencent" allowed_domains = ["tenc...

原创 selenium+chromedrive 爬取js加载的动态网页（下拉才能显示内容）

from selenium import webdriverfrom selenium.webdriver.common.keys import Keys #调用键盘操作from selenium.webdriver.chrome.options import Optionsimport timefrom lxml import etree#创建chrome浏览器驱动，无头模式...

原创 正则表达式获取a便签内的href链接举例（a标签内容是可变的）

pattern = re.compile(r'&lt;a\b[^&gt;]+\bhref="([^"]*)"[^&gt;]*&gt;' + str(link_text) + '.*?&lt;/a&gt;')result = pattern.search(html)# print(result.group(1))result_url = result.group(1) #页面内的...

原创 python3 实现百度贴吧html页面的获取

1.获取输入贴吧的HTML页面2.放到对应的文件中代码：from urllib.parse import urlencode,unquoteimport urllib.requestimport randomimport sysdef tiebaSpider(url,beginpage,endpage): #百度爬虫接口三个参数 url，起始页，终止页 for page in ...

转载 熵，隐马尔可夫，最大熵模型，维特比算法，前向算法的通俗解释，附部分代码

什么是熵(Entropy)简单来说，熵是表示物质系统状态的一种度量，用它老表征系统的无序程度。熵越大，系统越无序，意味着系统结构和运动的不确定和无规则；反之，，熵越小，系统越有序，意味着具有确定和有规则的运动状态。熵的中文意思是热量被温度除的商。负熵是物质系统有序化，组织化，复杂化状态的一种度量。熵最早来原于物理学. 德国物理学家鲁道夫·克劳修斯首次提出熵的概念，用来表示任何一种能量在空间中分布的...