cyq15539975613的博客

原创 rabbitmq安装与配置

rabbitMQ是一个在AMQP协议标准基础上完整的，可服用的企业消息系统。它遵循Mozilla Public License开源协议，采用 Erlang 实现的工业级的消息队列(MQ)服务器，Rabbit MQ 是建立在Erlang OTP平台上。1.安装Erlangerlang 安装下载地址 https://pan.baidu.com/s/1pGVaK-Uy3KyLophxpSEPSg全...

原创 docker 使用常用命令集锦

docker 使用常用命令集锦docker启动容器：docker start {container_id}docker停止容器：docker stop {container_id}docker进入容器：docker attach/docker execdocker 进行交互式编程：docker exec -i -t {container_id} {command}不进入容器在容器内执行命...

原创 MySQL数据库操作

python2.7： 安装mysql模块sudo apt-get install python-mysql安装pip apt-get install python-pip安装python-dev， 否则后面安装mysql模块报错升级pip安装:libmysqlclient-devpip install MySQL-python在文件中引入模块import Mysqldbpytho...

原创 MongoDB数据库操作

MongoDB特点模式自由 :可以把不同结构的文档存储在同一个数据库里面向集合的存储： 适合存储 JSON风格文件的形式完整的索引支持： 对任何属性可索引复制和高可用性： 支持服务器之间的数据复制， 支持主-从模式及服务器之间的相互复制。 复制的主要目的是提供冗余及自动故障转移自动分片： 支持云级别的伸缩性： 自动分片功能支持水平的数据库集群， 可动态添加额外的机器丰富的查询： 支持丰...

转载 Linux常用命令

系统信息 arch 显示机器的处理器架构(1) uname -m 显示机器的处理器架构(2) uname -r 显示正在使用的内核版本 dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI) hdparm -i /dev/hda 罗列一个磁盘的架构特性 hdparm -tT /dev/sda 在磁盘上执行测试性读取操作 cat /proc/cpuinfo 显示C...

转载 MySQL 入门教程

 一、MySQL的相关概念介绍 二、Windows下MySQL的配置配置步骤 MySQL服务的启动、停止与卸载 三、MySQL脚本的基本组成 四、MySQL中的数据类型 五、使用MySQL数据库登录到MySQL 创建一个数据库 选择所要操作的数据库 创建数据库表 六、操作MySQL数据库向表中插入数据 查询表中的数据 更新表中的数据 删除表中的数据 七、创建后的...

转载 Python爬虫框架Scrapy实例（一）

目标任务：爬取腾讯社招信息，需要爬取的内容为：职位名称，职位的详情链接，职位类别，招聘人数，工作地点，发布时间。一、创建Scrapy项目scrapy startproject Tencent命令执行后，会创建一个Tencent文件夹，结构如下二、编写item文件，根据需要爬取的内容定义爬取字段# -*- coding: utf-8 -*-import scrapy...

转载 Redis分布式实例

一、item文件，和之前项目一样不需要改变# -*- coding: utf-8 -*-import scrapyimport sysreload(sys)sys.setdefaultencoding("utf-8")class SinanewsItem(scrapy.Item): # 大类的标题和url parentTitle = scrapy.Fiel...

转载 MongoDB数据库去重操作

关于pymongo的去重方法， 网上找了老半天，都没有发现单独对pymongo里面的数据进行去重的方法网上说的最多的是 使用 distingct 方法进行去重操作， 但是这个方法，只是返回了去重之后的数据， 并没有返回整个数据列表而且并不是说执行过后， 就把数据库中重复的内容删除了， 因此并没有达到我的需求所以自己就重新尝试着写了一下去重的方法def delete_repeat_d...

原创 scrapy框架 爬虫基本流程

转载 常用排序算法的时间复杂度和空间复杂度及特点

一、常用排序算法的时间复杂度和空间复杂度表格二、特点1.归并排序：（1）n大时好，归并比较占用内存，内存随n的增大而增大，但却是效率高且稳定的排序算法。（2）归并排序每次递归都要用到一个辅助表，长度与待排序的表长度相同，虽然递归次数是O(log2n)，但每次递归都会释放掉所占的辅助空间（3）虽然插入排序的时间复杂度为O(n2)，归并排序的时间复杂度为O(nlog2n)，...

原创 网页cookie的获取

获取 cookiefrom selenium import webdriverdriver = webdriver.Chrome()# driver.get("http://member.rltxtest.xyz/login/login.html")driver.get("http://www.youdao.com")# 获取 cookie 信息cookies = driver.get...

转载 模拟点击，鼠标移动，拖拽，按键，下拉框的处理

1.模拟点击from selenium import webdriverfrom selenium.webdriver.common.action_chains import ActionChainsfrom time import sleepdriver = webdriver.Chrome()driver.implicitly_wait(10)driver.maximize_win...

原创 selenium和phantomjs

JavaScript 是网络上最常用也是支持者最多的客户端脚本语言。它可以收集 用户的跟踪数据,不需要重载页面直接提交表单，在页面嵌入多媒体文件，甚至运行网页游戏。jQueryjQuery 是一个十分常见的库,70% 最流行的网站(约 200 万)和约 30% 的其他网站(约 2亿)都在使用。一个网站使用 jQuery 的特征,就是源代码里包含了 jQuery 入口,比如:如果你在一个网...

转载 事务的四大特性

⑴ 原子性（Atomicity） 　　原子性是指事务包含的所有操作要么全部成功，要么全部失败回滚，这和前面两篇博客介绍事务的功能是一样的概念，因此事务的操作如果成功就必须要完全应用到数据库，如果操作失败则不能对数据库有任何影响。⑵ 一致性（Consistency） 　　一致性是指事务必须使数据库从一个一致性状态变换到另一个一致性状态，也就是说一个事务执行之前和执行之后都必须处于一致性状态。...

原创 Redis的命令集锦

string： set key value 表示保存一个键值对 get key 表示获取该键所对应的值mset key value key value key value 表示一次性保存多个键值对mget key key key 表示一次性获取多个键对应得值incr key 对key对应的值进行加一（仅限数字字符串 ）incrby...

原创 点击屏幕出现星星

Document

原创 模拟简单的博客

import os import json import sys from datetime import datetime1.账号注册，登陆验证2.写文章，包含【标题，作者，时间，内容】3.查询文章，列出所有文章及时间4.可查看其中一篇文章5.删除文章6.修改文章7.退出系统1.账号注册，登陆验证>>>...

原创 小数取整

向上取整使用ceil()函数 向下取整直接用int()函数 四舍五入用round()函数 例子： 对3.4和3.6进行取整： import math math.ceil(3.4) ——>结果是 4 math.ceil(3.6) ——>结果是 4 math.int(3.4) ——>结果是 3 math.int(3.6) ——>结果是 3 math....