weixin_45086881的博客

原创 Redis常用命令

@[TOC]Redis常用命令1,数据库相关select 0 # 选择数据库 dbsize # 查看当前数据库大小flushdb # 清空当前数据库flushall # 清空所有数据库keys * # 查看所有的键值对exists key # 判断某个key是否存在move key db # 从数据库db移除keyexpire key seconds # 设置key过期时间ttl key # 查看key剩余时间 如果是-1,表示没有过期,如果是-2,表示key不存在type key

原创 jQuery事件整理

jQuery事件1，bind()2，blur()3，change()4，click()5，dbclick()6，delegate()1，bind()定义：为被选元素添加一个或多个事件处理程序，并规定事件发生时运行的函数。语法：$(selector).bind(event,data,function)参数：event 必需。规定添加到元素的一个或多个事件。由空格分隔多个事件。必须是有效的事...

原创 深度学习

https://www.zybuluo.com/hanbingtao/note/433855

转载 在Ubuntu18.04.2LTS上安装视频播放器smplayer/vlc

原文链接：http://www.cnblogs.com/zyrblog/p/11027014.html在Ubuntu18.04.2LTS上安装视频播放器smplayer/vlc一、前言在Ubuntu上的视频播放器质量很差，没有解码器，非常的不方便，于是我们需要手动去安装适合我们的播放器，比如smplayer,vlc等等。二、PPA源PPA是个人软件包文档（Personal Package...

原创 网易公开课－－金融市场０１

１，行为金融学，经济学需要思维开阔，跨学科领域的探索２，技巧都是通过实践得到的行为经济学错误心理:１，一厢情愿（Wishful thinking）：人们常常错误地相信自己想要相信的，比如相信自己喜欢的队伍能获胜，２，注意力异常：人们无法持久保持注意力，因注意力不集中而犯错，需要知道哪些是主次，注意力会受到社会背景的影响，人们倾向于关注那些其他人关注的事情。３，锚定效应：人们做定量估测时...

原创 Ubuntu安装mysql 初始化配置

1,首先查看初始密码：sudo vim /etc/mysql/debian.cnf找到文件中password字段即为初始密码2,用此密码登录mysql：mysql -u debian-sys-maint -p GHsacqwdq13564653,登录成功后更新密码：1.use mysql;2.update user set authentication_string=PAS...

原创 MongoDB--02

１，MongoDB基本概念？2，

原创 sklearn--svm

1,sklearn–svm模型1, SVM简介与使用流程？　　SVM方法建立在统计学VC维和结构风险最小化原则上，既可以用于分类（二/多分类）、　　也可用于回归和异常值检测。SVM具有良好的鲁棒性，对未知数据拥有很强的泛化能力，　　特别是在数据量较少的情况下，相较其他传统机器学习算法具有更优的性能。　　　使用SVM作为模型时，通常采用如下流程： 1，对样本数据进行归一化（数据标准化...

原创 机器学习----感知器

1,深度学习？人工智能领域，有一个方法叫机器学习。在机器学习这个方法里，有一类算法叫神经网络。神经网络如下图所示：1，一个圆圈就是一个神经元，神经元就是感知器2，输入层 隐藏层 输出层 构成神经网络,而隐藏层大于2的神经网络，就是深度神经网络3，事实上，一个仅有一个隐藏层的神经网络就能拟合任何一个函数，但是它需要很多很多的神经元2，感知器?如上图，就是一个感知器1，可...

原创 MongoDB--01

1，关系型(SQL)和非关系型(NoSQL)数据库?1,(SQL)关系型数据库事务遵循ACID原则A(atomicity):原子性,要么不做要么全做C(consistency):一致性，事务运行不会改变数据库原本一致性约束I(isolation):独立性，事务之间相互独立隔离，不影响D(durability):持久性，一旦事务提交，则永久保存在数据库2,(NoSQL)非关系型数...

原创 MySQL 小结

１，mysql:关系型数据库，跨平台，支持多种语言 （文件存储在　/var/lib/mysql） 服务端启动：sudo service mysql start 客户端链接：mysql -h(IP地址) -u用户名 -p 密码２，基本命令（库，表，表记录(create ,insert into )，表字段(alter)）３，日期时间运算：select * from 表名 wher...

原创 Shell 脚本02

1,多线程批量执行脚本(利用后台执行)2,正则表达式:(模糊匹配)使用一些特征来描述数据日志文件：根据IP匹配地区sed语法格式：sed [选项] '条件指令' 文件名1),选项 p==print d：delete =：打印匹配行的行号 -n 取消默认的完整输出，只要需要的 -e 允许多项编辑 -i 修改文件内容 (相当于保存...

原创 Shell脚本01

《Linux运维之道》　丁明一Shell与Python区别：Python是调用模块\通用的设计语言Shell是调用命令\Linux系统自动化维护1.Shell格式 扩展名一般是 .sh cat /etc/shells 查看Shell的解释器 正文第一行必须是解释器: #!/bin/bash或者#!/bin/sh #注释 调用命令的代码![在这里插入图片描述...

原创 Django小结02

1,数据库设置1,打开myproject/settings.py配置mysql数据库，需要添加密码,默认端口3306在myproject/ _ _init _ _.py中import pymysqlpymysql.install_as_MySQLdb()2,设置时区，添加应用INSTALLED_APPS的默认配置3,添加模型1,定义模型 ---- 本质上是拥有附加元...

原创 Django小结01

1，创建项目cd到要创建的项目的地方django-admin startproject myproject说明：1,外层的myproject/ : 根目录仅仅是项目的一个容器。2,manage.py：一个命令行工具，可以使你用多种方式对Django项目进行交互。3,内层的myproject/ : 目录是你的项目的真正的Python包。它是你导入任何东西时将需要使用的Python包的名...

原创 spider_day03

Day02回顾*爬取网站思路1、先确定是否为动态加载网站2、找URL规律3、正则表达式4、定义程序框架，补全并测试代码存入csv文件 import csv with open('xxx.csv','w') as f: writer = csv.writer(f) writer.writerow([]) writer.writerows([(),(),()])持...

原创 spider_day10

Day09回顾日志级别DEBUG < INFO < WARNING < ERROR < CRITICAL数据持久化存储(MySQL、MongoDB)1、settings.py : 定义相关变量2、pipelines.py : 新建类3、settings.py : 添加管道# 注意 ：process_item() 函数中一定要 return item...

原创 spider_day09

Day08回顾selenium切换句柄1、适用网站页面中点开链接出现新的页面，但是浏览器对象browser还是之前页面的对象2、应对方案# 获取当前所有句柄（窗口）all_handles = browser.window_handles# 切换到新的窗口browser.switch_to_window(all_handles[1])创建项目流程1、scrapy startp...

原创 spider_day08

多线程爬虫使用流程# 1、URL队列q.put(url)# 2、线程事件函数while True: if not url_queue.empty(): ...get()、请求、解析 else: break# 创建并启动线程t_list = []for i in range(5): t = Thread(target=par...

原创 spider_day07

Day06回顾cookie模拟登陆1、适用网站类型: 爬取网站页面时需要登录后才能访问，否则获取不到页面的实际响应数据2、方法1（利用cookie） 1、先登录成功1次,获取到携带登陆信息的Cookie（处理headers） 2、利用处理的headers向URL地址发请求3、方法2（利用session会话保持） 1、实例化session对象 session ...

原创 spider_day06

Day05回顾动态加载网站数据抓取1、F12打开控制台，页面动作抓取网络数据包2、抓取json文件URL地址# 控制台中 XHR ：异步加载的数据包# XHR -> Query String(查询参数)有道翻译流程梳理1. 打开首页2. 准备抓包: F12开启控制台3. 寻找地址 页面中输入翻译单词，控制台中抓取到网络数据包，查找并分析返回翻译数据的地址4. 发现...

原创 spider_day05

Day04回顾requests.get()参数1、url2、params -> {} ：查询参数 Query String3、proxies -> {} proxies = { 'http':'http://1.1.1.1:8888', 'https':'https://1.1.1.1:8888' }4、auth -> ('tarenaco...

原创 spider_day04

Day03回顾目前反爬总结基于User-Agent反爬1、发送请求携带请求头: headers={'User-Agent' : 'Mozilla/5.0 xxxxxx'}2、多个请求随机切换User-Agent 1、定义列表存放大量User-Agent，使用random.choice()每次随机选择 2、定义py文件存放大量User-Agent，使用random.choic...

原创 spider_day02

Day01回顾请求模块(urllib.request)req = request.Request(url,headers=headers)res = request.urlopen(req)html = res.read().decode('utf-8')编码模块(urllib.parse)1、urlencode({dict}) urlencode({'wd':'美女','pn...

原创 spider_day01

王伟超[email protected]笔记网络爬虫概述定义网络蜘蛛、网络机器人，抓取网络数据的程序。其实就是用Python程序模仿人点击浏览器并访问网站，而且模仿的越逼真越好。爬取数据目的1、获取大量数据，用来做数据分析2、公司项目的测试数据，公司业务所需数据企业获取数据方式1、公司自有数据2、第三方数据平台购买(数据堂、贵阳大数据交易所)...

原创 redis_day04_note

day04笔记Redis事务(弱事务机制)特点1. 单独的隔离操作：事务中的所有命令会被序列化、按顺序执行，在执行的过程中不会被其他客户端发送来的命令打断3. 不保证原子性：redis中的一个事务中如果存在命令执行失败，那么其他命令依然会被执行，没有回滚机制事务命令1、MULTI # 开启事务2、命令1 # 执行命令3、命令2 ... ...4、EXEC # 提交到数据库...

原创 redis_day03_note

redis_day02回顾五大数据类型1、字符串类型（string）2、列表类型（list）3、哈希类型（hash）4、集合类型（set）5、有序集合类型（sorted set）位图操作（bitmap）# 应用场景1、可以实时的进行数据统计（网站用户的上线次数统计）# 常用命令1、setbit key offset value2、BITCOUNT key哈希（散列）类...

原创 redis-day02-note

1,位图操作 bitmap定义1,位图不是真正的数据类型，它是定义在字符串类型中2,一个字符串类型的值最多存储512M字节的内容，位上限：2^323,1M=1024K4,1K=1024Byte(字节)5,1Byte=8bit(位)强势点可以实时进行统计，极其节省空间常用命令1,# 设置某一位上的值(offset是偏移量，从0开始)setbit key of...

原创 redis-day01-note

王伟超[email protected]１，Redis介绍特点及优点mysql基于磁盘,关系型　　redis非关系型，基于内存(基于内存意味着服务器或者主机重启，数据就没有了)1,开源的，使用C语言编写，基于内存且支持持久化2,高性能的key-value的NoSql（非关系型）数据库3,支持的（value）数据类型丰富，字符串(str)，散列(hashes),列表(list...

转载 Liunx CentOS安装

原创 token的生命周期

用户未登录１，前端　肯定没有token用户执行注册/登录1,一旦基础数据校验成功，后端生成token，并且token包含此次　注册/登录 用户的用户名　并通过　JsonResponse返回给前端 2,前端拿到返回的token后，存入浏览器本地存储 方法如下：　window.localStorage.setItem('dnblog':token)用户每次访问博客页面 【flask 前...

原创 函数高级内容 和 lambda 表达式

函数本身也是一个对象，所以函数既可以用于赋值，也可以用作其他函数的参数，还可以作为其他函数的返回值。def pow(base,exponent): result=1 for i in range(1,exponent+1): result*=base return resultmyfun=powprint(myfun(3,4)) # -> 81# 通过函数赋值，可...

原创 CORS跨域资源共享 实现前后端分离

示例CORS 跨域资源共享django-cors-header 实现CORS跨域的插件1，什么是CORS​ 允许浏览器向跨源(协议 + 域名 + 端口)服务器，发出XMLHttpRequest请求，从而克服了AJAX只能同源使用的限制2，特点​ 1，浏览器自动完成（在请求头中加入特殊头 或 发送特殊请求）​ 2，服务器需要支持（响应头中需要有特殊头）3，简单请求...

原创 Ajax

赵旭[email protected],Ajax1,什么是Ajax?　（做web的请求跟响应）Asynchronous Javascript And Xml (异步的JS和Xml)　　异步的同步访问：当客户端向服务器发送请求时，服务器在处理的过程中，浏览器只能等待异步访问：当客户端向服务器发送请求时，服务器在处理的过程中，浏览器无需等待，可以做其他的操作2,Ajax的优点１，异步访问...

转载 django教程day06

《Django 教程》讲师: 魏明择时间: 2019目录数据表关联关系映射 Relationship Map一对一映射一对多映射多对多映射cookies 和 session(会话)cookiessession 会话中间件 Middleware跨站请求伪造保护 CSRFDjango中的forms模块Django之form表单验证数据表...

转载 Django教程08

《Django 教程》讲师: 魏明择时间: 2019目录文件上传Django中的用户认证 (使用Django认证系统)auth基本模型操作:Web请求中的认证项目部署WSGI Django工作环境部署uWSGI 网关接口配置nginx 反射代理配置nginx 配置静态文件路径404 界面文件上传文件上传必须为POST提交方式表单&lt...

原创 Django教程07

1,中间件(MIDDLEWARE)1,定义：中间件是 Django 请求 / 响应处理的钩子框架。它是一个轻量级的、低级的 “ 插件 ” 系统,　　　　用于全局改变Django 的输入或输出。2,作用：每个中间件组件负责做一些特定的功能。用于一些权限设置和逻辑处理（比如反爬虫）3,说明： a,中间件类须继承自 django.utils.deprecation.MiddlewareMixi...

原创 django教程05

１，对字段的查询和逻辑操作F对象定义：一个Ｆ对象代表数据表中某个字段作用：执行过程中获取某列的值,当同时对数据库中两个字段的值 进行比较获取 QuerySet 数据集时，便可用F对象语法：from django.db.models import F F('字段名')示例：# 对数据库中两个字段的值进行比较，列出哪些书的零售价高于定价?from django.db.model...

转载 django图书管理实验案例

《Django 教程》讲师: 魏明择时间: 2019目录创建数据对象实验案例讲解目标了解Django框架开发的基本步骤能够搭建网站来保存图书数据信息,能实现图书信息的添加，删除,修改，查看操作基本操作基本功能:添加图书，查看所有图书，修改图书售价，删除图书MySQL 数据库名命名为: my_bookstore基本步骤为:创建工程配置数据库创建 bo...

转载 django教程04

《Django 教程》讲师: 魏明择时间: 2019目录数据库迁移的错误处理方法当执行 $ python3 manage.py makemigrations 出现如下迁移错误时的处理方法错误信息$ python3 manage.py makemigrationsYou are trying to change the nullable field 'title' on ...