- 博客(114)
- 收藏
- 关注
RSS订阅原创 linux 技巧
linux 技巧 在 bash 里，使用 Ctrl-R 而不是上下光标键来查找历史命令。 如果要对一个已输入的命令进行修改，可以使用^a（ctrl + a）或^e（ctrl + e）将光标快速移动到命令的开头或命令的末尾 !! <== 复用上一条命令 !ec <== 复用上一条以 “ec” 开头的命令 !76 <== 复用命令历史中的 76 号命令 在 bash里，使用 Ctrl-W 来删除最后一个单词，使用 Ctrl-U 来删除一行 pst..
2021-05-12 16:14:18
218
2
转载 sklearn库主要模块功能简介
数据科学系列：sklearn库主要模块功能简介01 sklearn简介sklearn，全称scikit-learn，是python中的机器学习库，建立在numpy、scipy、matplotlib等数据科学包的基础之上，涵盖了机器学习中的样例数据、数据预处理、模型验证、特征选择、分类、回归、聚类、降维等几乎所有环节，功能十分强大，目前sklearn版本是0.23。与深度学习库存在pytorch、TensorFlow等多种框架可选不同，sklearn是python中传统机器学习的首选库，不存在其他竞争
2020-09-04 10:18:49
14299
5
转载 scp 和 rsync
一. scp 1、从本地复制到远程命令格式：scp local_file remote_username@remote_ip:remote_folder 或者 scp local_file remote_username@remote_ip:remote_file 或者 scp local_file remote_ip:remote_folder 或者 scp local...
2019-04-10 09:42:19
1390
1
原创 docker 基本命令
1. docker images | grep none | awk '{print $3}'| xargs docker rmi批量删除tag为"<none>"镜像2. docker rm $(docker ps -a -q) 删除所有停止的容器3. docker rmi $(docker images -q)删除所有的镜像4. Ctrl + ...
2019-04-08 17:14:24
191
原创 ubuntu 18.04 pytorch 的 cuda 环境搭建(亲测)
本人装的是410N卡驱动,cuda版本为10,cudnn版本为7.4.1,pytorch1.0.0一.下载N卡410驱动下载 cuda_10.0.130_410.48_linux.run N卡驱动版本至少410.48cudnn-10.0-linux-x64-v7.4.1.5.tgz 7.4.1版本对应cuda 10 需要注册账号pytor...
2019-01-22 19:03:49
5355
转载 nginx 性能原理浅谈
众所周知，nginx性能高，而nginx的高性能与其架构是分不开的。那么nginx究竟是怎么样的呢？这一节我们先来初识一下nginx框架吧。nginx在启动后，在unix系统中会以daemon的方式在后台运行，后台进程包含一个master进程和多个worker进程。我们也可以手动地关掉后台模式，让nginx在前台运行，并且通过配置让nginx取消master进程，从而可以使nginx以单进程方...
2018-09-17 20:46:51
1047
转载 python 定时任务框架APScheduler
APScheduler简介在平常的工作中几乎有一半的功能模块都需要定时任务来推动，例如项目中有一个定时统计程序，定时爬出网站的URL程序，定时检测钓鱼网站的程序等等，都涉及到了关于定时任务的问题，第一时间想到的是利用time模块的time.sleep()方法使程序休眠来达到定时任务的目的，虽然这样也可以，但是总觉得不是那么的专业，^_^所以就找到了python的定时任务模块APSchedule...
2018-09-17 19:53:30
413
转载 redis 五种数据类型和应用场景
redis提供了5中数据结构，理解每种数据结构的特点对于redis开发运维非常重要。 一、字符串字符串类型是redis最基础的数据结构，首先键是字符串类型，而且其他几种结构都是在字符串类型基础上构建的，所以字符串类型能为其他四种数据结构的学习尊定基础。字符串类型实际上可以是字符串（简单的字符串、复杂的字符串（xml、json）、数字（整数、浮点数）、二进制（图片、音频、视...
2018-09-04 21:39:21
27737
转载 python 实现排序算法
原文：http://wuchong.me/blog/2014/02/09/algorithm-sort-summary/经典排序算法在面试中占有很大的比重，也是基础，为了未雨绸缪，在寒假里整理并用Python实现了七大经典排序算法，包括冒泡排序，插入排序，选择排序，希尔排序，归并排序，快速排序，堆排序。希望能帮助到有需要的同学。之所以用Python实现，主要是因为它更接近伪代码，能用更少的代码...
2018-09-03 23:08:38
199
转载 socket详解
1、Socket 类型套接字格式：socket(family,type[,protocal]) 使用给定的地址族、套接字类型、协议编号（默认为0）来创建套接字。 socket类型 描述 socket.AF_UNIX 只能够用于单一的Unix系统进程间通信 socket.AF_INET ...
2018-09-03 19:51:06
719
转载 redis主从+哨兵模式
redis主从+哨兵模式主从模式配置分为手动和配置文件两种方式进行配置，我现在有192.168.238.128（CentOS1）、192.168.238.131（CentOS3）、192.168.238.132（CentOS4）几台机器，只是配置文件的配置方式是降手动配置的命令放在配置文件中而已，本质是一致的。下面将对配置文件方式进行配置，我所述的案例，是基于我自己的另一篇博文《Redis的安...
2018-08-19 14:49:43
4553
转载 vmware三种网络模式的工作原理及配置
原文来自http://note.youdao.com/share/web/file.html?id=236896997b6ffbaa8e0d92eacd13abbf&type=note 我怕链接会失效，故转载此篇文章由于Linux目前很热门，越来越多的人在学习linux，但是买一台服务放家里来学习，实在是很浪费。那么如何解决这个问题？虚拟机软件是很好的选择，常用的虚拟机软件有vmwa...
2018-08-09 15:50:38
2434
原创 elasticsearch 安装和使用简单入门
elasticsearch简写es，es是一个高扩展、开源的全文检索和分析引擎，它可以准实时地快速存储、搜索、分析海量的数据。什么是全文检索全文检索是指计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。...
2018-07-30 23:40:19
733
原创 数据结构与算法基础知识点
线性表（Linear List）是具有相同数据类型的数据元素的一个有限序列。通常表示为：（a1，a2，… ai，ai+1… an）线性表的顺序存储是指用一组地址连续的存储单元依次存放线性表的数据元素，这种存储形式的线性表称为顺序表。它的特点是线性表中相邻的元素在内存中的存储位置也是相邻的。由于线性表中的所有数据元素属于同一类型，所以每个元素在存储中所占的空间大小相同。优点：顺序存储结...
2018-07-30 20:35:55
2726
转载 linux shell 脚本语法
linux shell脚本编程基本语法Shell script是利用shell的功能所写的一个“程序”，这个程序是使用纯文本文件，将一些Linux Shell的语法与命令(含外部命令)写在里面，搭配正则表达式、管道命令与数据流重定向等功能，以达到我们所想要的处理目的。Shell script提供数组、循环、条件与逻辑判断等重要功能，让用户也可以直接以shell来编写程序，而不必使用类似C程序来...
2018-07-30 20:03:23
915
转载 python 使用 fabric
Fabric是什么?Fabric 是一个 Python的库和命令行工具，用来提高基于 SSH 的应用部署和系统管理效率。可以实现与远程服务器的自动化交互。Fabric底层基于paramiko模块。其特点即为简单高效，并且支持多线程。在需要运维数十台至几百台机器(视情况而定)的情况下非常好用。但如果需要运维上千台并不推荐使用Fabric，可以尝试使用saltstack。Fabric的使用...
2018-07-30 19:52:16
3817
原创 json 和 python 的相互转化，并保存json文件
import json# json数组转python列表json_array = '[1,2,3,4]'print(type(json_array))python_list = json.loads(json_array) # 转化为python 列表# 读取json文件并json数组转python列表fp = open('json_array.json', 'r')python...
2018-07-12 16:58:23
7603
原创 BeautifulSoup4 --解析和提取 HTML/XML 数据
1. BeautifulSoup41.1 BeautifulSoup4简介BeautifulSoup4和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。lxml 只会局部遍历，而Beautiful Soup 是基于HTML DOM的，会载入整个文档，解析整个DOM树，因此时间和内存开销都会大很多，所以性能要低...
2018-07-12 16:53:23
6686
原创 网络爬虫 lxml库--解析和提取 HTML/XML 数据
一、lxml库的使用我们利用它来解析 HTML 代码from lxml import etreetext = '''<div> <ul> <li class="item-0"><a href="link1.html">first item</a></li>
2018-07-12 15:39:20
4627
原创 网络爬虫 之 xpath语法 详解
选取节点XPath 使用路径表达式来选取 XML或HTML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。下面列出了最常用的路径表达式： 表达式 描述 nodename 选取此节点的所有子节点。 / 从根节点选取。 ...
2018-07-12 14:30:44
445
原创 http 常见的request 请求头,response 响应头,常见的http状态码
request 请求头1.Host (主机和端口号)Host：对应网址URL中的Web名称和端口号，用于指定被请求资源的Internet主机和端口号，通常属于URL的一部分。2.Connection (链接类型)Connection：表示客户端与服务连接类型Client 发起一个包含 Connection:keep-alive 的请求，HTTP/1.1使用 keep-alive 为默认值。 Con...
2018-07-12 14:10:43
14018
原创 网络爬虫 requests 的使用
1.get 请求import requestskw = {'wd':'美女'}headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"response = requests....
2018-07-12 12:01:42
628
原创 Handler处理器和自定义Opener,URLError和HTTPError
一、Handler处理器和自定义Opener1 opener是 urllib.request.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建好的）。urllib.request.urlopen()函数不支持验证、cookie或者其它HTTP高级功能。要支持这些功能，必须使用build_opener()函数创建自定义Ope...
2018-07-12 11:59:44
151
原创 网络爬虫 Handler处理器和自定义Opener,URLError和HTTPError
一、Handler处理器和自定义Opener1 opener是 urllib.request.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建好的）。urllib.request.urlopen()函数不支持验证、cookie或者其它HTTP高级功能。要支持这些功能，必须使用build_opener()函数创建自定义Ope...
2018-07-12 11:54:08
239
原创 简单爬虫入门
一、爬虫定义网络爬虫（又被称为网页蜘蛛，网络机器人，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。二、使用python做爬虫的好处1.php 对多线程、异步支持不够好，并发处理能力很弱。爬虫是工具性程序，对速度和效率要求比较高。2.Java 语言本身很笨重，代码量很大。 重构成本比较高，任何修改都会...
2018-07-12 11:47:22
225
原创 django 处理ajax
一、前端ajax请求1.get请求$(function () {$('#click1').click(function () {$.get("{% url 'articles:love_add' %}",{artid:{{article.id}}},function(callback){if(callback.status=='ok'){alert(' ')}else if(callbace.st...
2018-07-05 17:04:35
369
原创 django中间件，第三方验证码,配置发送邮件，配置404，500，以类的形式写视图函数
一、中间件当发出request请求时每一个请求都是先通过中间件中的 process_request 函数，这个函数返回 None 或者 HttpResponse 对象，如果返回前者，继续处理其它中间件，如果返回一个 HttpResponse，就处理中止，返回到网页上。每一个中间件有5种方法 process_request,process_view,process_except,process_te...
2018-07-05 16:34:59
614
原创 django 装饰器和分页器
一、装饰器(实现不登陆不能执行一些操作)1.django自带装饰器（不能实现登录后返回当前网页，不能处理ajax）from django,contrib.auth.decorators import login_required@login_required(login_url = '/users/user_login') 不能使用反向解析urldef 视图函数(request):2.建立装饰器...
2018-07-05 15:38:44
329
原创 django 用户表拓展，表单验证，图片显示
一、用户表拓展1.在users模块下的models.py 中from django.contrib.auth.models import Abstractuserclass UserProfile(Abstractuser):nick_name = models.Charfield(max_lenght=10,verbose_name='用户昵称')def __str__(self):retu...
2018-07-05 15:12:25
579
原创 diango admin 和 xadmin
一、django自带后台admin1.创建超级用户1.python manage.py createsuperuser输入用户名密码2.在网站主页后添加/admin，输入用户名密码进入后台3.注册模型类1.在app应用文件夹下models.py 中创建模型类 BanClass2.迁移同步模型类3.在app应用文件夹下admin.py 中admin.site,register(BanClass)...
2018-07-05 12:05:26
698
原创 django html页面 Template模板语法
Template模板语法10.1 If 基本语法10.1.1对象是否存在对象是否存在： str = ‘’{% if str%} {{ a }}{%else} {{ b }}{%endif}{% if not user_obj %}不存在{% endif %}10.1.2 对象是否为0判断对象空字符串：{% if not class_name_for_templa...
2018-06-14 11:31:19
13604
1
原创 django cookie 和 session
一、状态保持1.http协议是无状态的：每次请求都是一次新的请求，不是记得之前的通话状态2.客户端与服务器的一次通信，就是一次会话3.实现状态保持的方式：在客户端或服务器端存储与会话有关的数据4.存储方式包括cookie、session，会话一般指session对象5.使用cookie，所有数据存储在客户端，注意不要存储敏感信息5.推荐使用sesison方式，所有数据存储在服务器端，在客户端coo...
2018-06-14 11:18:58
238
原创 django ORM 数据库与数据模型类的解耦
一、ORM1.简介MVC包含了一个重要的框架ORM，实现了数据模型与数据库的解耦即数据模型的设计不需要依赖于特定的数据库2.ORM是“对象-关系-映射”的简称，主要任务是：1）根据对象的类型生成表结构2）将对象、列表的操作，转换为sql语句3）将sql查询到的结果转换为对象、列表二、django模型表的字段与约束字段CharField 字符串 （必须有字段约束，max_length=整数 ...
2018-06-14 11:08:51
1623
原创 django 模型类的常见字段约束，以及filter 过滤和查询
null 不设置时默认设置为False。设置为True时，数据库表字段中将存入NULL的记录。 null和blank组合使用，null=True,blank=True,表示该字段可以为空 blank 默认设置为False。设置为True时，表字段许可无任何输入。设置为False 时，表字段为必须输入的字段 choices 备选设置。选择列表选项，如果设置后，该字段的表单必然会是下拉选择...
2018-06-14 11:04:26
11290
原创 django 主子路由，路由传参，请求传参
一、主子路由1.主路由，当主路由很多的时候，效率变慢，维护起来相当麻烦2.项目文件夹中 urls.py 把主路由当作调度分发路由的工具，去分发子路由from django.conf.urls import url,includefrom django.contrib import adminfrom lol_hero.views import indexurlpatterns = [url(r'...
2018-06-14 10:58:05
2987
原创 django 入门
一、url 介绍统一资源定位符。是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。基本URL包含模式（或称协议）、服务器名称（或IP地址）、路径和文件名.例如：下面是新浪财经网，那么这个url的基本组成就是三个部分http://finance.sina.com.cn/第...
2018-06-14 10:56:55
154
原创 redis 基本操作
一、redis简介 Redis:REmote DIctionary Server(远程字典服务器)1.高性能的(key/value)分布式内存数据库，基于内存运行, 并支持持久化的NoSQL数据库，是当前最热门的NoSql数据库之一,也被人们称为数据结构服务器。2.特点：1.Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用2.不仅仅支持简单的key-v...
2018-06-01 21:03:29
247
原创 mongodb 与 python 交互
from pymongo import MongoClient #导入模块def main():#创建链接对象mongo=MongoClient(host="192.168.28.132",port=27017) #host为装mongodb的机器ip mongodb 默认端口 27017#链接数据库db=mongo["test"]#链接集合coll=db["students"]#fin...
2018-06-01 21:02:24
352
1
原创 mongodb 基本操作
一、非关系型数据库 NoSql not only sql优点：1.高可扩展性 2.分布式计算 3.低成本 4.架构的灵活性，半结构化数据 5.没有复杂的关系缺点：1.没有标准化 2.有限的查询功能（到目前为止） 3.最终一致是不直观的程序mongodb 文档存储 redis key-value存储二、MongoDB 简介1.基于分布式，文档存储的非关系型数据库2.M...
2018-06-01 21:01:49
206
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人