Spring Lee的博客

原创 读书： mysql技术内幕 innodb存储引擎

第一章： 体系结构和存储引擎mysql --help|grep my.cnf存储引擎是基于数据库的，而不是表innodb ： 在线事务处理 oltp，定义没有显示主键时，rowid后台生成作为主键查看支持的存储引擎：show engines\G;复制表：create table xixi_bak engine=myisam as select * from ...

原创 读书：深入浅出MySQL++数据库开发、优化与管理维护+第2版

第一部分 基础篇一 mysql安装与配置windows安装：安装选项： 多功能数据库（innodb，myisam都友好） 事务数据库（innodb友好，myisam也支持） 非事务数据库（不能用innodb）启动关闭 net start/stop mysqlLinux启动和关闭： servie mysql stop二 sql基础mysql> sho...

原创 Mysql 基础知识（详细）

目录DBA之禅0、SQL概要1、环境配置2、登陆3、建库建表如何选择 MySQL 存储引擎4、简单查询5、聚合、分组查询6、数据更新7、视图8、函数，谓词，case表达式9、联结表、组合查询10、全文本搜素11、存储过程12、容灾备份13、mysql日志DBA之禅一名合格的DBA所应遵循的四个生存守则（转...

转载 互联网数据分析

第一周：Excel学习掌握Excel函数不需要学全，重要的是学会搜索数据透视表的核心思想是聚合运算，将字段名相同的数据聚合起来，所谓数以类分。 第二周：数据可视化常见的多元分析，你能用Excel很轻松的完成？但是在IPython只需要一行代码。第三周：分析思维的训练SMART、5W2H、SWOT、4P理论、六顶思考帽等框架分析也是有框架和方法论的，主要围绕三个...

原创 运营

运营知识体系的构建技巧主要是三大技巧：抽象、关联（分类）、演绎（腿短）。PV：Page View，页面访问量，也就是曝光量。UV：Unique Visitor，独立访客数，同一个访问多次访问也只算1个访客。通常情况下是依靠浏览器的cookies来确定访客是否是独立访客（之前是否访问过该页面），在同一台电脑上使用不同的浏览器访问或清除浏览器缓存后重新访问相同的页面，也相当于不同的访客在访...

原创 pandas查看数据

保存到数据库（缺点好像是存在内存的）

转载 py写csv文件

 from bs4 import BeautifulSoupimport requestsimport csvimport timefrom fake_useragent import UserAgentua = UserAgent(verify_ssl=False) #随机代理url = "http://cd.58.com/pinpaigongyu/pn/{page}/?mi...

转载 python批处理^_^

转载 爬虫请求头伪装

# 安装 fake_useragentpip install fake_useragent#使用from fake_useragent import UserAgent……'User-Agent': str(UserAgent().random), 

原创 HTTP协议向服务器传参有几种途径？

利用HTTP协议向服务器传参有几种途径？查询字符串（query string)，形如key1=value1&key2=value2； 请求体（body）中发送的数据，比如表单数据、json、xml； 提取uri的特定部分，如/blogs/2016/09/0001，可以在服务器端的路由中用正则表达式截取； 在http报文的头（header）中增加自定义字段，如X-XSRFToken...

转载 python打包成exe

原文：python3.6打包成exe可执行文件，已解决方案1、pip install pyinstaller2、注意新建单独文件夹，会生成乱七八糟的文件，导入尽量不要*，不然很大     新建TreeDraw.py文件#来自廖雪峰老师官网from turtle import *# 设置色彩模式是RGB:colormode(255)lt(90)lv = 14l = 120...

原创 python自动化测试

  web自动化和selenium自动化三、Python自动化测试学习路线第一步：先学python ------- python不过关，别谈自动化。 第二步：Selenium框架 第三步：unittest框架 第四步：项目 第五步：Robot Framwork框架 如果只学习Robot Framwork，通过这个来做自动化，别以为不要学习Selenium跟...

原创 Python Flask Web框架

https://dormousehole.readthedocs.io/en/latest/foreword.htmlFlask没有默认使用的数据库、窗体验证工具。然而，Flask保留了扩增的弹性，可以用 Flask-extension 加入这些功能：ORM、窗体验证工具、文件上传、各种开放式身份验证技术。1、虚拟环境2、路由 ulrs   斜线只可少写不可多写3、模板渲染...

原创 读书:大话数据结构

第1 章数据结构绪论数据结构;是相互之间存在一种或多种特定关系的数据元素的集合。数据:是描述客观事物的符号，是计算机中可以操作的对象，是能被计算机识别，并输入给计算机处理的符号集合。数据不仅仅包括整型、实型等数值类型，还包括字符及声音、图像、视频等非数值类型。逻辑结构与物理结构逻辑结构:是指数据对象中数据元素之间的相互关系。集合，线性，树形，图形物理结构:是指数据...

原创 不用写代码的爬虫课

1、插件安装 链接：webscraper插件 提取码：t6ex2、打开1. windows, linux：Ctrl+Shift+I 或者 f12, 或者 Tools / Developer tools2. mac： Cmd+Opt+I, 或者 Tools / Developer tools3. 或者：右键——> 审查元素使用步骤（通⽤用）step1：打开软件s...

原创 Python遇到过得text和text（）

 1、BeautifulSoup中的.text方法和get_text()方法的区别如果你想要用text值，应该调用对应的get_text()，'cate': list(cate.stripped_strings)     obj.stripped_strings：高级的get_text()  ,外面加list可以列表化soup.title# <title>The D...

转载 Python yield 使用浅析-生成器

# 通过`yield`来创建生成器def func(): for i in range(10): yield i>>> f # 此时生成器还没有运行<generator object func at 0x7fe01a853820>>>> f.__next__() # 当i=0时，遇到yield关键字，直接返回0&g...

转载 正则表达式中零宽断言的用法

 原文：静觅 » 正则表达式中零宽断言的用法#coding=utf-8import retext='''问：我用的是Windows XP+Service Pack 2，为什么无法安装输入卡号和密码的控件？ 答：在Windows XP+Service Pack 2、Windows 2003等操作系统中，用户可以自己选择是否安装控件。 问：为什么我看到的卡号输入框显示为*符号？ 答：...

转载 if __name__ == "__main__"案例理解

1、one.py#coding=utf-8# file one.pydef func(): print("我是one.py的函数")print('')print("one.py外面的")if __name__ == "__main__": print("one.py main里面的")else: #其他导入会执行，类似测试吧 print("one.py ...

原创 读书：TCP-IP详解卷1：协议

第一章：概述 链路层 见图1-4：（1）为IP模块发送和接收IP数据报；（2）为A R P模块发送A R P请求和接收A R P应答；（3）为R A R P发送R A R P请求和接收R A R P应答                                      链网传音                          路由器参与的层次（路由...

原创 几次尝试

记几次面试经历……小心骗子，小心中介，要有自己头脑！！！第一次产品生命周期（product life cycle），简称PLC，是指产品的市场寿命。任何一项产品的制造完成，都经过一段自刻意的构思到制造完成进入被使用的过程，这个过程，可以说是此产品的「生命周期」。产品生命周期（plc），是指一种产品从原料、零件的采集、制备、观念设计、初步设计、细部设计、生产设计与规划、产品制造和加工、包...

原创 Linux就该这么学笔记

Linux就该这么学  刘遄由最新的Linux系统RHEL 7编写而成，从零基础带领读者入门Linux系统，然后渐进式地提高内容难度，使其匹配生产环境对运维人员的要求。第0章 咱们先来谈谈学习方法和红帽系统。开源共享精神 GNU GPL（GNU General Public License，GNU通用公共许可证）BSD（Berkeley Software Distributio...

原创 Python3爬虫三大案例实战分享之Selenium+Chrome/Headless Chrome

知识点：高人：selenium+headless chrome爬虫  爬虫的代码有一点需要注意，需要操作事件的时候最好不要直接用相应的方法，比如click。最好嵌入js脚本的方式进行调用。因为爬虫的代码执行速度很快，前端元素结构往往反应不过来，从而找出元素不可见或者不存在的错误。province_items = DRIVER.find_element_by_class_name("c...

原创 读书：python核心编程第三版笔记

message = 'It was a bright cold day in April, and the clocks were striking thirteen.'count = {}for character in message: count.setdefault(character, 0) count[character] = count[character] +...

原创 黑马程序员django课程

学习注意事项：建议学习过程中注意两点：为每一个项目建立虚拟环境，建立相对独立的开发环境 严格按照学习资料的版本进行开发。 先在知乎找资料，然后再学 MVT框架m表示model，负责与数据库交互 v表示view，是核心，负责接收请求、获取数据、返回结果 t表示template，负责呈现内容到浏览器虚拟环境使用Python进行项目开发时，由于不同的项目需要，可能会配置...

转载 出来工作之后，找不到在学校里学习的那种动力了

出来工作之后，找不到在学校里学习的那种动力了规范，像工业产品一样认真对待。今天种的树，明天才会结果子。     什么技术都想学，什么都学不下去，angularjs 因为项目需要，自学了一点，没往下继续学。 php 看了一小点教程，什么都没写出来，不学了 python 写了个简单到不能再简单的破爬虫，又不学了。 看 vue 那么吊，环境配好了，学不下去了。 html5 看了一些标签的用法...

原创 读书：深入理解计算机网络

nat转换后外网一个ip不同端口pc基础知识 计算机网络系统组成:硬件+软件远程演示，想起了教师机的远程演示。 计算机网络体系结构    通信子网:用来传输             资源子网:用来制造数据资源子网:由计算机系统、终端系统、连网的外围设备、各种软件资源与信息资源组成通信子网:局域网的通信子网由网卡、线缆、集线器、中继器、网...

转载 python 爬虫 XPath

高手：python3解析库lxmlXPath (XML Path Language) 是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进行遍历。它最初是用来搜寻 XML 文档的，但是它同样适用于 HTML 文档的搜索。原文：痴海XPath 的选择功能十分强大，它提供了非常简洁明了的路径选择表达式。另外，它还提供了超过 100 个内建函数，用于字符串、数值...

原创 Python操作三大主流库

核心：学会看文档，百度，英文也得硬着头皮看关系型:1、MySQL （类似excel）2、SQL Server:SQL Server是由微软开发的数据库管理系统，是Web上最流行的用于存储数据的数据库，它已广泛用于电子商务、银行、保险、电力等与数据库有关的行业。目前最新版本是SQL Server 2005，它只能在Windows上运行，操作系统的系统稳定性对数据库十分重要。3、O...

原创 读书：编码——隐匿在计算机软硬件背后的语言上

摩斯密码摩斯密码是由”.”(短音)与”-”(长音)所组成的，短促的点信号" ．"，读" 的 "（Di）；保持一定时间的长信号"—"，读"答 "（Da）。手指敲击：用手指甲尖敲击，声音清脆代表（滴·）；用手指的肉敲击，声音沉闷代表（哒-） I LOVE YOU        ..   .-.. --- ...- .   -.-- --- ..-    2房间简单通信：...

原创 大数据基础——统计学

统计基础知识平均数 中位数中间(a+b)/2   众数aaa极差max-min，差距大分的开 中程数(max+min)/2象形统计 图片显示数据条形图 直观，对比，归类线形图 看趋势（起点小心坑，非0）饼图 看比例，占有率茎叶图 共用十位，篮球比赛球员计分，看分布情况箱线图  1 2 2 3 21   作用识别异常值。数据清洗中，作用很大看中位数，中位数分隔，接着中位数分隔...

原创 网络安全-信息收集专题

 渗透测试：渗透测试，是为了证明网络防御按照预期计划正常运行而提供的一种机制。不妨假设，你的公司定期更新安全策略和程序，时时给系统打补丁，并采用了漏洞扫描器等工具，以确保所有补丁都已打上。如果你早已做到了这些，为什么还要请外方进行审查或渗透测试呢？因为，渗透测试能够独立地检查你的网络策略，换句话说，就是给你的系统安了一双眼睛。而且，进行这类测试的，都是寻找网络系统安全漏洞的专业人士。 ...

原创 大鹏教你python数据分析

 出差中…………，换pc了，没有开发环境，看看其他口味的课程 数据工作流抛出问题——数据——数据研究——问题结论——解决方案用py用py来分析数据，结合很多包，py类比手机，安装不同app就是安装不同的包知道2神器，火车头，Gephi。数据采集与分析火车头简单教程：A、网址识别  （*）强大的变量，和bs4一样，唯一定位即可原理：超链接 ...

原创 黑马python2.7的爬虫4-Scrapy框架

期末考试了，出差，不晓得有没有时间写哦，先开个头

转载 Python爬虫黑科技(经验)

"作为一名爬虫工程师，你最需要关注的，是数据的来源"原文：https://www.jb51.net/article/90114.htm霍夫曼编码压缩算法1.最基本的抓站import urllib2content = urllib2.urlopen('http://XXXX').read()2.使用代理服务器这在某些情况下比较有用，比如IP被封了，或者比如IP访问的次数受...

原创 黑马python2.7的爬虫3- 动态HTML处理和机器图像识别

关于爬虫部分一些建议：尽量减少请求次数，能抓列表页就不抓详情页，减轻服务器压力，程序员都是混口饭吃不容易。不要只看 Web 网站，还有手机 App 和 H5，这样的反爬虫措施一般比较少。实际应用时候，一般防守方做到根据 IP 限制频次就结束了，除非很核心的数据，不会再进行更多的验证，毕竟成本的问题会考虑到。(代理ip）如果真的对性能要求很高，可以考虑多线程(一些成熟的框架如 Scrapy都已支持)...

原创 黑马python2.7的爬虫2-非结构化数据与结构化数据提取

非结构化数据与结构化数据提取

原创 黑马python2.7的爬虫1- 爬虫原理与数据抓取

1、使用的IDE和编辑器IDE：PyCharm 、 Visual Studio编辑器：Vim 、Sublime Text等抓包工具：fiddler python需要导入各种各样强大的库教程基于python2.7版本的2、Python爬虫，我们需要学习的有1. Python基础语法学习（基础知识）2. HTML页面的内容抓取（数据抓取）3. HTML页面的数据提取（数据清洗）4. Scrapy框架以...

原创 马哥：linux云计算从入门到精通笔记

前言Linux可安装在各种计算机硬件设备中，比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。互联网Linux运维工作，以服务为中心，以稳定、安全、高效为三个基本点，确保公司的互联网业务能够7×24小时为用户提供高质量的服务。运维的职责覆盖了产品从设计到发布、运行维护、变更升级及至下线的生命周期。                              ...

原创 HTTP代理神器Fiddler

高手文章：fiddler pc https 抓包   评论也有干货，哈哈专业全教程：雨水的早晨的博客   1、抓包工具有很多,为什么要使用Fiddler呢?a.Firebug虽然可以抓包，但是对于分析http请求的详细信息，不够强大。模拟http请求的功能也不够，且firebug常常是需要“无刷新修改”，如果刷新了页面，所有的修改都不会保存。b.Wireshark是通用的抓包工...