- 博客(22)
- 收藏
- 关注
RSS订阅原创 SQL 触发器与WebApi回执
1.需求数据库表添加，修改，删除数据，触发器生效，推送数据数据到WCF接口2.可行方案2种，第一种创建数据库项目形式a)创建WCF服务，发布服务b)启用数据库CLR功能，默认是关闭状态EXEC sp_configure 'show advanced options' , '1';goreconfigure;goEXEC sp_configure 'clr enabled...
2018-09-15 22:47:18
3533
转载 数据库分区、分表、分库，读写分离
1.数据存储的演变 ①.单库单表 单库单表是最常见的数据库设计，例如，有一张用户(user)表放在数据库db中，所有的用户都可以在db库中的user表中查到。 ②.单库多表 随着用户数量的增加，user表的数据量会越来越大，当数据量达到一定程度的时候对user表的查询会渐渐的变慢，从而影响整个DB的性能。如果使用mysql, 还有一个更严重的问题是，当需要添加一列的时候，mysql会锁表，...
2018-09-08 00:10:46
1987
原创 WebSocket聊天室Demo
1.WebSocket定义 WebSocket协议是基于TCP的一种新的网络协议。它实现了浏览器与服务器全双工(full-duplex)通信——允许服务器主动发送信息给客户端。2.与Http协议区别 HTTP：超文本传输协议，首先它是一个协议，并且是基于TCP/IP协议基础之上的应用层协议。TCP/IP协议是传输层协议，主要解决数据如何在网络中传输，HTTP是应用层协议，主要解决如何包装数...
2018-09-07 22:46:59
589
翻译 关系型数据库篇（MSSQL）
1.前言 常用的数据库端使用总结下：数据库表设计规范，索引，SQL优化，系统表查询 1.设计数据库表遵循三范式 a)第一范式：确保每列保持原子性 b)第二范式：确保表中的每列都和主键相关 c)第三范式：确保每列都和主键列直接相关,而不是间接相关2.索引定义 唯一索引：唯一索引不允许两行具有相同的索引值，一个表可以设置多个唯一索引 聚集索引:表中各行的物理顺序与键值的逻辑（...
2018-09-06 22:18:01
944
原创 Asp.Net Core 应用管理系统
1.前言 由于工作需要，.NET技术不能丢，Python也的学啊！真是辛苦！ 最近一头扎进Python爬虫领域，搞了好长时间，好在学习到了很多使用的技术，首先是Linux环境下Python开发环境搭建，Linux常用命令，Scrapy框架已经能熟练使用了，包括常见的中间件使用，反爬技巧也差不多领略了，期间实现过京东模拟登陆，抓取一部分信息（非商用），模拟过淘宝的登陆，抓取妹子图片，英雄联盟的英...
2018-09-04 22:36:49
4173
3
原创 Python常见查找算法
1.关键字定义 查找（Searching）就是根据给定的某个值，在查找表中确定一个其关键字等于给定值的数据元素。 查找表（Search Table）：由同一类型的数据元素构成的集合 关键字（Key）：数据元素中某个数据项的值，又称为键值 主键（Primary Key）：可唯一的标识某个数据元素或记录的关键字2.查找表按照操作方式可分为： ①静态查找表 ...
2018-09-02 18:50:28
1354
原创 PC客户端数据分析工具Fiddler+Proxifer
开篇：要想实现写爬虫，抓取到数据，首先我们应该分析客户端和服务器的请求/响应，前提就是我们能监控到客户端是如何与服务器交互的，下面来记录下常见的三种情况下的抓包方法 1.PC端浏览器网页抓包 网页板抓包是最简单和常见的，比如Google/Firfox/IE等浏览器自带的开发者调试工具（F12）就可以满足一部分需求，如果在请求前和响应后最些处理，比如修改浏览器发出的请求数据和修改服务器相应的数据...
2018-09-02 01:56:29
73332
11
原创 Python实现常见排序算法速度比较
1.排序是计算机语言需要实现的基本算法之一，有序的数据结构会带来效率上的极大提升。 下面分类列举下常见排序算法： ①冒泡排序 冒泡排序的原理是对序列进行遍历，遍历过程中如果发现相邻两个元素，左边的元素大于右边，则进行交换，一次遍历之后最大的元素被移动到对尾，然后进行第二次遍历，直到队列有序。#冒泡排序def bubble_sort(list): l = len(list)...
2018-08-31 23:04:45
7649
原创 Selenium+PlantomJs模拟登陆
1.python抓取网页的过程中，有很多网页都是需要登陆后才可以进行信息采集，分析页面链接有的时候太费时间，因此引入了Selenium+PlantomJs实现模拟登陆，简单，方便实现登陆拿到cookies 2.实现思路分析 a)访问淘宝登陆页面 https://login.taobao.com/member/login.jhtml b)输入用户名，密码 c)登陆成功，cookies持久化...
2018-08-30 18:29:34
1350
转载 Selenium WebDerver API
1.浏览器操作 刷新 driver.refresh() 前进 driver.forward() 后退 driver.back()2.获取标签元素 通过ID定位目标元素 driver.find_element_by_id(‘i1’) 通过className定位目标元素 driver.find_element_by_class_name(‘c1’) 通过name属性定...
2018-08-30 14:11:22
376
原创 Scrapy框架微博头条更新
1.自定义需求 a)当前更新的微博头条内容，发送邮件通知 1.分析页面 a)访问微博主页：https://weibo.com/，记录cookies b)登陆链接请求 https://login.sina.com.cn/sso/login.php c)访问头条链接 https://d.weibo.com/623751_1 3.实现思路 a)微博模拟登陆，保存cookie信息 b)...
2018-08-29 22:29:13
742
原创 Scrapy框架整合英雄缩略图（APP）
1.自定义需求 英雄联盟的英雄皮肤，手机app查看太麻烦，一个个翻，看起来不够直观，想要实现按英雄名称文件夹命名，分类保存在本地，英雄的数据信息保存在数据库中，需求很简单吧！ 2.需求分析 a)根据英雄名称创建文件夹 b)根据英雄所有皮肤图片链接保存图片 c)英雄的属性信息保存MongoDb 3.实现思路 a)用到技术点：Fiddler抓包工具+Python语言+Scrapy框架+M...
2018-08-28 22:37:40
832
2
转载 Redis常用命令
返回主页 kevinws 代码改变世界 博客园 首页 联系 管理 Redis常用命令整理 doc 环境下使用命令：keys 命令 ? 匹配一个字符 * 匹配任意个（包括0个）字符 [] 匹配括号间的任一个字符，可以使用 "-" 符号表示一个范围，如 a[b-d] 可以匹配 "ab","ac","ad" \x 匹配字符x，用...
2018-08-28 12:07:23
209
原创 Scrapy常用的命令
1.查看帮助命令 scrapy -h scrapy –help2.查看版本信息 scrapy version scrapy version -v3.全局命令和项目命令文档截图 4.全局命令a)创建项目（startproject） scrapy startproject testproject b)创建蜘蛛，默认模板basic，一个项目可以创建多个蜘蛛(genspi...
2018-08-27 18:30:44
617
原创 Scrapy基础知识
1.定义 Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 2.执行流程图 3.组件简单理解 a).Scrapy Engine(引擎) Scrapy引擎负责整个框架的数据处理流程，并进行事务的出发，也就是什么时候触发什么事件，由它来进行分配调用。 b)...
2018-08-27 17:31:42
351
原创 virtualenv基本使用
1.实际开发过程中，有的项目用python2.7的，有的项目用python3.6的，安装的不同的第三方库也有不同版本的区别，为了解决各种库和版本之间的干扰，我们引入了virtualenv，虚拟沙箱这个概念。2.沙箱作用 在本地会创建一个环境，与这个环境外，系统内部环境互不干扰，可以为每一个项目创建一个单独沙箱，降低项目被其他项目污染3.安装 pip install virtualenv...
2018-08-24 07:38:52
256
原创 Redis安装配置环境变量
1.获取redis源 wget http://download.redis.io/releases/redis-4.0.8.tar.gz 2.解压文件 tar xzvf redis-4.0.8.tar.gz 3.安装 cd redis-4.0.8 make cd src make install PREFIX=/usr/local/redis 4.复制配置文件到指定目录 cd ...
2018-08-24 07:11:28
9017
1
转载 MongoDb常用命令
A.库操作 切换或使用数据库 use mymongodb 看所有的库 show dbs 删除当前使用数据库 db.dropDatabase() 克隆所有的库到当前连接 db.cloneDatabase(“192.160.1.1”) 复制指定的库 db.cloneDatabase(“sourcedb”,”targetdb”,”192.168.1.1”) 查看当前数据库 d...
2018-08-23 11:37:41
109
原创 MongoDb基本命令
1.启动服务（shell窗口保留） mongod2.连接服务 mongo3.创建数据库 use jddb db.jddb.insert({‘name’:’test’})4.删除数据库（本地文件也删除） db.dropDatabase()5.查看数据库列表 show dbs...
2018-08-23 11:27:55
148
原创 MongoDb安装教程
1.下载安装包 -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.0.6.tgz 2.解压 tar -zxvf mongodb-linux-x86_64-3.0.6.tgz 3.解压包移动到指定目录 mv mongodb-linux-x86_64-3.0.6/ /usr/local/mongodb 4.添加环境变...
2018-08-23 06:40:58
315
原创 Python模拟登陆
1.功能 豆瓣网的模拟登陆(有验证码的情况) 2.工具 Fiddler抓包工具+Google Chrome开发工具（F12）+Sublime Text 3.跳转分析 a)访问豆瓣网https://www.douban.com/，获取cookies b)通过持久化cookies获取图片验证码token，通过RequestsCookieJar记录cookies，没有使用requests.S...
2018-08-14 05:04:10
1926
1
原创 Python基础知识：观察者模式
A、工作背景: 之前从事的都是C#语言，也就是微软平台的C#.net或者是大家常说的asp.net，都是一个东西，基于.net framework 框架的语言。 个人感觉就是学的东西杂，单从技术方向来讲，从winform–>webform–>mvc/webapi–>net core mvc/api一路走来，前端js，Bootstrap和Juqery，Lay UI等各种UI，...
2018-08-07 03:41:26
233
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人