- 博客(63)
- 收藏
- 关注
RSS订阅原创 scrapy框架
文章目录scrapy框架的结构图：douban：items：setting：pipelines：scrapy框架的结构图：实际操作：在用scrapy框架时先pip install acrspy，下载好后创建工程，比如创建一个爬豆瓣电影的工程：scrapy startproject DouBan创建爬虫程序：cd DouBan/scrapy genspider douban ‘douba...
2019-08-28 00:20:57
315
原创 使用API
文章目录API的使用API使用方法API验证解析JSON数据API的使用现在API是越来越多，一些“成熟”的网站都会为自己构造API为使用者或开发者提供使用，例如可以通过百度地图API进行查询路线，定位坐标等。通过一些音乐API查询歌手信息、歌词下载等。通过翻译API进行实时翻译多国语言。甚至可以花一点费用去APIStorehttp://apistore.baidu.com/上购买API服...
2019-08-26 17:07:04
218
原创 Xpath语法和lxml库
文章目录XPath简介选取节点谓语（Predicates）选取未知节点XPath的运算符lxml库解析 HTML 代码文件读取实例测试XPath简介XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进 行遍历。XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统...
2019-08-26 16:48:15
237
原创 正则表达式
文章目录正则表达式简介正则表达式匹配规则re模块compile 函数Pattern 对象Match 对象范例常见格式分组位置分组分割批量替换正则案例：正则表达式简介为什么要学正则表达式？实际上爬虫一共就四个主要步骤：明确目标 (要知道你准备在哪个范围或者网站去搜索)爬 (将所有的网站的内容全部爬下来)取 (去掉对我们没用处的数据)处理数据（按照我们想要的方式存储和使用）我们do...
2019-08-26 16:21:48
27406
8
原创 爬虫基础
文章目录通用爬虫和聚焦爬虫通用爬虫和聚焦爬虫根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种.通用网络爬虫 是 捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网 页下载到本地，形成一个互联网内容的镜像备份。通用搜索引擎（Search Engine）工作原理：通用网络爬虫 从互联网中搜集网页，采集信息，这些网页信息用于为搜索引擎建...
2019-08-08 15:00:09
182
原创 多变量线性回归
文章目录概念实际操作概念标注n : 特征的数量x(i) : 表示第i个样本x(i)j : 表示第i个样本的第j个特征模型： 之前： hθ(x) = θ0 + θ1x 现在： hθ(x) = θ0 + θ1x1 + θ2x2 + … + θnxn 为了保证模型的统一性，我们给模型加上x0 ，并使 x0 = 1 hθ(x) = θT x 多元梯度下降法模型：...
2019-08-05 23:15:33
164
原创 线性回归
文章目录概念实际操作概念在机器学习中有分类和回归俩中预测方法分类：就是确定就几种类别，然后预测，就像性别男，女回归：没有确定的分类，是个一直变的值，就像股票的走势本章主要说一下线性回归回归的理解：大自然让我们回归到一定的区间范围之内；反过来说就是，有一个平均的水平，可以让突出的事物能向他靠拢。那些高个子的后代的身高，有种回归到大众身高的趋势 ...
2019-08-05 17:22:18
226
原创 js和jQuery
js、html、css 的作用：js：与用户交互，数据交换（行为）html：骨架css：装饰js是前端的一门编程语言1. 基本语法 1). 定义变量: var 变量名='value'; 2). 判断相等? ==: 值是否相等 ===: 类型和值是否相等; 3). 判断语句 ...
2019-08-02 17:33:47
129
原创 js和jQuery练习
html 中 title 属性和 alt 属性的区别? alt属性是在你的图片因为某种原因不能加载时在页面显示的提示信息，它会直接输出在原本加载图片的地方， 而title属性是在你鼠标悬停在该图片上时显示一个小提示，鼠标离开就没有了，有点类似jQuery的hover请说出几个常用的块级元素和行内元素. div、p等最常见的块级元素 span、a等最常见的行内元素 块级元素...
2019-08-02 16:09:57
333
原创 css层叠样式表单
练习做一个简单的导航条代码：<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title> <style type="text/css"> * {...
2019-08-01 00:53:21
1143
原创 HTML超文本标记语言
1.Web前端开发介绍这里介绍一些wed开发技术：Web起源：1984年蒂姆伯纳斯李创造了世界上第一个万维网导航站点世界上第一个网站Web的特点：1.易导航和图形化界面2.与平台无关3.分布式结构4.动态性5.交互性Web工作原理，这里只讲最简单最基本的，实际上的原理远比这个复杂URL统一资源定位器可以理解为网址。构成如下：协议类型：//服务器地址（端口号）/路径...
2019-07-29 11:00:17
1240
原创 动态归划
1.动态规划动态规划(dynamic programming)是运筹学的一个分支，是求解决策过程(decision process)最优化的数学方法。2.动态规划之Fib数列 有个小孩上楼梯，共有N阶楼梯，小孩一次可以上1阶，2阶。走到N阶楼梯，一共有多少种走法？DP之自顶向下分析方式：爬到第N阶楼梯，一共只有2种情况(全划分，加法原理)，从第N-1阶爬1阶到第N阶；从第N-2阶爬2阶...
2019-07-24 23:31:43
507
原创 常见网络编程面试题
1.简述OSI七层协议应用层、表示层、会话层、运输层、网络层、数据链路层、物理层2.简述TCP/IP四层协议应用层、运输层、网际层、网络接口层3.tcp和udp的区别4.tcp连接建立3次握手的具体过程，以及其中每一步是为什么第一次握手是客户端connect连接到server，server accept client的请求之后，向client端发送一个消息，相当于说我都准备好了...
2019-07-24 14:18:27
1067
原创 网络编程
1.网络通信概论使⽤网络的⽬的:1.联通多⽅然后进⾏通信⽤的，即把数据从⼀⽅传递给另外⼀⽅2.⽤网络能够把多⽅链接在⼀起，然后可以进⾏数据传递3.网络编程就是，让在不同的电脑上的软件能够进⾏数据传递，即进程之间的通信。2.tcp/ip协议如何实现网络通信?协议有的说英语，有的说中⽂，有的说德语，说同⼀种语⾔的⼈可以交流，不同的语⾔之间就不⾏了 为了解决不同种族⼈之间的语⾔沟通障碍，现...
2019-07-24 11:12:47
165
原创 多进程编程
1.进程的创建编写完毕的代码，在没有运⾏的时候，称之为程序正在运⾏着的代码，就成为进程注意: 进程，除了包含代码以外，还有需要运⾏的环境等，所以和程序是有区别的进程的五状态模型创建⼦进程Python的os模块封装了常⻅的系统调⽤，其中就包括fork，可以在Python程 序中轻松创建⼦进程："""代码描述: 1). Unix/Linux操作系统提供了一个fork()系统...
2019-07-22 15:42:37
290
原创 多任务编程
1.多任务编程有很多的场景中的事情是同时进⾏的，⽐如开⻋的时候 ⼿和脚共同来驾驶汽⻋，再⽐如唱歌跳舞也是同时进⾏的；什么叫“多任务”呢？就是操作系统可以同时运⾏多个任务。打个 ⽐⽅，你⼀边在⽤浏览器上⽹，⼀边在听MP3，⼀边在⽤Word赶作业，这就是多任务，⾄少同时有3个任务正在运⾏。还有很多任务悄悄地在后台同时运 ⾏着，只是桌⾯上没有显示⽽已。单核CPU如何实现“多任务”呢？操作系统轮...
2019-07-22 11:30:35
370
原创 Redis编程
1.Redis简介NoSQL，全名为Not Only SQL，指的是非关系型的数据库随着访问量的上升，网站的数据库性能出现了问题，于是NoSQL被设计出来优点:高可扩展性 分布式计算 低成本架构的灵活性，半结构化数据 没有复杂的关系缺点:没有标准化有限的查询功能最终一致是不直观的程序 Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Ke...
2019-07-22 11:16:42
104
原创 对象关系映射SQLAlchemy
1.简介什么是ORM?ORM，即Object-Relational Mapping（对象关系映射），它的作用是在关系型数据库和业务实体对象之间作一个映射，这样，我们在具体的操作业务对象的时候，就不需要再去和复杂的SQL语句打交道，只需简单的操作对象的属性和方法。SQLAlchemy是Python编程语言下的一款开源软件。提供了SQL工具包及对象关系映射（ORM）工具，为高效和高性能的数据库访...
2019-07-22 10:30:32
180
原创 关系型数据库MySQL
1.数据库简介人类在进化的过程中，创造了数字、文字、符号等来进行数据的记录，但是承受着认知能力和创造能力的提 升，数据量越来越大，对于数据的记录和准确查找，成为了一个重大难题.计算机诞生后，数据开始在计算机中存储并计算，并设计出了数据库系统数据库系统解决的问题：持久化存储，优化读写，保证数据的有效性当前使用的数据库，主要分为两类:文档型，如sqlite，就是一个文件，通过对文件的复制完...
2019-07-18 17:23:27
444
原创 八皇后算法
1.回溯法回溯法，又被称为“试探法”。解决问题时，每进行一步，都是抱着试试或者这么走下去肯定达不到目标，立刻做回退操作重新选择。这种走不通就回退再走的方法就是回溯法。问题: 列举集合 {1,2,3} 中所有子集的问题中使用回溯法。从集合的开头元素开始，对每个元素都有两直到集合最后一个元素。其中的每个操作都可以看作是一次尝试，每次尝试都可以得出一个结果。将得到的结果综合起来，就是集合...
2019-07-18 16:32:43
469
原创 搜索算法
1.查找表在日常生活中，几乎每天都要进行一些查找的工作，在电话簿中查阅某个人的电话在电脑的文件夹中查找某个具体的文件等等。查找表是由同一类型的数据元素构成的集合。例如电话号码簿和字典都可以看作是一张查找表。一般对于查找表有以下几种操作：在查找表中查找某个具体的数据元素；在查找表中插入数据元素；从查找表中删除数据元素；在查找表中只做查找操作，而不改动表中数据元素，称此类查找表为静态查...
2019-07-18 16:27:15
121
原创 贪心算法
1.贪心算法在对问题求解时，总是作出在当前看来是最好的选择。也就是说，不从整体上加以考虑，它所作出的仅仅是在某种意义上的局部最优解（是否是全局最优，需要证明）。基本思路：1.建立数学模型来描述问题。2.把求解的问题分成若干个子问题。3.对每一子问题求解，得到子问题的局部最优解。4.把子问题的解局部最优解合成原来解问题的一个解。因为用贪心算法只能通过解局部最优解的策略来达到全...
2019-07-18 16:14:24
267
原创 树与二叉树
1.树与树算法树(英语:tree)是一种抽象数据类型(ADT)或是实作这种抽象数据类型的数据结构,用来模拟具有树状结构性质的数据集合。它是由n(n>=1)个有限节点组成一个具有层次关系的集合。把它叫做“树”是因为它看起来像一棵倒挂的树,也就是说它是根朝上,而叶朝下的。它具有以下的特点:每个节点有零个或多个子节点;没有父节点的节点称为根节点;每一个非根节点有且只有一个父节点;除...
2019-07-18 11:52:09
129
原创 链表
1.链表顺序表的构建需要预先知道数据大小来申请连续的存储空间，而在进行空充时又需要进行数据的搬迁，所以使用起来并不是很灵活。链表结构可以充分利用计算机内存空间，实现灵活的内存动态管理。链表(Linked List)是一种常见的基础数据结构，是一只种类线性表，但是不像顺序表一样连续存储数据，而是在每一个节点(数据存储单元)里存放下一个节点的位置信息(即地址)。2.单链表单向链表也叫单...
2019-07-18 10:42:24
179
原创 排序算法
1.排序算法假设含有n个记录的序列为{r1,r2,……,rn}，其相应的关键字分别为{k1,k2,……,kn}，需确定 1，2，……，n的一种排列p1,p2,……,pn，使其相应的关键字满足kp1≤kp2≤……≤kpn（非递减或非递增）关系，即使得序列成为一个按关键字有序的序列{rp1,rp2,……,rpn}，这样的操作就称为排序。对一序列对象根据某个关键字进行排序。多个关键字的排序最...
2019-07-16 23:22:14
145
原创 顺序表
1.数据结构问题提出:我们如何用Python中的类型来保存一个班的学生信息？如果想要快速的通过学生姓名获取其信息呢？List? Dict? Set? Tuple?算法和数据结构的区别：数据结构分类：2.顺序表的基本形式顺序表，将元素顺序地存放在一块连续的存储区里，元素间的顺序关系由它们的存储顺序自然表示。图a就说明了在c语言中为什么数组里存的时同一类型...
2019-07-15 23:38:47
322
原创 时间复杂度和性能分析
1.算法引入算法（Algorithm）是指解题方案的准确而完整的描述，是一系列解决问题的清晰指令，算法代表着用系统的方法描述解决问题的策略机制。对于算法而言，实现的语言并不重要，重要的是思想。算法可以有不同的语言描述实现版本（如C描述、C++描述、Java描述, Python描述等），我们现在是在用Python语言进行描述实现。2.算法效率衡量执行时间反应算法效率内容实现算法程...
2019-07-15 22:06:56
1277
转载 2048小游戏
注意：下面的代码不能在pycharm里运行，要在命令行下运行，代码：import randomimport cursesfrom itertools import chainclass GameField(object): """游戏类""" # 初始化信息 def __init__(self, width=4, height=4, win_value=204...
2019-07-15 21:22:00
211
原创 面向对象进阶
1.元类什么是元类？ 元类就是用来创建类的“东⻄”。函数type实际上是一个元类。type就是Python在背后用来创建所有类的元类。Python中所有的东⻄——都是对象。这包括整数、字符串、函数以及类。它们全部都是对象,而且它们都是从一个类创建而来,这个类就是type。在大多数编程语言中,类就是一组用来描述如何生成一个对象的代码段。在Python中这一点仍然成立. 但是,Pyth...
2019-07-15 21:16:13
90
原创 单向循环链表
class Node(object): """节点类""" def __init__(self, item): """ 初始化函数 :param item: 要保存的用户数据 """ self.item = item self.next = Noneclass CycleSing...
2019-07-12 23:37:04
91
原创 魔术方法
魔术方法，顾名思义，就是你都不知道它是具体在内部怎么实现的，我们在用的时候也不需要研究它是怎么实现的，会用就好。魔术方法格式为__名字__1.特殊属性1__name__...
2019-06-24 22:43:17
146
原创 面向对象高级特性
1.类属性与实例属性类属性就是类对象所拥有的属性,它被所有类对象的实例对象所共有,在内存中只存在一个副本。在前面的例子中我们接触到的就是实例属性(对象属性)，它不被所有类对象的实例对象所共有,在内存中的副本个数取决于对象个数。类属性与对象属性不同点： 类属性 对象属性1. 定义 ...
2019-06-17 21:50:19
177
原创 常见python面试题
常见 python 面试题目整理1. 列举 Python2 和 Python3 的区别？1.Python3采用的是绝对路径的方式import，python2采用相对路径2.Python2存在新式类和经典类的区别，Python3统一采用新式类（广度优先算法）3.Python2中1个tab和8个space等价，在缩进中允许tab和space共存。在Python3中使用更严格的缩进，tab和s...
2019-06-11 22:06:24
202
原创 面向对象
1.面向过程编程“面向过程”(Procedure Oriented)是一种以过程为中心的编程思想。这些都是以什么正在发生为目标进行编程，不同于面向对象的是谁在受影响。与面向对象明显的不同就是封装、继承、类。特性：模块化 流程化优点：性能比面向对象高, 因为类调用时需要实例化，开销比较大，比较消耗资源;单片机、嵌入式开发、Linux/Unix等一般采用面向过程开发，性能是最重要的因素。...
2019-06-11 20:31:07
1351
原创 垃圾回收
1.对象池1.1 小整数对象池1). 整数在程序中的使用非常广泛,Python为了优化速度,使用了小整数对象池,避免为整数频繁申请和销毁内存空间。2). Python对小整数的定义是[-5,257) 这些整数对象是提前建立好的,不会被垃圾回收。在一个Python的程序中, 所有位于这个范围内的整数使用的都是同一个对象，都指向同一片地址空间。1.2 大整数对象池每一个大整数,均...
2019-06-11 11:36:24
441
原创 异常处理
1.什么是异常？异常即是一个事件，该事件会在程序执行过程中发生，影响了程序的正常执行。当Python脚本发生异常时我们需要捕获处理它，否则程序会终止执行。常见的异常：# print(a) # NameError# print(10/0) # ZeroDivisionError (除0错误)# # 索引异常: IndexError# str = 'hello'# print(...
2019-06-07 23:36:21
89
原创 模块与包
1.模块模块就是工具包,要想使用这个工具包中的工具(就好比函数),就需要导入这个模块模块就是工具包,要想使用这个工具包中的工具(就好比函数),就需要导入这个模块在自己写模块时不要和常见的模块名冲突1.如何导入模块当解释器遇到import语句,如果模块在当前的搜索路径就会被导入为什么必须加上模块名调用呢?答：因为可能存在这样一种情况:在多个模块中含有相同名称的函数,如果只是通过函...
2019-06-04 18:05:27
107
原创 python高级特性
1.生成式与生成器1.列表生成式列表生成式就是一个用来生成列表的特定语法形式的表达式。是Python提供的一种生成列表的简洁形式, 可快速生成一个新的list。普通的语法格式：[exp for iter_var in iterable]带过滤功能语法格式: [exp for iter_var in iterable if_exp]循环嵌套语法格式: [exp for iter_va...
2019-05-27 19:30:44
186
原创 文件
1.文件操作介绍1.什么是文件日常中的数据存储在纸上， 而计算机的数据存储在哪里呢? —硬盘上2.文件的作用一个程序在运行过程中用了九牛二虎之力终于计算出了结果,试想一下如果不把这些数据存放起来,相比重启电脑之后,“哭都没地方哭了”。 默认数据是加载到内存中，结果也是保存到内存中， 程序执行结束，所有的数据释放。3.文件的打开与关闭宋丹丹拉高音调说：这个得分成三步，第一步...
2019-05-27 17:25:42
205
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人