maverick17-CSDN博客

原创 python读取csv、json、xml文件

# 读取csv文件 (数据以逗号分割)import csvcsvfile = open('data.csv', 'rb')reader = csv.reader(csvfile) # read接收文件对象，返回数据列表 reader1 = csv.DictReader(csvfile) # 返回数据字典for row in reader: print(row)# json文件(...

2018-04-24 10:00:52 364

原创吴军-《数学之美》读书笔记

最近在拜读吴军博士的《数学之美》这本书，大有醍醐灌顶，相见很晚的感觉，故整理下学习笔记，记录启发。 1.搜索引擎的“道”：自动下载尽可能多的网页；简历快速有效的索引；根据相关性对网页进行公平准确的排序。简化其根本是对索引进行布尔运算 2.图论与搜索引擎：遍历算法有广度优先算法（BFS），深度优先算法（DFS）。网络爬虫使用离散表（哈希表）来记录网页是否下否下载过的信息。决定网...

2018-04-16 01:20:16 703

原创 scrapy中设置随机代理

使用fake_useragent来进行伪代理，安装：pip install fake_useragent 首先在middleware.py中写一个随机更换user-agent的classfrom fake_useragent import UserAgentclass RandomUserAgentMiddleware(object): # 随机更换useragent ...

2018-04-15 09:18:46 773

原创 anaconda3的安装Python包的小技巧

虽然anaconda中包含了大部分我们需要的包，但有时候需要导入其中没有的Python包时，我们可以进入anaconda的安装目录的scripts下，按住Shift右键，“在此处打开命令窗口”，然后在这个scripts目录下进行pip安装，比如我想安装selenium，anaconda3里没有，我就在anaconda安装目录的scripts下进行pip install seleni...

2018-04-11 11:11:49 3888 2

原创 CSS选择器总结

CSS 指层叠样式表 (Cascading Style Sheets），样式定义如何显示 HTML 元素，样式通常存储在样式表中，多个样式定义可层叠为一。样式表定义如何显示 HTML 元素，就像 HTML 3.2 的字体标签和颜色属性所起的作用那样。样式通常保存在外部的 .css 文件中。通过仅仅编辑一个简单的 CSS 文档，外部样式表使你有能力同时改变站点中所有页面的布局和外观。CSS语...

2018-04-09 11:46:55 198

原创 scrapy Item Loaders总结

相比于用item直接存储数据，Item Loaders存储的是添加数据的方法，更便捷，简约和易维护。 In other words, Items provide the container of scraped data, while Item Loaders provide the mechanism for populating that container.Item Loade...

2018-04-09 11:22:26 208

conda命令介绍conda 是一个跨平台的包管理器也是一个环境管理器;conda的优势是可以创建运行不同python版本的开发环境.1.检查conda是否安装conda --version / conda -V2.获取帮助conda -hconda command -h3.包升级 conda update packageName4.创建并激活一个环境 conda create -n(--na...

2018-03-20 23:06:17 536

原创 Xpath 学习整理

学习scrapy的时候需要用到Xpath的知识，故整理下知识点。什么是 XPath?XPath 使用路径表达式在 XML 文档中进行导航XPath 包含一个标准函数库XPath 是 XSLT 中的主要元素XPath 是一个 W3C 标准 XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。XPath 含有超过 100 个内建的函数。这些函数用于字符串值、数值、日期和时间比较、...

2018-03-19 22:51:22 306

转载 pycharm常用快捷键整理

　pycharm高频率使用的快捷键Ctrl+Shift+F10 运行当前的页面Ctrl + / 注释(取消注释)选择的行Ctrl+Shift+F 高级查找Shift + Enter 开始新行TAB Shift+TAB 缩进/取消缩进所选择的行Ctrl + Y 删除当前插入符所在的行Ctrl + D 复制当前行、或者选择的块Ctrl + Shift + J 合并行Delete 删除到字符结尾Back...

2018-03-18 16:42:48 252

转载马尔科夫模型与隐马尔科夫模型

1. 马尔科夫模型1.1马尔可夫过程马尔可夫过程（Markov process）是一类随机过程。它的原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年提出。该过程具有如下特性：在已知目前状态（现在）的条件下，它未来的演变（将来）不依赖于它以往的演变 (过去 )。例如森林中动物头数的变化构成——马尔可夫过程。在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所作的布...

2018-03-15 22:08:02 19653 1

原创形式语言与状态机

学习《统计自然语言处理-宗成庆》这本书时，对理论部分第三章-形式语言与自动机存在许多困惑，因为抽象的概念比较多，而且例子比较少，理解起来比较晦涩，故自己整理下这方面知识，以期巩固知识，加深理解。一.概念梳理 1.正则文法：正规文法是产生式规则取下述形式的一种形式文法（N, Σ, P, S），又称3型文法：1.A -> a ，此处的A是N中的非终结符号，a是Σ中的终结符号...

2018-03-13 23:44:07 473

原创 Python 几种基本的排序算法

排序算法说明（1）排序的定义：对一序列对象根据某个关键字进行排序；输入：n个数：a1,a2,a3,...,an输出：n个数的排列:a1',a2',a3',...,an'，使得a1'<=a2'<=a3'<=...<=an'。（2）对于评述算法优劣术语的说明稳定：如果a原本在b前面，而a=b，排序之后a仍然在b的前面；不稳定：如果a原本在b的前面，而a=b，排序之后a可能会出现...

2018-03-11 13:15:33 294

maverick17的博客