• 等级
  • 100538 访问
  • 145 原创
  • 17 转发
  • 24021 排名
  • 34 评论
  • 83 获赞

编译型语言和解释型语言

前言旁边一小伙问:python为什么比c运行效率低?我说:python是解释型语言小伙问:啥是解释型语言?…概念编译型语言解释型语言度娘的解释已经相当全面了简单概括两个语言最终都必须转换为二进制代码(机器语言)编译型语言在运行前就有一个编译的过程,运行的时候不需要重新编译,所以效率高解释型语言在运行时才开始翻译为机器语言,每执行一次就得翻译一次,因此效率低后记上面来自度...

2019-04-17 15:02:10

Python的安装

前言很早之前写过Python基于Windows系统的安装,写的比较简单,现在重新整理一下基于Windows和Linux系统安装Python。现在Python已经到3.7.4版本,但是一般不要轻易使用最新版本作为生产环境,不然可能会浪费太多的时间来解决bug,这里选择3.6.4Windows下安装Python这里以Windows10操作系统为例,演示如何在Windows系统下安装Python...

2019-04-17 14:23:11

Anaconda不同平台的安装方式

前面已经写过关于Anaconda的简介和基于Windows的安装,接下来将三个平台安装的的方式都做个简单总结简介Anoconda是不错的选择,专门用于科学计算的Python发行版,支持Windows、Linux和Mac系统,可以很方便地解决多版本Python并存、切换以及各种第三方模块安装的问题。更重要的是,当你下载并安装好Anoconda后,它就已经集成了上百个科学计算的第三方模块,例如书中...

2019-04-16 10:19:23

大数据分析项目生命周期

前言这里说的分析是狭义上的数据分析,并不包含数据挖掘,它们之间具体的区别后续文章会详细描述这里只做一个简单的总结如下表:差异角度数据分析数据挖掘定义描述和探索性分析,评估现状和修正不足技术性的“采矿”,发现未知的模式和规律侧重点实际的业务挖掘技术的落实,完成“采矿”过程技能统计学、数据库、Excel、可视化等过硬的数学功底和编程技术结果需...

2019-04-12 23:36:04

Spark将数据写入Mysql

前言我在很早之前用spark读取本地文件然后使用如下代码将数据写入到mysqldf.write.format("jdbc").mode(SaveMode.Append).option("url","jdbc:mysql://localhost:3306/spark").option("dbtable","unisk").option(...

2019-04-12 11:00:01

如何在Windows环境下使用PyCharm开发PySpark

1.安装Python环境Windows搭建python环境请参考2.安装Spark环境官网下载spark并解压3.配置Windows环境HADOOP_HOME:D:\bigdata\hadoop-2.8.4SPARK_HOME:D:\bigdata\spark-2.3.1-bin-hadoop2.7PATH:%SPARK_HOME%\bin;%HADOOP_HOME%\bin;4...

2019-04-03 11:20:22

计算机考研信息汇总

北邮考研信息

2019-03-27 11:14:01

Hive开窗函数

转载

2019-02-17 16:14:13

Hadoop集群常用命令

hadoop上传文件hadoopfs-puta.txt/a/b下载文件hadoopfs-get/a/b/*./查看文件hadoopfs-ls/a/b递归删除文件夹hadoopfs-rm-r/a/b分屏查看hadoopfs-cat/a/b/*|more统计文件行数hadoopfs-cat/a*...

2019-01-24 09:40:09

Linux用户管理和文件权限

Linux是一个多用户多任务的系统,可以支持多个用户接入使用,如果给你一个Linux系统,你创建了很多用户,意义并不大,一般是一些文件需要给几个用户使用,但其他用户无法使用的时候会创建多个用户,然后给用户赋予不同的访问次文件的权限。任何权限在root用户面前都是形同虚设的。煮个栗子:公司有一台服务器供两个部门使用,这两个部门的资料肯定是相互隔离的,所以在这台服务器上给两个部门分别创建一个用户...

2019-01-16 23:37:24

Python爬虫之(九)数据提取-XPath

介绍之前BeautifulSoup的用法,这个已经是非常强大的库了,不过还有一些比较流行的解析库,例如lxml,使用的是Xpath语法,同样是效率比较高的解析方法。如果大家对BeautifulSoup使用不太习惯的话,可以尝试下Xpathw3chttp://www.w3school.com.cn/xpath/index.asp安装pipinstalllxmlXPa...

2019-01-13 15:47:02

Python爬虫之(八)数据提取-Beautiful Soup

BeautifulSoup的简介BeautifulSoup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序BeautifulSoup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码。你不需要考虑编码方式,除非文档没有指定一个编码方式,...

2019-01-13 11:35:32

Python爬虫之(七)数据提取-正则表达式

提取数据在前面我们已经搞定了怎样获取页面的内容,不过还差一步,这么多杂乱的代码夹杂文字我们怎样把它提取出来整理呢?下面就开始介绍一个十分强大的工具,正则表达式!正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是用来匹配字符串非常强大的工具,在其他编程语言中同样...

2019-01-13 10:41:53

Python爬虫之(六)requests库的用法

介绍对了解一些爬虫的基本理念,掌握爬虫爬取的流程有所帮助。入门之后,我们就需要学习一些更加高级的内容和工具来方便我们的爬取。那么这一节来简单介绍一下requests库的基本用法安装pipinstallrequests基本请求req=requests.get("http://www.baidu.com")req=requests.post("http://www.bai...

2019-01-11 21:51:44

Python爬虫之(五)Cookie和URLError

Cookie为什么要使用Cookie呢?Cookie,指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)比如说有些网站需要登录后才能访问某个页面,在登录之前,你想抓取某个页面内容是不允许的。那么我们可以利用Urllib库保存我们登录的Cookie,然后再抓取其他页面就达到目的了煮个栗子:fromurllib.requestimportRe...

2019-01-11 21:18:10

Python爬虫之(四)urllib库的高级用法

伪装自己有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作设置请求头其中User-Agent代表用的哪个请求的浏览器fromurllib.requestimporturlopenfromurllib.requestimportRequesturl='http://www.server.com/login...

2018-12-30 16:17:20

Python爬虫之(三)urllib库

第一个爬虫程序怎样扒网页呢?其实就是根据URL来获取它的网页信息,虽然我们在浏览器中看到的是一幅幅优美的画面,但是其实是由浏览器解释才呈现出来的,实质它是一段HTML代码,加JS、CSS,如果把网页比作一个人,那么HTML便是他的骨架,JS便是他的肌肉,CSS便是它的衣服。所以最重要的部分是存在于HTML中的,下面我们就写个例子来扒一个网页下来fromurllib.requestimp...

2018-12-30 00:15:18

Python爬虫之(二)工具的使用

常用的工具pythonpycharm浏览器chrome火狐fiddlerfiddler的使用操作界面界面含义请求(Request)部分详解名称含义Headers显示客户端发送到服务器的HTTP请求的,header显示为一个分级视图,包含了Web客户端信息、Cookie、传输状态等Textview显示POST请求...

2018-12-29 21:11:17

Python爬虫之(一):爬虫简介

什么是爬虫网络爬虫也叫网络蜘蛛,如果把互联网比喻成一个蜘蛛网,那么蜘蛛就是在网上爬来爬去的蜘蛛,爬虫程序通过请求url地址,根据响应的内容进行解析采集数据,比如:如果响应内容是html,分析dom结构,进行dom解析、或者正则匹配,如果响应内容是xml/json数据,就可以转数据对象,然后对数据进行解析。作用通过有效的爬虫手段批量采集数据,可以降低人工成本,提高有效数据量,给予运营/销售的...

2018-12-29 20:03:56

Shell脚本编程之(七)Shell脚本的追踪与debug

scripts在执行之前,最怕的就是出现语法错误的问题了!那么我们如何debug呢?有没有办法不需要透过直接执行该scripts就可以来判断是否有问题呢?呵呵!当然是有的!我们就直接以bash的相关参数来进行判断吧![root@node01~]$sh[--nvx]scripts.sh选项与参数:-n:不要执行script,仅查询语法的问题;-v:再执行s...

2018-12-23 22:03:19

SunnyRivers

专注研究IT行业中
关注
  • 计算机软件/IT
  • 中国 北京 西城区
奖章
  • 持之以恒
  • 勤写标兵Lv1