大数据：Flume架构笔录

从大数据采集到数据存储—Flume 采集框架：分布式数据源（模拟）----数据采集（Flume）—数据存储（HDFS：分布式文件系统）Flume架构数据采集：从一端到另一端文件Source (输入) -----> Channel( 事件的缓存)( 相当于水管)—> Slink( 输出)HDFSf分布式文件系统）Flume代码#1.定义agent :a2（整体架...

3次阅读

2019-12-12 21:50:47

一年一度的1024程序员节

蓦然回首，已在行业中滚打摸爬了好些年，在1024到来之际，沾点边际蹭着过节，听说还有勋章哦，发篇文章作为一个flag，既为结点，又为新的起点。

31次阅读

2019-10-24 09:13:06

Python网络爬虫部分

CSDN博客的爬取（链接的爬取）糗事百科段子爬取（内容的爬取）用户代理池构建实战前面已经学会如何构建用户代理，那么用户代理池如何构建呢？所谓的用户代理池，即将不同的用户代理组建成为一个池子，随后随机调用。IP代理与IP代理池的构建的两种方案IP代理概述IP代理是指让爬虫使用代理IP去爬取对方的网站使用urllib.request.ProxyHandler()来设置对应的代理服...

36次阅读

2019-07-12 15:25:58

Python网络爬虫：自动模拟HTTP请求&爬虫的异常处理&爬虫浏览器伪装技术&新闻爬虫实战

自动模拟HTTP请求客户端如果要与服务器端进行通信，需要通过http请求进行，http请求有很多种，在此使用 post与get两种请求方式。比如登录、搜索某些信息的时候会用到。get：从服务器上获取数据post：向服务器传送数据get请求实战----实现百度信息自动搜索问题标注：上述代码运行时候，网页内容并没有爬取出来，需后续待解决...

106次阅读

2019-06-29 23:46:54

Python网络爬虫：爬虫原理、正则表达式、正则表达式函数、urllib基础、超时设置

网络爬虫是什么？网络爬虫就是自动从互联网中定向或不定向地采集信息的一种程序定向：聚焦，有固定目的，采集局部信息 如：采集电话号码、采集学员信息不定向：没有规定目的，或者没有固定要求网络爬虫有很多种类型，常用的有通用网络爬虫（不定向采集）、聚焦网络爬虫（定向采集）等。网络爬虫能做什么？比如，通用网络爬虫可以应用在搜索引擎中，聚焦网络爬虫可以从互联网中自动采集信息并代替我们筛选出相关数据出...

66次阅读

2019-06-25 11:29:23

Python基础知识补充

使用pycharm可打开整个Python项目pycharm的安装下载地址：https://www.jetbrains.com/pycharm/download/#section=windows，其中professional 是专业版，需要输入激活码；Community是社区版，免费的，这里使用的专业版进行安装。双击安装包，点击next----》在D...

85次阅读

2019-06-20 16:17:24

Python面向对象编程

面向对象编程概述面向对象是合适中大型项目，包含类与对象，接近人类的思维方式，效率会更高面向过程适合中小型项目，按代码顺序执行类和对象类：具有某种特征的事物的集合（群体），抽象的。比如：人，对象：类（群体）里面的个体，具体的 。比如：某一个人通过类生成对象，称为类的实例化创建一个类的格式：class 类名:      &n...

68次阅读

2019-06-11 15:45:03

python函数详解 & python模块 & python文件操作 & Python异常处理

Python函数Python函数的本质：功能的封装。可以提高编程效率与程序的可读性。局部变量与全局变量变量是有生效范围的，这个生效的范围就是作用域。作用域从变量出现开始到程序最末，该变量是全局变量。作用域只在局部的变量叫做局部变量函数的定义与调用函数定义的格式：def 函数名(参数)：函数体函数调用格式：函数名（参数）函数参数使用给函数加入一些参数，参数的作用：与外界...

57次阅读

2019-06-06 18:52:31

Python控制流及乘法口诀的输出

程序控制流：是指程序执行的流程。Python中有三种基本控制流：顺序结构：按代码写的顺序，从上往下执行条件分支结构：选其中一个分支执行，或者都不选，跳过执行循环结构：从循环开始到循环结束，然后再依次从循环开始到循环结束条件分支结构if语句elif 除了上述 还有其他分支 ，最后的else 是排除上面所有分支，余下的最后一个，else不是必写的，可以直接用elif循环结...

51次阅读

2019-06-05 14:24:02

Python基本语法

目录如下：输出、注释、标识符、变量、数据类型、运算符、缩进在田字形那里输入 IDLE，点击进入编辑器shell命令行，是一行一行执行的若想执行多行程序，需要按Ctrl+N，出来如下界面，可以写多行程序Ctrl+S保存，按F5执行shell命令行是按一次回车执行一次...

35次阅读

2019-06-04 17:54:24

Python初识与安装

Python 是面向对象、解释型的编程语言优点：简洁、易学、几乎全能、支持面向对象Python能做什么？数据分析与挖掘、黑客逆向编程、网络爬虫、机器学习、开发WEB项目、开发游戏、自动化运维Python的安装官网下载：https://www.python.org/downloads/windows/使用版本：Python3.5.2 （该版本比较稳定）下载后，右击使用管理员身份安装...

46次阅读

2019-06-03 15:12:41

一、Javascript三种使用方式、变量、类型的等

JavaScript可进行 1）表单验证——减轻服务器压力 2）制作页面特效 3）动态改变页面内容 JavaScript是一种基于对象和事件驱动的脚本语言 JavaScript特点： - 交互、运行在客户端的脚本语言、解释性语言 - 边执行边解释 - 跨平台 JavaScript组成 ECMAScript是一种语法标准：语法、变量和数据类型、运算符、逻辑控制语句、关键字、保...

241次阅读

2018-07-11 11:17:13

四 （03）、自动化测试-----WebDriver API

十五、调用javasript 借助JavaScript 方法来控制浏览器滚动条。WebDriver 提供了execute_script()方法 来执行JavaScript 代码。 window.scrollTo()方法用于设置浏览器窗口滚动条的水平和垂直位置。方法的第一个参数表示水平的左间距，第二个参数表示垂直的上边距...

134次阅读

2018-07-09 13:38:42

四 （02）、自动化测试-----WebDriver API

六、获取验证信息 通常用得最多的几种验证信息分别是title、URL、text。用于获取标签对之间的文本信息from selenium import webdriverfrom time import *driver=webdriver.Firefox()driver.get('https://mail.126.com/')print("before login............

228次阅读

2018-07-06 17:26:05

四 （01）、自动化测试-----WebDriver API

一、从定位元素开始 WebDriver提供了八种元素定位方法: 1、id 2、name 3、class name 4、tag name 5、link text 6、partial link text 7、XPath 8、css selector 在Python语言中，对应的定位方法如下： find_element_by_id() find...

463次阅读

2018-06-28 16:20:35

三、自动化测试-----Python基础

class A(object): def add(self,a,b): return a+bcount=A()print(count.add(3,5))一般创建类时会首先声明初始化方法init(). 注意：init()的两侧是双下划线，当我们在调用该类时，可以用来进行一些初始化工作class A(object): def __init__(self,a...

323次阅读

2018-06-26 13:15:13

二、自动化测试----python等工具下载、测试环境搭配、常用的DOS命令

一、Python等工具的下载 Python 下载地址：https://www.python.org/downloads/ setuptools 下载地址：https://pypi.org/project/setuptools/#files distribute 下载地址 ：https://pypi.org/project/distribute/#files二、setuptools与p...

261次阅读

2018-06-24 22:39:59

一、自动化测试基础

软件测试：1、软件测试分类v模型软件开发流程根据项目流程划分的测试：单元测试：模块测试，对程序中单个程序或独立功能的代码段进行测试（白盒测试）集成测试：通过单元模块进行组合测试，接口，功能是否完备系统测试：验证整个系统是否满足需求、系统的正确性，是否满足规格需求回归测试：如果某个问题在有限的时间解决不了，只能到下一次版本更新验收测试：确保软件准备就绪，向购买者...

9679次阅读

2018-06-21 17:16:01

15、项目：见缝插针游戏---界面

见缝插针游戏—界面<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>见缝插针小游戏</t

1047次阅读

2018-06-20 16:47:56

14、离线缓存

离线缓存： HTML5 引入了应用程序缓存，者意味着web应用可进行缓存，并可在没有因特网连接时进行访问，轻松地创建web应用的离线版本 优势： 1、离线浏览 2、速度—-已缓存资源加载的更快 3、减少服务器负载—-浏览器将只从服务器下载更新过或更改过的资源离线缓存实现步骤： 1、服务器设置头信息： AddType:text/cache-manifest man...

63次阅读

2018-06-19 17:05:57

查看更多