- 博客(27)
- 收藏
- 关注
RSS订阅转载 线程如何实现同步和通讯
转自：https://blog.csdn.net/gjb270806922/article/details/53339696/线程同步什么是线程同步？当使用多个线程来访问同一个数据时，非常容易出现线程安全问题(比如多个线程都在操作同一数据导致数据不一致),所以我们用同步机制来解决这些问题。实现同步机制有两个方法：1。同步代码块：synchronized(同一个数据){} 同一个数据：...
2018-09-26 08:08:23
213
原创 CDH安装服务和下载parcels包
使用CDH在集群上安装应用。点击Cluster1右侧向下的箭头，选择添加服务，按照步骤走即可。下载parcels文件。配置好只有，页面会进行刷新，然后点击下载即可。...
2018-09-17 11:27:18
3046
原创 一次离线安装CDH5.7的过程
1.准备 此处使用了4台虚拟机，每台2核4G。2.设置免密登录等。3.检查python数据库版本，官方推荐使用的版本为2.6.6。python -V4.卸载原装数据库，重新安装数据库。yum list installed | grep mysql 检查原装数据库yum -y remove mysql-libs.x86_64 卸载wget http://repo...
2018-09-17 09:37:21
393
转载 flume自定义Intercept
package com.flume;import org.apache.flume.Context;import org.apache.flume.Event;import org.apache.flume.interceptor.Interceptor;import java.io.UnsupportedEncodingException;import java.util.Arr...
2018-09-10 16:52:15
262
转载 flume将kafka中的消息写入hdfs
#bin/flume-ng agent -n agent -f conf/a3.conf -c conf -Dflume.root.logger=INFO,console#source的名字agent.sources = kafkaSource# channels的名字，建议按照type来命名agent.channels = memoryChannel# sink的名字，建议按照目标来...
2018-09-10 15:42:18
1010
转载 flume使用kafkachannel直接导入到kafka
#bin/flume-ng agent -n a1 -f conf/a1.conf -c conf -Dflume.root.logger=INFO,console#定义agent名， source、channel、sink的名称a1.sources = r1 a1.channels = c1#具体定义sourcea1.sources.r1.type = com.bw.flume....
2018-09-10 15:41:00
1781
原创 Spark随笔
1.解决命令冲突 spark的启动与关闭命令与hadoop重复，直接调用可能调用的是hadoop，因此需要对spark的启动命令进行修改，将${spark_home}\sbin下的start-all.sh改为start-spark-start.sh。2.spark web访问的页面 集群页面：http://${master_ip}:8080 单机页面：http...
2018-08-19 16:07:17
212
原创 Python爬虫——Selenium库
一、介绍自动化测试工具，支持多种浏览器。爬虫主要用来解决JavaScript渲染的问题。二、用法基本使用from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.s...
2018-07-07 00:19:30
335
原创 Python爬虫——PyQuery库
一、简介一款强大，灵活的网页解析库。二、使用初始化字符串初始化html="""<div> <ul> <li class="item-0">first item</li> <li class="item-1"><a href="link2.html"&
2018-07-06 16:01:00
271
原创 python爬虫——BeautifulSoup库
BeautifulSoup库一、简介灵活又方便的网页解析库，处理高效，支持多种解析器。利用它不用编写正则表达式即可方便地实现网页信息的提取。二、详解1.解析库解析器使用方法优势劣势Python标准库BeautifulSoup(markup,"html.parser")Python的内置标准库，执行速度适中，文档容错能力强Python 2.7.3 or 3.2.2 版本前中文容错能力弱lxml HT...
2018-07-06 15:03:22
334
原创 python爬虫——re库（正则）
1.re.matchre.match尝试从字符创的起始位置匹配一个模式，如果不是起始位置匹配成功的话，就会返回None。re.match(pattern,string,flags=0)2.最常规的匹配import recontent = 'Hello 123 4567 World_This is a Regex Demo'result = re.match('^Hello\s\d{3}\s\d...
2018-07-05 20:53:13
172
原创 python爬虫——Request库
一、简介Requests是python语言编写，基于urllib，采用Apache2 Licensed开源协议的Http库。它比urllib更加方便，可以节约大量的工作，完全满足HTTP测试需求。二、使用实例引入import requestsresponse = requests.get('http://www.baidu.com')print(response)print(response...
2018-07-05 20:06:29
215
原创 python爬虫——urllib库
1.urlliburlopenurlopen.reques.urlopen(url,date=None,[timeout,]*,cafile=None,capath=None,cadefault=False,context=None)#只有url参数的情况import urllib.requestresponse = urllib.request.urlopen('http://www.bai...
2018-07-05 18:40:36
247
原创 python 迭代器、for循环机制、生成器、三元表达式、关键词yield
一、迭代器1.迭代器协议是指：对象必须提供一个next()方法，执行该方法要么返回迭代中的下一环，要么引起一个stopIteration异常，以终止迭代。2.可迭代对象：实现了迭代器协议的对象（对象内部定义一个__iter__()方法）。3.协议是一种约定，可迭代对象实现了迭代器协议，python的内部工具（for循环，min、max函数等）使用迭代器协议访问对象。二、python中强大的for循...
2018-06-06 19:56:04
595
原创 python 文件处理
一、文件处理的基本流程1.打开文件获得句柄并赋值给一个变量。2.通过句柄对文件进行操作。3.关闭文件。f = open("D:/1.txt",encoding='utf-8')#打开文件获取句柄print(data)#输出文件内容f.close()#关闭文件二、文件的打开模式1.r，只读模式（默认模式，文件必须存在，不存在则抛出异常）。f = open("D:/1.txt",'r',encod...
2018-06-06 16:39:12
142
原创 python 内置函数
python中的部分内置函数。#1.abs() 取绝对值abs(-1)1#2.all() 会将集合内的元素进行布尔运算,若所有的都为True，则结果为True，只要有一个为False，则为False,若传入的只有一个参数且为空（'',[],()等），则返回的Trueall([1,2,'1'])Trueall([1,2,''])Falseall("")#3 any() 与all相...
2018-06-02 16:17:47
182
原创 python 前向引用，递归，变量的作用域，函数编程，匿名函数（lambda）
def foo(): print('from foo') bar()foo() #name 'bar' is not defineddef bar(): print('from bar')在定义foo（）函数之后bar（）函数定义之前会报错，因为调用foo（）函数的时候bar还未定义。def foo(): print('from foo') bar()...
2018-05-30 15:50:23
687
原创 python 全局变量和局部变量
一、全局变量在一个文件顶部定义的变量可以供该文件中任意函数调用1.定义全局变量name = '全局变量' #定义全局变量def name(): passname()2.调用全局变量name = '全局变量' #定义全局变量def name(): print('name()',name)#调用全局变量name()3.修改全局变量name = '123' #定义全局变量de...
2018-05-30 15:13:38
236
原创 python 函数
函数函数就是实现了一定功能的代码块。#函数的定义def calc(x,y): "用于说明函数" res = x * y return res#函数的调用print(calc(1,2))def 定义函数，calc函数名，x，y参数，没有定义函数的返回值，则会返回None。返回多个值是，会将返回的值写入到一个元组中，然后将元组返回。"""形参只有在被调用时才分配内存，调用...
2018-05-29 20:48:11
334
转载 python 格式化输出
转载自：【Python笔记】1、格式化输出（%用法和format用法） 【Python笔记】2、格式化输出，再写format用法一、格式化输出1、整数14#八进制 %o>>> print('%o',20)24#十进制 %d>>> print('%d',20)20#十六进制 %x>>> print('%x',20)14二、浮点...
2018-05-28 14:40:06
579
原创 python 基本数据类型
Python3有六种标准的数据类型1、Number 数字2、String 字符串3、List 列表4、Tuple 元组5、Sets 集合6、Dictionary 字典其中不可变的有四种：Number，String，Tuple,Sets可变的有两种：List，DictionaryNumber（数字）Python3支持int（整数型），float（浮点数），bool（布尔值），complex（复数）P...
2018-05-27 15:03:09
109
原创 python 条件语句，pass
python的条件语句只有if一种，switch-case目前为止并不存在python中。if语句的基本实现：if condition: statement;if-else实现：if condition: statementelse condition: statementif-elif-else实现：if condition: statementelif ...
2018-05-21 20:44:36
542
原创 python and和or
一、and和或介绍 and和or是python中的逻辑运算，相当于java的&& 和 || and 和运算，运算时从左到右，知道碰到false或者运算完毕时终止，存在一个false则该式为false。 or 或运算，运算时从左到右，碰到true或运算当前式子完毕为止，存在一个true则为true。二、优先级 在python中，and的优先级高于or。在and...
2018-05-21 20:32:20
1120
原创 python break和continue
python中的break和continue与java类似。break用来终止当前循环var = 0 while var < 10: if var == 5: break; else print(var)continue用来终止此次循环，开始下一次循环：var = 0while var < 10: if var == 5: ...
2018-05-21 20:23:44
134
原创 python算术运算
python的加减乘除： 加：a = b + c 减：a = b - c 乘：a = b * c 除：a = b / c (此处与java不同，这里求出来的为小数，并不是整数位) 求余：a = b % c 次方：a = b ** c (b的c次方)...
2018-05-21 19:42:41
731
原创 python后缀名，执行方式，注释，变量
一、后缀名 python的后缀名单个的情况下并没有什么要求，但是对于多模块，后缀名不为".py"的时候，可能导致错误。二、执行方式 在windows下，配置了环境变量只需直接输入“python 文件名“执行，未配置环境变量则需要输入python的全路径可执行。 linux下，需在文件的开头注明执行python文件所需要的解释器。 在2.x下，如有中文则需要注释使用的编码，而...
2018-05-20 16:57:27
634
原创 python版本，特性，应用，实现方式，ide选择
一、版本 python的版本分为2.x和3.x，2.x版本与3.x版本的很多底层实现不同，但是对于使用来说并没有什么大的区别。 若非特殊需求，选择3.x版本，现在2.x版本的更新也不断向3.x版本靠拢。 下载地址：https://www.python.org 下载安装完毕后，需要添加环境变量。二、特性 1. Simple：语法简洁。 2. Easy to lear...
2018-05-18 16:40:53
126
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人