- 博客(11)
- 收藏
- 关注
RSS订阅原创 HDFS
HDFS前言 设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； 在大数据系统中作用： 为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务 重点概念：文件切块，副本存放，元数据 HDFS的概念和特性 首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件 其次，它是分布...
2019-09-02 10:43:34
94
原创 shell 编程
Shell是用户与内核进行交互操作的一种接口，目前最流行的Shell称为bash Shell Shell也是一门编程语言<解释型的编程语言>，即shell脚本<就是在用linux的shell命令编程> 一个系统可以存在多个shell，可以通过cat /etc/shells命令查看系统中安装的shell，不同的shell可能支持的命令语法是不相同的 基本格式 代码写在普通文本...
2019-08-30 17:55:57
96
原创 Linux基础
Linux简介 Linux是一套免费使用和自由传播的类Unix操作系统（主要用在服务器上），是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。 Linux操作系统诞生于1991 年10 月5 日（这是第一次...
2019-08-29 19:12:29
277
原创 Python 第八天（多线程和正则表达式）
线程通信 Python提供了非常简单的通信机制 Threading.Event，通用的条件变量。多个线程可以等待某个事件的发生，在事件发生后，所有的线程都会被激活。 import threading import time def goevent(): e = threading.Event() # 事件 def go(): e.wait() # 等待事件，...
2019-08-26 19:00:09
180
原创 Python 第七天（多线程）
基于函数实现多线程 import _thread # 多线程 import time def go(): for i in range(5): print(i,"-------") time.sleep(1) for i in range(5): # 同时执行5次 _thread.start_new_thread(go,()) # 前面是执行...
2019-08-22 17:25:57
100
原创 Python 第六天（进程之间的通信通道：队列和管道、进程之间的共享）
管道 Pipe() 函数返回一个由管道连接的连接对象，默认情况下是双工（双向）。 multiprocessing.Pipe([duplex])，返回一对Connection对象：(conn1, conn2)，分别表示管道的两端。 如果 duplex 被置为 True (默认值)，那么该管道是双向的。如果 duplex 被置为 False ，那么该管道是单向的，即 conn1 只能用于接收消息，而 ...
2019-08-21 19:45:15
187
原创 Python 第五天（装饰器，函数闭包和进程）
装饰器 最简装饰器 def deco(func): def wrap(*args, **kwargs): return func(*args, **kwargs) return wrap @deco def foo(a, b): return a ** b 例子 def deco(func): def warp(n1,n2): n = n1 + n2 ...
2019-08-20 17:55:26
84
原创 Python 第四天（面向对象）
类和对象 类是对象的蓝图和模板，而对象是类的实例 定义类：格式 # __init__是一个特殊方法用于在创建对象时进行初始化操作 class class_name(object): def __init__(self): pass def A(self): # 在类中,一切的变量和函数都要印记(self) pass if __name__ =="__main__": a = cla...
2019-08-19 17:20:31
78
原创 Python 第三天（模块，字符串和常用数据结构）
不定长参数: *args **kwargs 匿名函数 lambda表达式 格式: lambda 参数1, 参数2: 结果表达式 全局变量：global 变量 模块 __main__是程序的入口, 当__name__ == __main__的时候, 表示自身调用函数, 不会被其他模块引入 字符串 字符串拼接: s = ‘good’ + ‘man’ print(s) 字符串重复: s = ‘goo...
2019-08-18 16:26:01
84
原创 Python 第二天（循环结构和函数）
for-in 循环 明确的知道循环的次数或者是要对一个容器进行迭代，推荐使用for-in循环 for i in range(): #range 前闭后开 语句 print() """ 输出乘法口诀表(九九表) """ for i in range(1,10): for j in range(1,i+1): print('%d * %d = %d' % (i,j,i*j...
2019-08-15 17:01:56
85
原创 Python 第一天（Python基础）
Python的第一个程序 print（“Hello World”） 常用的数据类型 整型 浮点型 字符串型 布尔型：布尔值只有True、False俩种 复数型 变量的命名 由字母、数字和下划线构成，数字不能开头 大小写敏感 不能用关键字和系统保留字 变量类型的转换 int()：将一个数值或字符串转成整数，可以指定进制 float()：将一个字符串转换成浮点数 str()：将指定的对象转换成字...
2019-08-14 16:56:45
74
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人