crystalnsd-CSDN博客

原创 python并发编程之多线程(二)

文章目录python并发编程之多线程(二)conditioneventpython并发编程之多线程(二)上一篇介绍了,threading 模块的主核心设计 Thread, Semaphore, Lock/Rlook这一篇将介绍多线程的condition ,event,queue, 及其应用场景condition 一个线程等待特定条件,另一个线程的发送特定条件 ,这进condition就可以派上用场,用生产/消费模式示例import threadingimport timedef co

2020-12-16 10:05:01 220

原创 python并发编程之多线程(一)

编程的乐趣在于让程序越来越快，这里将给大家介绍一个种加快程序运行的的编程方式——多线程1著名的全局解释锁（GIL）说起python并发编程，就不得不说著名的全局解释锁（GIL）了。有兴趣的同学可以我查找一下相关的资料了解一下GIL,在这里大家只要知道一点，因为GIL的存在，对于任何Python程序，不管有多少的处理器，任何时候都总是只有一个线程在执行。下面先看一个例子：#

2020-12-08 10:10:02 3770 10

原创 django3.1 配置mako模板引擎

这里写自定义目录标题django3.1 配置mako模板引擎安装测试mako模板Django集成Mako：（django-mako插件方法）问题处理:django3.1 配置mako模板引擎因为要二次开发HUE的原故.这里需要学习一下mako 模板引擎,安装测试mako模板操作系统：win10相关环境：Python 3.7; Django 3.1Mako是用python语言开发的开源模板引擎，功能很强大，使用起来也很方便，下面介绍一下安装步骤：pip install makopip inst

2020-12-01 14:35:50 663 1

原创数据仓库中的拉链表（hive实现)

前言本文将会谈一谈在数据仓库中拉链表相关的内容，包括它的原理、设计、以及在我们大数据场景下的实现方式。全文由下面几个部分组成：先分享一下拉链表的用途、什么是拉链表。通过一些小的使用场景来对拉链表做近一步的阐释，以及拉链表和常用的切片表的区别。举一个具体的应用场景，来设计并实现一份拉链表，最后并通过一些例子说明如何使用我们设计的这张表（因为现在Hive的大规模使用，我们会以Hive场景下的

2017-08-10 18:24:47 16300 7

原创 python format 用法详解

前序：format是python2.6新增的一个格式化字符串的方法，相对于老版的%格式方法，它有很多优点。不需要理会数据类型的问题，在%方法中%s只能替代字符串类型单个参数可以多次输出，参数顺序可以不相同填充方式十分灵活，对齐方式十分强大官方推荐用的方式，%方式将会在后面的版本被淘汰

2017-07-24 17:05:47 80672 12

原创 HUE 安装报错:Thrift version configured by property thrift_version might be too high.

HUE 配置hive 时报错:Thrift version configured by property thrift_version might be too high. Request failed with “Required field ‘client_protocol’ is unset! Struct:TOpenSessionReq(client_protocol:null, username:hue, configuration:{hive.server2.proxy.user=admin}

2021-01-21 14:42:56 971

原创 python并发编程之线程池(三)

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、concurrent.futures 中实现的ThreadPoolExecutor二、 multiprocessing.pool 中实现的ThreadPool三、自定义一个线程池总结前言在日常生活中,如果需要复用多线程去处理成千上万的任务时,我们不能无限的去新建线程,销毁线程,这样会导致服务器出现灾难性的后果,这时,我们就需要使用线程池,这样我们可以最程度的减少创建线程,销毁线程造成的资源消耗

2020-12-23 09:09:08 274

原创 python定义hive udf函数

UDF + PYTHON问题1：报错Cannot run program “python”: error=2, No such file or dictory解决： hadoop_env ，yarn-env.sh ,hive-env中加入python环境变量：export PYTHON_HOME=/opt/anaconda3export PATH=PATH:PATH:PATH:PYTHON...

2020-02-16 23:15:33 704

原创 hue4.3 + cnetOS7 安装与配置

1 下载包：hue-4.3.0.tgz 并解压/opt/hue2 安装依赖：需要联网虚拟机需要配置nat 详情参考yum -y install ant yum -y install asciidoc yum -y install cyrus-sasl-devel yum -y install cyrus-sasl-gssapi yum -y install gcc yum -y ...

2018-11-28 01:20:58 1216

原创 hive 2.3.4安装报错问题

问题1 报错： schematool -dbType mysql -initSchema 时报错：Schema initialization FAILED! Metastore state would be inconsistent !!问题分析：由日志分析Metastore connection URL: jdbc:derby:;databaseName=metastore_db;...

2018-11-27 23:45:52 632

原创启动django时报错：django.db.utils.InternalError: (1524, “Plugin ‘XXXXX‘ is not loaded)

启动django时报错：django.db.utils.InternalError: (1524, "Plugin ‘XXXXX’ is not loaded)@TOC启动django时报错：django.db.utils.InternalError: (1524, "Plugin ‘XXXXX’ is not loaded)原因分析：归根结底，是mysql 数据库的问题解决方案：1 ...

2018-11-24 00:39:36 1483

原创 ElasticSearch 5.0.0 安装部署常见错误或问题

ElasticSearch 5.0.0 安装部署常见错误或问题问题一：[2016-11-06T16:27:21,712][WARN ][o.e.b.JNANatives ] unable to install syscall filter:Java.lang.UnsupportedOperationException: seccomp unavailable: requires k

2018-02-03 15:03:03 301

转载 markdown的用法

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I

2018-01-06 12:37:48 318

原创 spark-streaming的wordcount程序(python 累加)

代码：'''spark-streaming wordcount程序author:殷雄'''import osimport sysos.environ['SPARK_HOME'] = "/opt/spark-2.2.0-bin-hadoop2.7"sys.path.append("/opt/spark-2.2.0-bin-hadoop2.7/python")try: from p

2018-01-04 01:07:31 1079

原创连接远程linux spark 配置windows 下pycharm开发环境

对不于不习惯在linux 操作的同学，往往想在windows 环境下编辑代码，然后利用远程linux 服务器的spark群集来提交任务，下面提供一个可行的方案1 、设置环境变量vim /etc/profile添加：export PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.10.4-src.zip执行

2018-01-03 00:26:29 2037

原创 centOS 安装NC 包

1 下载nc rpm 包下载地址：http://rpmfind.net/linux/rpm2html/search.php?query=nc2 找到对应的操作系统的NC包如：nc-1.84-24.el6.x86_64.rpm 3 上传到操作系统4 执行安装：rpm -ivh nc-1.84-24.el6.x86_64.rpm5 验证： nc -lk 8888

2018-01-02 22:34:17 8428 1

原创用python 实现各类数学距离

1 、实现欧氏距离import numpy as npimport matha = np.mat([1,2,3])b = np.mat([4,7,5])ed = np.sqrt((a-b) * (a-b).T) ##实现欧氏距离2、实现曼哈顿距离mht = np.sum(np.abs(a-b)) ## 实现曼哈顿距离3、实现切比雪夫距离chbsh = np.max(np.abs(a-b)) ##

2017-11-27 14:40:03 535

原创 pyspark RDD 自定义排序（python）

问题：现有数据 data = ((‘crystal’,90,22),(‘crystal1’,100,28),(‘crystal3’,100,22)) 现在对data 进行排序排序规则： 1 按元组中的第二个字段排序 2 第二个字段相等的话，按第三个字段排序实现思路：定义一个列表元素类，每一个元素都可以实例化成这个类的对象定义类的比较规则，比较规则即为需求规则，然后将R

2017-11-09 01:01:24 6480 1

原创 spark sql 入门操作

aggregate 聚合sc = SparkContext(conf = conf)l1 = [1,2,3,4,5,6,7,8,9]rdd1 = sc.parallelize(l1,2)rdd1.aggregate(8,max,lambda a,b:a+b) ##结果25rdd2 = sc.parallelize(list('abcdefg'),2)rdd2.aggregate('',lam

2017-11-07 20:06:42 603

原创 pyspark aggregate函数使用问题（aggregate重写，aggregate中的函数参数限制）

代码：from pyspark import SparkContext, SparkConffrom functools import reduceconf = SparkConf().setAppName('myFirstAPP').setMaster('local') #连接sparksc = SparkContext(conf = conf) ##生成SparkCont

2017-11-07 14:32:53 1174 1

原创 spark RDD算子学习（基本命令）

1、进入spark导入包对象from pyspark import SparkContext, SparkConf初始化对象conf = SparkConf().setAppName(appName).setMaster(master)sc = SparkContext(conf=conf)如果使用的是命令行：对象则已经初始化好了2 使用命令行使用4个c

2017-11-06 15:33:21 697

原创 linux 下安装python cx_Oracle 包

cx_Oracle安装需要依赖oracle客户端的一些包，所以我们经常安装cx_Oracle之前，而不得不先安装oracle客户端但是cx_Oracle依赖的东西并不多，感觉有点得不偿失，所以下面给出一种解决方法能简单很多。先下载instantclient-basic-linux.x64-11.2.0.4.0.zip，instantclient-sdk-linux.x64-11.2.0.4.

2017-11-01 20:18:17 1682

原创 anaconda 在linux(centos7) 下的安装（虚拟机离线情况下）

1 软件下载：anaconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/bzip2: http://www.bzip.org/downloads.html (如果linux 已经安装bzip2,则不用安装 )2安装1 安装bzip2(如果已经安装则不用这一步，在命令行输入bunzip2检测)tar -zxf bzip2

2017-10-28 00:27:10 4440

原创 cx_Oracle 报错：cx_Oracle.DatabaseError: DPI-1050: Oracle Client library must be at version 11.2

解决：从 https://pypi.python.org/pypi/cx_Oracle/5.3 下载低版本cx_Oracle版本我是下载cx_Oracle-5.3-11g.win32-py3.6.exe 直接安装就ok了

2017-10-26 17:29:55 18123 1

原创 spark 集群启动后，worker 节点worker 进程一段时间后自动结束

1 启动环境：启动hdfs: ./sbin/start-dfs.sh (hadoop 目录)启动spark集群：./sbin/start-all.sh (在spark目录下)检查是否启动：查看各节点折datanode Worker 进程是否启动了2 遇到的问题：各节点中的worker进程启动，spark UI 管理界面显示却只有master 启动，worker 节点都显示，过一会儿，work

2017-10-19 00:47:15 3559

原创用python 实现链表（实现getitem,set,len 魔法方法）

'''用python 实现数据结构--链表的实现'''class LinkListException(Exception): def __init__(self,ex_info): self.info = ex_info #print(self.info)class Node(): def __init__(self,data,next = No

2017-09-18 19:28:59 755

原创 win10中python 3.5 ,Django 1.11 后台admin无法加载CSS等样式

1 修改注册表\HKEY_CLASSES_ROOT.css的Content Type 为text/css，2 找到django包中的base.html 一般在以下目录python\Lib\site-packages\django\contrib\admin\templates\admin 删除base.html 头部中并添加 <meta http-equiv='Content-

2017-09-10 15:35:49 870

原创 django中创建一个Model

step1创建一个应用（python manage.py startapp books）这里创建一个叫books应用，然后在settings中的INSTALLED_APPS参数中加上应用，如下：INSTALLED_APPS = [ 'django.contrib.admin', 'django.contrib.auth', 'django.contrib.content

2017-09-10 15:29:39 971

原创 django 1.11 报表：django.template.exceptions.TemplateDoesNotExist:

解决方法：在settings.py 中TEMPLATES 参数 dirs加入设置：os.path.join(BASE_DIR, ‘templates’).replace(‘\’, ‘/’) TEMPLATES = [ { ‘BACKEND’: ‘django.template.backends.django.DjangoTemplates’,

2017-08-24 15:59:24 1363

原创 django 报错：ValueError: The database backend does not accept 0 as a value for AutoField.

错误原因：在创建一个model时，其中一个字段你用了别一个model的做为外键，并且给这个外键设置了一个默认值，而这个默认值不适用于键model中自动创建再找一下报错的脚本： Applying oiarpt.0004_auto_20170822_1419... OK Applying oiarpt.0005_auto_20170822_1652...Traceback (most rec

2017-08-24 14:10:09 10971

原创 django中创建一个Model

step1创建一个应用（python manage.py startapp books）这里创建一个叫books应用，然后在settings中的INSTALLED_APPS参数中加上应用，如下：INSTALLED_APPS = [ 'django.contrib.admin', 'django.contrib.auth', 'django.contrib.

2017-08-22 14:27:34 657

原创 pycharm 每日提示

打开每日提示：工具栏：help –> tip of the day提示1：一个窗口打开多个项目 PyCharm can work with several projects in one window. To open a project in the same window with the already opened one, choose Open on the File menu

2017-08-21 16:26:45 3560

原创快速排序算法（C语言实现）

先看一下快速排序算法(C语言实现 )#include <stdio.h>void quicksort(int array[], int min, int max);int partition(int array[], int min, int max){ int p; p = array[min]; //int len = max; while (min <

2017-08-11 16:49:43 6699

原创 python 用解决约瑟夫问题

# -*- coding: utf-8 -*-'''Created on 2017年8月8日@author: Administrator用python实现循环链表，解决约瑟夫问题'''class Person(): def __init__(self,num,next = None): self.next = next self.num = num

2017-08-10 22:28:26 1664

原创 python socket send 函数报错：TypeError: a bytes-like object is required, not 'str'

# -*- coding: utf-8 -*-'''Created on 2017年7月28日@author inx实现中基本socket程序'''import socket host = '192.168.0.1'port = 50010s = socket.socket()s.connect((host,port))while True: meg = input('

2017-07-29 00:52:02 8224

原创 python 3.6,django 1.11 配置mysql数据库

1 安装pymysql： pip installl pymysqlpython 3.6 中没有MySQLdb ,换成了pymysql2 配置驱动：pymysql.install_as_MySQLdb()在项目的init文件中导入import pymysqlpymysql.install_as_MySQLdb()这一步必须要，不然会报错：找不到mysqldb 包，因为django中默认为mysql

2017-07-26 16:37:26 4487

原创 django template 基础(二)(在视图中使用模板)

在视图中使用模板2前序在学习了模板系统的基础之后，现在让我们使用相关知识来创建视图。先看一下没有使用template的视图代码from django.http import HttpResponseimport datetimedef current_datetime(request): now = datetime.datetime.now() html = "<html>

2017-07-25 15:14:25 1353 1

原创 Django 中遇到的问题（1）TypeError: context must be a dict rather than Context.

1 . TypeError: context must be a dict rather than Context.翻译：上下文必须是一个字段，而不是一个Context实例对象 Django版本 1.11 报错的代码来自views.py：def current_datetime(request): now = datetime.datetime.now() t = get_t

2017-07-24 21:29:19 23981 5

原创 C语言实现顺序链表

1 概念：指用一个连续的地址来存储数据元素。结构类似数组2 设计与实现:a 设计要素：1）插入元素算法判断线性表是否合法判断插入位置是否合法把最后一个元素到插入位置的元素后移一个位置将新元素插入后线性表长度加1b 实现代码：#include "stdio.h"#include "stdlib.h"#include "string.h"#include "seqlist.h"typede

2017-07-24 17:16:08 900

原创 django template 基础(模板对象(Template)，上下文对象（Context）)

django template 基础(模板对象(Template)，上下文对象（Context）)1 启动python环境2 创建Template,Context对象3 context 上下文

2017-07-20 18:29:28 1915

空空如也

从快速排序来看函数递归

python 处理数据hive表 分流的的问题

求一个oracle11g rac集群详细的搭建过程，视频最好（虚拟机，centos）

python 处理数据hive表分流的的问题