- 博客(30)
- 收藏
- 关注
原创 python多线程统计大文件字数并对返回值进行计算
large_txt_count.py# _*_coding:utf-8_*_import timeimport threadingimport configparserimport osfrom datetime import datetimeclass MyThread(threading.Thread): def __init__(self, func, arg...
2019-09-28 23:15:21 294
原创 多进程与多线程及python编程选择
在对python的多线程与多进程讨论之前,我先提出一个论点,即一个矛盾点,使用python编程,不论你选择多线程还是多进程都是不合适的,当然,此处的“不合适”也公限于相对而言因为本文有多处引用这位老兄的文档,所以我在这先把他的文章链接给出:https://blog.csdn.net/youanyyou/article/details/78990156 而且先明白一个真理,也是一个常识,C...
2019-09-21 15:52:07 130
原创 快速排序实现
快速排序实现的前提有两个:1、基线条件2、归纳条件现在来具体解释一个这两个条件基线条件:排序说白了就是比较数的大小,比较的时候至少有两个数吧!(因为一个数是不能比较的,就像比较好与坏,也要有个对象吧!)基线的意思就是这个标准,例如:基线是5,你可以拿1与5比较,1比5小,10与5比较,10比5大,这就是基线。归纳条件:可以从这个字面意思来分析,需要借助于上面这个名词,基线,归纳...
2019-09-19 11:02:20 129
原创 记python 字典操作的一个小窍门
如果有这样一个需要,从字典中取出一个键的值,但是不确定这个键是否存在,而我们想给他一个默认值,这个时候就可以使用字典的这个函数# example>>li = {"name":"Jhon", "age": 18}>>address = li.setdefault("address", "beijing")>> "beijing">>ag...
2019-09-10 15:20:20 140
原创 使用certbot为网站服务添加https免费安全认证
certbot的网站主页https://certbot.eff.org/lets-encrypt/centosrhel7-nginx以下主要记录在操作时候的一些注意事项一、准备工作 1、首先要有域名,配置好nginx ,必须使用80端口,供certbot访问认证 2、在认证的过程中会出现一个 requests认证的bug,推荐 pip2.7 instal...
2019-08-26 19:21:26 919 1
原创 gunicorn与python web部署
常用架构,nginx负责动态的转发和静态文件的直接访问,gunicorn作为网关服务用来解析http请求,python web框架 django 或flask只是个application相比于uWSGI,gunicorn 具有使用非常简单,轻量级的资源消耗,以及高性能等特点。gunicorn 启动方式gunicorn-w2-bunix:sockapp:app-kge...
2019-08-22 14:21:54 270
原创 python使用装饰器实现单例模式
# 装饰器实现单例模式def singleton(cls, *args, **kwargs): instances = {} def get_instance(*args, **kwargs): if cls not in instances: instances[cls] = cls(*args, **kwargs) ...
2019-02-20 15:42:14 670
原创 mysql 建表的注意点
1、根据业务需要,如果只是使用某个表,则可以如下去建了表CREATE DATABASE dbname DEFAULT CHARSET utf8 COLLATE utf8_general_ci;2、建完表之后,需要为可以访问或操作这个表的用户分配权限,简单的把所以的权限分配给这个表可以这样做,即把所有的权限权限分配给root用户,而且root用户可以远程登录grant all pri...
2019-02-15 10:24:29 276
原创 在windows下安装mysql5.6用于测试
在安装的过程中遇到了许多的坑,在此一一记录下来,下次再遇到此问题的时候避免再次浪费时间1、windows上安装有两种方式,一是从官网上下载 ***.msi文件,这种方式安装的时候会有许多的选项,一不小心就会进入坑,怎么也上来来,比如我原来安装了一下 8.1的版本,然后我由于测试的需要,把高版本卸载安装低版本,不知什么原因,我下载的是低版本的 msi文件,在安装的过程中我只能选择到高版本的安装...
2019-02-15 09:59:47 208
原创 python新式类的继承
python2 有新式类与旧式类区分,但python3已没有区别,均使用的是新式类(即继承于object的类)新式类的继承使用的是广度优先的算法,所以对比于旧式类还是有很大的区别,我们通过一张照片来看下广度优先的实例 ...
2018-12-28 09:52:44 230
原创 django 使用gunicorn加载静态文件
在项目 xxx/ryweixin/urls.py中加入:from django.contrib.staticfiles.urls import staticfiles_urlpatternsurlpatterns = [ url('^admin/', admin.site.urls),]urlpatterns += staticfiles_urlpatterns()其中的...
2018-12-27 16:10:03 1948 1
原创 django rest-framework APIView详解
APIView 是对 from django.views.generic.base import Viewdjango 自带的 View 的封装,先来看一下使用 View 的实例:import jsonfrom django.views.generic.base import Viewfrom django.core import serializersfrom dj...
2018-12-27 09:13:29 727
原创 在centos7上安装rabbitmq
1、rabbitmq 是erlang 编写的,所以在先安装Erlang rpm -Uvh http://www.rabbitmq.com/releases/erlang/erlang-18.1-1.el7.centos.x86_64.rpm2、安装rabbitmqrpm --import https://www.rabbitmq.com/rabbitmq-signing-key-...
2018-08-30 13:12:07 178
转载 python3字符串编码
Python3 字符编码python3解决了python2在编码上的一些缺陷 使用 ASCII 码作为默认编码方式,对中文处理很不友好。 把字符串的牵强地分为 unicode 和 str 两种类型,误导开发者 首先,Python3 把系统默认编码设置为 UTF-8str:>>> a = "a">>> a'a'>>...
2018-08-08 15:23:27 478
原创 python 程序退出的几种方式
1、sys.exit()2、os._exit()3、exit() exit(1)表示正常退出 exit(0)表示非正常退出
2018-08-08 15:22:41 29695 3
原创 python 多进程与多线程
一、二者的关系 1、进程是操作系统分配资源的最小单元,线程是操作系统调度的最小单元,一个进程下面可以有多个线程,线程不能分配资源,只能共享资源。 2、启动线程的方法 把一个函数传入并创建Thread实例,然后调用start()开始执行 import threadingimport timedef loop(x): pr...
2018-07-30 15:50:56 170
原创 在windows上安装python 虚拟环境遇到的一个坑
使用pip install virtualenv 之后,试图通过 virtualenv --no-download myenv 创建一个python的虚拟环境但是出现了一个问题,在出错的最后一行报一个错:OSError: Command E:\virtual-env\mysite_env\Scripts\python.exe - setuptools pip wheel failed wi...
2018-07-27 23:18:49 2896 1
原创 python 类变量、实例变量 -----温故而知新
今天在学习Java的时候遇到一个关于对象赋值的问题,要给所赋的值加一个判断,突然想到python中关于类变量,实例变量的定义,于是去找一个两个不同的语言对于类中变量的定义,又结合不久前做的一个程序,对类变量与实例变量做一个总结与梳理: import randomimport stringclass A: x = [] y = 0 z = {} k ...
2018-07-25 10:49:47 328
原创 hbase shell 操作失败查看日志遇到的一个bug
File /hbase/.tmp/hbase.version could only be replicated to 0 nodes instead of minReplication (=1).这是由于 hadoop 的hdfs系统 中datanode没有与 namenode 连接页产生的,所以需要在namenode的 50070web页面上查看是否有datanode连接。...
2018-07-24 17:28:26 2051
原创 python 连接HBase服务器遇到的一个坑
在使用python连接HBase安装各种依赖包的过程中需要根据 HBase 的源码来生成一个gen-py包,我使用的是python3.5,HBase的版本是1.2.6,在/hbase-1.2.6.1/hbase-thrift/src/main/resources/org/apache/hadoop/hbase 文件夹下面有两个文件夹 thrift thrift2,网上查来的许多资料都是使用 ...
2018-07-24 15:27:49 1949 2
原创 hive级联查询
级联查询练习建表:create table t_access_times(name string,month string,salary int)row format delimitedfields terminated by ',';数据:load data local initdb '/root/jilian_data.txt' into table t_access_times...
2018-07-17 11:18:50 724
原创 使用python连接hdfs 文件系统,实现上传文件
一、在用户的根目录下写配置文件(mypython) [root@hadoop-yarn-117 ~]# vi .hdfscli.cfg [global]default.alias = dev[dev.alias]url = http://hadoop-yarn-117:50070user = root 二、使用python 连接from hdfs import Configcli...
2018-07-16 14:53:21 3710
原创 pip 安装pyhs2出现错误解决的方法
错误: sasl/saslwrapper.h:22:23: 致命错误:sasl/sasl.h:没有那个文件或目录需要安装几个包解决这个问题yum install cyrus-sasl-lib.x86_64 cyrus-sasl-devel.x86_64 libgsasl-devel.x86_64 -ypip install pyhs2 -i https://pypi.douban.com/s...
2018-07-16 14:46:42 1705 1
原创 hadoop集群搭建
hadoop 版本: 2.9.1集群搭建的工具: 1、开源:http://ambari.apache.org/team-list.html 2、收费:https://www.cloudera.com/一、文件下载解压 (1)编译好的 345M wget -P [download-to-dir] https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/...
2018-07-16 14:27:45 113
原创 python super类继承
class Parent(object): def __init__(self): self.parent = 'I am the parent' print('parent') def bar(self, message): print(message, 'from parent')class FooChile(Parent...
2018-05-28 10:16:28 845
原创 阿里云设置图片界面
1、先安装 MATE Desktopyum groups install "MATE Desktop"2、再安装 X Window System。yum groups install "X Window System"设置默认通过桌面环境启动服务器:systemctl set-default graphical.target(命令行模式启动:systemctlset-default multi...
2018-05-08 11:38:26 188
原创 python super
在初始化父类属性的时候需要用到: class A(object): def __init__(self, xing, gender): self.namea = "aaa" self.xing = xing self.gender = gender def funca(self): var = "funct...
2018-05-08 10:09:34 137
原创 wagtail 实现中英文
1、在settings中设置使用本地自定义的语言MIDDLEWARE = [ 'django.contrib.sessions.middleware.SessionMiddleware', 'django.middleware.locale.LocaleMiddleware', #添加 'django.middleware.common.CommonMiddleware'...
2018-04-16 16:20:24 2252
原创 spark以standalone集群方式启动
折腾了一个下午,终于部署完成了,在这期间遇到几个需要注意的地方,记录下来,以防下次再被坑到1、在配置spark-env的时候需要export java_home 所以需要查找JAVA_HOME ,此处是centos7版本 (1)which java /usr/bin/java (2)ls -la /usr/bin/java /usr/bin/java -> /etc...
2018-04-11 09:43:26 646
原创 记一个在pycharm配置spark的坑
在完全配置以下环境后:jdk:1.8spark:2.1python:3.5pip install pyspark==2.3完成以上配置后,在pycharm中只能对RDD作collect()操作,其它操作总会报号 ‘int' can't itener 错误以为是没有安装scala引起的失误,安装scala2.12.3之后还是不行,试着安装spark-2.3.0版本,结果终于可以了,果然是个大坑啊.....
2018-04-10 11:22:38 522
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人