- 博客(12)
- 资源 (1)
- 收藏
- 关注
原创 最详细的python装饰器详解
先直接看例子def play1(fn): def inner(x, y, *args, **kwargs): print(args[0]) print(kwargs.get('name')) b = fn(x, y) print('b: ' + str(b)) print('99999') return b return innerdef play2(f1): def inn.
2020-08-28 17:19:56 213
原创 python3进程池pool使用及注意事项
1.在python中使用进程池主要就是为了并行处理任务,缩短运行时间2.经常使用方法: 同步有 apply(), map();异步的有 apply_async(), map_async()3. 先看几个小例子import time from multiprocessing import Pool test = [1,2,3,4,5,6,7,8]def run(fn): ti...
2019-09-24 17:25:00 1735 1
原创 python3.6.5基于kerberos认证的hdfs,hive连接调用(含基础环境配置)
1需要准备的环境yum包(需要先装yum包,再装python包,不然会有问题) yum install openldap-clients -y yum install krb5-workstation krb5-libs -y yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64 yum...
2019-09-10 17:11:34 3738 6
原创 python3.6.5 centos快速安装
#!/bin/bashyum groupinstall 'Development Tools'yum install zlib-devel bzip2-devel openssl-devel ncurses-develwget --no-check-certificate https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz...
2019-07-02 17:51:27 193
原创 python3.6.5基于kerberos认证的hive和hdfs连接调用
1.Kerberos是一种计算机网络授权协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证。具体请查阅官网2. 需要安装的包(基于centos)yum install libsasl2-devyum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64yum install python-devel ...
2019-07-02 17:45:56 6664 10
原创 AttributeError: 'module' object has no attribute 'lru_cache'
报错如下:Connected to pydev debugger (build 172.4343.24)Traceback (most recent call last): File "D:\soft\pycharm\PyCharm 2017.2.4\helpers\pydev\pydevd.py", line 1599, in <module> globals = ...
2018-07-24 22:09:50 4913
原创 class 'tensorflow.python.framework.errors_impl.UnavailableError, OS Error
具体报错如下:2018-07-24 16:28:43.875720: E tensorflow/core/distributed_runtime/master.cc:269] Master init: Unavailable: OS ErrorINFO:tensorflow:Error reported to Coordinator: <class 'tensorflow.python...
2018-07-24 17:43:48 3123 1
原创 truncated record at 132658019
具体报错如下:INFO:tensorflow:Error reported to Coordinator: <class 'tensorflow.python.framework.errors_impl.DataLossError'>, truncated record at 132658019 [[Node: parallel_read/ReaderReadV2_2 =...
2018-07-24 11:01:29 3312 2
原创 tensorflow分布式情况下,ps负载不均衡
先说下问题背景,在tensorflow官方支持的分布式中,即ps,worker模式中,由于模型变量的因素,导致变量在ps上初始化的时候负载不均衡,到时影响训练性能,最近就遇到这种问题,测的是inception_v3这个模型,在分布式中,看各个ps所在机器cup利用率和网络带宽差异很大,然后就做了ps上变量的负载均衡,负载均衡后,性能提升大约在10%~20%左右,具体不多说,直接上代码...
2018-07-23 14:39:12 2927
原创 assertion failed: [Unable to decode bytes as JPEG, PNG, GIF, or BMP
具体报错如下:INFO:tensorflow:Error reported to Coordinator: <class 'tensorflow.python.framework.errors_impl.InvalidArgumentError'>, assertion failed: [Unable to decode bytes as JPEG, PNG, GIF, or BM...
2018-07-23 14:16:21 4758 10
原创 生成tfrecod类型数据集
最近在做tensorflow分布式训练时,遇到一个问题,就是在分布式文件系统中,tensorflow读取jpeg数据很慢,因为有十几万的图片,导致要读半个小时以上,所以想提高数据读取速度,就把jpeg数据转换成tfrecord类型数据。我已celeba数据为例,二十多万张图片,转换成tfrecord类型的数据后,读取这些数据只要30秒左右。 其实在tensorflow...
2018-04-07 20:54:31 656
原创 Could not satisfy explicit device specification '/job:worker/task:0/device:GPU:1' because no support
如上图报错,说gpu没有支持的kernel。原因是应为在tensorflow中,定义在图中的op,有的只能再cup中运行,gpu中不支持。解决方法就是让op自动识别,让它选择在合适的地方运行即可。如果op中有标识的话,在运行的时候指定在cup上执行,如果无法区分的话,可以试试在sess.run的时候加入allow_soft_placement=True。例如:sess = tf.Session(c...
2017-12-12 19:38:47 4094
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人