5 LoveMIss-Y

尚未进行身份认证

我要认证

爱生活,爱学习,爱这个世界上一切让自己觉得快乐的东西,爱MIss-Y

等级
TA的排名 1k+

python日志记录系列教程,内置logging模块(三)——三种配置日志记录的方式

前言:python日志记录的系列文章的前面两篇文章已经介绍了,模块级别的日志记录与面向类与对象的日志记录,即:python日志记录系列教程,内置logging模块(一)——直接使用logging模块的基础日志记录python日志记录系列教程,内置logging模块(二)——logging日志进阶教程(五大核心组件)本文将在此基础之上介绍日志文件的配置方式。一、日志记录三种配置方式简介开发者可以通过三种方式配置日志记录:(1)使用调用上面列出的配置方法的 Python 代码显式创建记

2020-06-08 11:31:43

python日志记录系列教程,内置logging模块(二)——logging日志进阶教程(五大核心组件)

前言:前面的一篇文章介绍了简单的日志记录的一些操作方法,一般都是直接通过使用 logging.xxxx()的方式,这是最简单初步的日志记录,不涉及任何复杂的类和对象,但是logging日志记录本是一个非常复杂的东西,里面还会涉及到很多的概念与类,比如:记录器、处理程序、过滤器和格式化程序等概念,涉及到的类有Logger类、Handler类、Formatter类、Filter类、LogRecord类、LogAdapter类等,本文将会深入探讨它们的机制与使用方法。本篇为系列文章的第二篇。一、日志记录的核.

2020-06-08 11:08:03

python日志记录系列教程,内置logging模块(一)——直接使用logging模块的基础日志记录

前言:成熟的软件开发不可避免的要进行日志记录,python内置模块logging提供了强大的日志记录能力,本文将从多个角度,由浅入深的介绍logging的常见使用方法和一些基本概念,本此系列文章分为两篇,本文为系列文章第一篇,介绍实用logging模块进行基本的日志记录操作。本文主要都是直接使用 logging.xxxx()的方式,这是最简单初步的日志记录,不涉及任何复杂的类和对象,这些将会在下一篇文章中来说明。一、什么是日志记录所谓的日志记录就是对软件执行时所发生事件的一种追踪方式。软件开发人员.

2020-06-05 16:33:56

深入详解python高级特性——函数柯里化(Currying)与反柯里化

前言:本章的内容本来很简单,但是涉及到的理论部分相对较多,想要彻底弄懂前因后果需要具备以下几个知识点,(1)python的高阶函数(2)python的装饰器本质(3)Python的functools模块里面的偏函数的本质这三块类容我在之前的文章中已经有详细说明了,不再赘述,可以参考下面的连接中的文章:博客专栏分类,关于Python的各种高级特性都有说明关于functoo...

2020-06-03 17:23:18

tensorflow与python交互系列,tf.py_function()、tf.py_func、tf.numpy_function()(一)

前言:前面在介绍使用tensorflow进行data pipeline的时候,遇到了一些问题,特意整理了两篇文章,请参见:tfrecord文件的map在使用的时候所踩的坑总结(map、py_function、numpy_function)tensorflow2.x之由dataset.map引发出的关于tf.py_function以及tf.numpy_function问题本系列文章将深入详解这是哪个函数,即tf.py_function()、tf.py_func、tf.numpy_function(

2020-05-27 14:53:23

tfrecord文件的map在使用的时候所踩的坑总结(map、py_function、numpy_function)

前言:在使用tensorflow解析tfrecord文件的时候,踩过很多坑,其中一个便是关于tensor,eagertensor的坑,前面的一片文章已经有所说明,本文基于tensorflow2.1,在前面一篇文章的基础之上进行补充,前面的文章参考:tensorflow2.x之由dataset.map引发出的关于tf.py_function以及tf.numpy_function问题问题的原因分析,当输入X所对应的值是字符串的时候,比如前面文章中的文件路径,没有办法使用map直接解析,需要借助于tf.p

2020-05-27 10:45:03

tensorflow与pytorch的GPU分配与使用策略详解

前言:看了很多关于多GPU分配与使用的文章,发现很多文章都是只介绍了一些最浅显的东西,没有深入解释清楚,本文所使用的服务器上面含有4块 GTX2080Ti 的GPU。声明:深度学习框架所使用的GPU不是以GPU本身的个数和编号而言的,而是以我们本身给框架能够看见的GPU数量而言的,什么意思呢?一、关于GPU的可见性与框架使用的GPU的映射关系——device mapping(1)当不设定任何限制的时候,我们的框架可以看见4块GPU,所以在使用的时候对应的关系如下:/job:localhos

2020-05-09 15:11:49

tensorflow模型保存(三)——tensorflow1.x版本的savedmodel格式的模型保存与加载

前言:前面的两篇文章已经分别介绍了高层API与低层API关于各种模型的保存,比如在tensorflow2.x中如何保存checkpoint与savedmodel,在tensorflow1.x中如何保存checkpoint,本文着重介绍在tensorflow1.x版本中怎么保存savedmodel。要想恢复模型并能够正确的加载,最核心的就在于要给模型的输入与输出起一...

2020-05-06 14:19:27

tensorflow中的检查点checkpoint详解(二)——以tensorflow1.x 的模型保存与恢复为主

前言:前面专门讲解了一篇关于tensorflow2.x的文件保存,主要是介绍了两种模式,一个是keras的h5文件,一个是tensorflow专用的SavedModel(.pb文件)文件,详细请参考:详解tensorflow2.0的模型保存方法(一)本文会专门介绍tensorflow中的checkpoint,以及在tensorflow2.x以及tensorflow1.x中如何保存成chec...

2020-05-06 10:57:01

以线性回归为例,深入理解tensorflow的Operation、Tensor、Node的区别

前言:在使用tensorflow的时候,常常会被Operation、Tensor、Op_name、tensor_name等等概念搞混淆,本文专门通过一个简单的例子来深入讲解他们之间的区别于本质,并且如何在tensorboard中进行查看。一、线性回归的完整实例本文以一个两层神经网络来实现线性回归,代码如下:import tensorflow as tfimport numpy as...

2020-04-30 10:55:39

Linux中关于动态(共享)库的设置

前言:关于Linux中的动态共享库是如何使用的,程序在执行的时候是如何找到的,我们该怎么去设置,可以参考前面的几篇文章。C/C++中关于静态链接库(.a)、动态链接库(.so)的编译与使用VSCode开发C、C++环境搭建系列(二)——GCC/G++编译器对头文件、静态库、动态库的搜索路径详解本文会设计主要四个概念:/etc/ld.so.conf、/etc/ld.so.conf....

2020-04-23 14:42:47

C/C++中关于静态链接库(.a)、动态链接库(.so)的编译与使用

前言:关于Linux中环境的配置,编译等工作,有很多的坑,前面的一片文章中已经比较详细的介绍了GCC编译套件的一些东西,具体请参考:VSCode开发C、C++环境搭建系列(二)——GCC/G++编译器对头文件、静态库、动态库的搜索路径详解一、从动态库的编译说起下面通过一个例子来介绍如何生成一个动态库。这里有一个头文件:so_test.h,三个.c文件:test_a.c、test...

2020-04-23 11:41:35

numpy数组广播机制(broadcast)三原则

前言:数组广播是学习numpy和tensorflow等数学运算的基础,但是很多文章解释得不清楚,本文做一个全面的总结。Numpy的广播规则广播的前提——两个数组必须可以转化成维度大小一模一样的才可以运算:规则1:如果两个数组的维度不相同,那么小维度数组的形状将会在最左边补1.规则2:如果两个数组的形状在任何一个维度上都不匹配,那么数组的形状会沿着维度为1扩展以匹配另外一个数组的形状。规...

2020-04-21 14:30:20

python字符串格式化深入详解(四种方法)

前言:本文详细整理了python字符串格式化的几种方式。一、使用 % 符号来进行格式化格式符为真实值预留位置,并控制显示的格式。格式符可以包含有一个类型码,用以控制显示的类型,如下:%s 字符串 (采用str()的显示)%r 字符串 (采用repr()的显示)%c 单个字符%b 二进制整数%d 十进制整数%i 十进制整数%o...

2020-04-21 11:05:11

TensorFlow(2.x版本,1.x版本)以及pytorch版本中关于GPU的信息查看以及GPU的配置问题

前言:我们一般使用深度学习框架都是GPU版本的,如何检测我们的安装是否成功,GPU、CUDA、CUDNN等信息呢?本文做了一个归纳总结:一、tensorflow版本的GPU信息查看(1)tensorflow版本tf.__version__ tensorflow版本tf.__xxxxx__ 一些信息的查看tf.verison.xxxx 一些信息tf.te...

2020-04-14 17:50:35

详解tensorflow2.0的模型保存方法(一)

前言:tensorflow2.0中有很多种模型保存方法,为了做一个统一的比较,本文做一个归纳总结,加之自己在这上面踩过很多的坑,现在感觉做一个总结实在是有必要。因为tensorflow创建模型的方式很多,包括Sequence、Model、SubClass Model,我们可以保存所有的模型,也可以仅仅保存权重。本文为系列文章第一篇,介绍各种模型保存方法,后面还会介绍checkpoint以及Sa...

2020-04-14 11:47:15

tensorflow2.x个人学习笔记以及tensorflow踩坑日记

前言:下面整理了tensorflow2.x学习的过程中自己整理的一些笔记,后续会不断的更新一、服务器端的tensorboard文件如何在本地浏览器中查看(1)第一步:登录服务器:——使用SSH登录在本地计算机使用先用ssh工具重定向:ssh -L 16006:127.0.0.1:6006 name@server_ip -p 22 # 你的用户名name和ip 有的服务器做了端口...

2020-04-02 17:52:25

tensorflow2.x之由dataset.map引发出的关于tf.py_function以及tf.numpy_function问题

前言:tensorflow是一个庞大的系统,里面的函数很多,实现了很多常规的一些操作,但是始终没有办法涵盖所有的操作,有时候我们需要定义一些自己的操作逻辑来实现制定的功能,发现没那么简单,本文是在编写tf.data.DataSet的时候出现的一个问题,做了一个集中化的总结,会涉及到以下概念:EagerTensor和Tensor,tf.py_function以及tf.numpy_function...

2020-04-01 17:16:46

TensorFlow的数据pipeline系列:使用dataset结合Example和SequenceExample协议的解析方法比较(四)

前言:本文详细介绍tf.train.Example和tf.train.SequenceExample的区别,前面的几篇文章参见:tensorflow的Data Pipeline系列教程(一)——Dataset类的属性即常用方法TensorFlow的数据pipeline系列:Datasets+TFRecord的数据导入(二)TensorFlow之tfrecords文件详细教程Tens...

2020-03-27 11:58:09

TensorFlow的数据pipeline系列:tf.train.Example和tf.train.SequenceExample协议的比较(三)

前言:本文详细介绍tf.train.Example和tf.train.SequenceExample的区别,前面的几篇文章参见:tensorflow的Data Pipeline系列教程(一)——Dataset类的属性即常用方法TensorFlow的数据pipeline系列:Datasets+TFRecord的数据导入(二)TensorFlow之tfrecords文件详细教程一、tf...

2020-03-25 17:04:23

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 图书勋章
    图书勋章
    CSDN技术图书作者专属勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。