10 风中静行

尚未进行身份认证

一个相信科技改变生活的有信仰的程序猿

等级
TA的排名 2k+

Python抽象类(ABC)浅析

今天在看apscheduler源代码中,看到abc.py这个文件,出于好奇,深入看了一下。abc的缩写是Abstract Base Classes,翻译就是抽象基类。详细链接可以查看此处可以看出这个是类是2007年,由Python创始人Guido van Rossum和Talin一起引入的。引入目的:重载isinstance()和issubclass()。 增加新模块abc...

2019-11-12 16:45:05

Linux查看公有IP和私有IP的办法

查看公有IP:curl ifconfig.me curl -4/-6 icanhazip.com curl ipinfo.io/ip curl api.ipify.org curl checkip.dyndns.org dig +short myip.opendns.com @resolver1.opendns.com host myip.opendns.com resolver1...

2019-10-31 15:48:26

用Python如何检查一个列表是否为另一个列表的子集?

要实现一个方法,验证参数中是否全部包含必填?params = { "ImageId": '', "RegionId": '', "VSwitchId": '', "SecurityGroupId": '', "InstanceName": '', "InstanceType": '', "Amount": '', "Inte...

2019-10-28 16:12:44

Jenkins访问Github private项目报权限访问错误

协助同事定位一个访问git问题。报错 stderr: remote: Invalid username or password.首先我检查一个pub和privatekey,发现里面的key是用root生成的。而jenkins默认访问进行服务器鉴权时候是用jenkins用户的。所以要用jenkins生产SSH-Pairs。一些命令:查看当前用户whoami 或者 echo...

2019-10-24 11:23:27

FTP地址Python正则解析

今天看到以下这段代码:import re_USER_RE = r'''(?P<user>[^:@]+|'[^']+'|"[^"]+")'''_PASSWORD_RE = r'''(?P<password>[^@]+|'[^']+'|"[^"]+")'''_CREDS_RE = r'{}(?::{})?'.format(_USER_RE, _PASSWORD_...

2019-10-08 19:16:14

Google开发高可用应用的最佳实践

本文总结在Google内部分享。为了开发易扩展、高可用、高安全的应用应该遵守哪些最佳实践呢?主要从四个方面考虑:1 代码和环境管理2 设计和实现3 扩展性和可靠性4 易迁移实践点:利用版本管理系统(Git或者Subversion)来管理代码 不要在代码中保存第三方包或者插件,建议使用依赖插件管理工具来进行配置依赖组件 应用配置文件和代码相分离,不要在源代码中把...

2019-09-16 15:12:23

Python实现移动平均数

首先,什么是移动平均数呢?(来自百度百科)若依次得到测定值时,按顺序取一定个数所做的全部算术平均值。 例如等是移动平均值详细可以点击此处链接Python中是如何实现呢?Python中有个一个现有的类, deque.这个一个双向队列。我们知道,队列具有先进先出的特点。算法原理是:假设一组数据是:[40, 30, 50, 46, 39, 44]1、首先可以...

2019-09-06 17:14:10

7种提高代码阅读能力的方法

阅读源代码是软件开发人员的工作任务之一。但是,这种经历并不总是令人愉快的。不是每个人都想阅读其他人的代码,因为他们发现它很无聊,有时令人沮丧。有些情况下,当你开始阅读其他人的代码但最终会因为无法理解或代码写得不好而感到痛苦。大多数开发人员都希望专注于编码而不是阅读,并且意识不到阅读代码也是一项技能。但是,阅读源代码具有多方面的好处。阅读代码的回报是巨大的。可以将编码与文献进行比较。你会看到,大...

2019-08-13 17:08:26

Python从字符串串中如何提取国家、地区或者城市信息?

今天有位朋友请教,如何在不联网的情况下,从根据几个地址获取所在国家的ISO编码?比如: 快递地址是西安市丈八六路12小区,国家ISO编码:CHN我解决思路是:1、首先要从几个地址拼接在一起,然后从中提取信息,城市、省份/State或者国家 ,因为这个地址中不一定包含省和国家2、获得信息之后去哪里找对应关系,比如如果是个城市,如何找到所属国家第一个问题的解决办法我想到2种。就...

2019-07-17 17:16:15

【Tensorflow】训练多特征模型

说明:这个学习代码来自于Google的COLAB, 原链接点击here.课程目的:1、用多个特征代替单个特征,来提高模型的有效性2、调试输入数据的异常值3、用测试集验证模型是否过度拟合于验证集准备环境,如果不清楚可以看我写的第一篇博客,点击此处特征预处理:检查数据:打乱代码:california_housing_dataframe =...

2019-06-27 16:18:44

Tensorflow入门第一步

说明:这个学习代码来自于Google的COLAB, 原链接点击here.课程目的:1、了解Tensorflow的基本概念2、用TEnsorflow自带的逻辑回归算法预测房价中位数3、利用均方根误差RMSE来评估模型预测准确度(如果不清楚RMSE是什么,请点击此处看我的另一篇博客)4、通过调整超参数来提高模型的准确度代码下载点击此处如果报如下错误:M...

2019-06-13 16:15:44

【pandas入门】创建DataFrame的7种方法

笔者在学习pandas,在学习过程中总结了一下创建dataframe的方法,通过查阅资料总结遗下几种方法,如果你有其他的方法欢迎留言补充。练习代码 请点击此处下载学习环境:第一种: 用Python中的字典生成第二种: 利用指定的列内容、索引以及数据第三种:通过读取文件,可以是json,csv,excel等等。本文例子就用excel, 上篇博客笔者已经用csv举例...

2019-06-06 15:30:23

【pandas入门】pandas的基本操作

学习目标:1、熟悉pandas工具的一些基本概念,了解DataFrame和Series数据结构2、基于DataFrame 和 Series数据结构操作数据3、 导入CSV到pandas的DataFrame数据结构4、利用函数reindex将pandas里面的数据进行随机打乱一、基本概念: 基本环境和代码在我的github进行下载,第一课Github链接Dat...

2019-06-03 17:29:27

用户账号、授权以及密码管理的12个最佳实践

帐户管理,授权和密码管理可能很棘手。 对于许多开发人员来说,帐户管理是一个遗忘的部分,没有得到足够的重视。 对于产品经理和客户而言,由此产生的体验往往达不到预期。幸运的是,谷歌云平台(GCP)带来了一些工具,可以帮助您围绕用户帐户(这里指所有想要访问系统的人,不分客户账号或者内部账号)的创建,安全处理和身份验证做出正确的决策。 无论您是负责Google Kubernetes Engine中托管...

2019-04-30 17:33:16

【机器学习】Google Developer-特征交叉

1、什么是特征交叉?特征交叉是通过组合两个或更多个特征而形成的合成特征, 通过特征组合的方式增加特征的维度,以求得更好的训练效果。如下图,无法用一条直线来对两组数据进行分类。但是如果我们如果增加一个组合特征x1x2,得到分类图如下,下图我们就可以很好对两个类型的数据进行分类了。2、如何进行有效组合特征?2.1 针对数值型的特征一般直接进行相乘。例如[A X B]:...

2019-04-12 11:09:32

【机器学习】Google Developer-特征工程介绍

Table of Contents1、什么是特征工程?2、 那么将原始数据如何进行转换呢?2.1 数值映射2.2 分类值映射3、如何提高特征的质量?3.1 尽量避免很少使用离散的特征值3.2 推荐特征使用清晰且明确的含义3.3 不要将异常数据和真实数据相混淆3.4 考虑使用特征值的数据不要随意变化4、数据如何清洗?4.1 缩放特征值4.2 处理极端...

2019-04-09 17:06:56

Google Cloud 专业数据工程师经验分享

写在前面:考试结束后,趁还记着的时候我赶紧记录下来。因为这些是没有顺序的,我只是根据自己遇到的问题总结一下考点。我记录考点的目的不是为您提供问题,而是为您提供您可以备考的重点。 我经常被一些问题困扰; 希望你可以根据我的经验做好准备。 祝你一切顺利!因为我以前有参加过其他认证考试的经验,我觉得数据工程师认证整体相对简单。在考试结束后我又回顾了一下所有的问题,方便后期提醒我覆盖的知识点,我觉...

2019-03-06 14:46:44

关于机器学习工程的最佳实践

本文档旨在帮助已掌握机器学习基础知识的人员从 Google 机器学习的最佳实践中受益。它介绍了一种机器学习样式,类似于 Google C++ 样式指南和其他常用的实用编程指南。如果您学习过机器学习方面的课程,或者拥有机器学习模型的构建或开发经验,则具备阅读本文档所必需的背景知识。术语在我们讨论有效的机器学习的过程中,会反复提到下列术语:实例:要对其进行预测的事物。例如,实例可以是...

2019-03-06 11:45:26

Google Cloud的专业架构师和专业云工程师认证经验分享

首先说一下自己情况:在2018年年底,因工作需要通过GCP的专业认证。我大概这样复习的,首先大概花了1个月利用下班的时间学习Coursera的课程,在Coursera上针对GCPArchitect的课程有6节课程,课程中还包括Qwiklabs的实验。当时报名在2019年1月份参加考试。由于考试前10天手头有个高优先级的需求,所以我中途就在没看。第一次没有通过。总结失败经验:1、在...

2019-02-19 16:15:04

各大厂分布式链路跟踪系统架构对比

 随着互联网架构的扩张,分布式系统变得日趋复杂,越来越多的组件开始走向分布式化,如微服务、消息收发、分布式数据库、分布式缓存、分布式对象存储、跨域调用,这些组件共同构成了繁杂的分布式网络,那现在的问题是一个请求经过了这些服务后其中出现了一个调用失败的问题,只知道有异常,但具体的异常在哪个服务引起的就需要进入每一个服务里面看日志,这样的处理效率是非常低的。     分布式调用链其实就是将一次...

2018-12-28 10:40:17

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。