- 博客(441)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 Python抽象类（ABC）浅析
今天在看apscheduler源代码中，看到abc.py这个文件，出于好奇，深入看了一下。abc的缩写是Abstract Base Classes，翻译就是抽象基类。详细链接可以查看此处可以看出这个是类是2007年，由Python创始人Guido van Rossum和Talin一起引入的。引入目的：重载isinstance（）和issubclass()。 增加新模块abc...
2019-11-12 17:38:35
2047
1
转载 Linux查看公有IP和私有IP的办法
查看公有IP：curl ifconfig.me curl -4/-6 icanhazip.com curl ipinfo.io/ip curl api.ipify.org curl checkip.dyndns.org dig +short myip.opendns.com @resolver1.opendns.com host myip.opendns.com resolver1...
2019-10-31 15:56:32
3157
原创 用Python如何检查一个列表是否为另一个列表的子集？
要实现一个方法，验证参数中是否全部包含必填？params = { "ImageId": '', "RegionId": '', "VSwitchId": '', "SecurityGroupId": '', "InstanceName": '', "InstanceType": '', "Amount": '', "Inte...
2019-10-28 16:23:45
5403
原创 Jenkins访问Github private项目报权限访问错误
协助同事定位一个访问git问题。报错 stderr: remote: Invalid username or password.首先我检查一个pub和privatekey，发现里面的key是用root生成的。而jenkins默认访问进行服务器鉴权时候是用jenkins用户的。所以要用jenkins生产SSH-Pairs。一些命令:查看当前用户whoami 或者 echo...
2019-10-24 11:46:40
1271
原创 FTP地址Python正则解析
今天看到以下这段代码：import re_USER_RE = r'''(?P<user>[^:@]+|'[^']+'|"[^"]+")'''_PASSWORD_RE = r'''(?P<password>[^@]+|'[^']+'|"[^"]+")'''_CREDS_RE = r'{}(?::{})?'.format(_USER_RE, _PASSWORD_...
2019-10-08 20:03:44
783
原创 Google开发高可用应用的最佳实践
本文总结在Google内部分享。为了开发易扩展、高可用、高安全的应用应该遵守哪些最佳实践呢?主要从四个方面考虑：1 代码和环境管理2 设计和实现3 扩展性和可靠性4 易迁移实践点：利用版本管理系统（Git或者Subversion）来管理代码 不要在代码中保存第三方包或者插件，建议使用依赖插件管理工具来进行配置依赖组件 应用配置文件和代码相分离，不要在源代码中把...
2019-09-16 15:44:32
309
1
原创 Python实现移动平均数
首先，什么是移动平均数呢？（来自百度百科）若依次得到测定值时，按顺序取一定个数所做的全部算术平均值。 例如等是移动平均值详细可以点击此处链接Python中是如何实现呢？Python中有个一个现有的类， deque.这个一个双向队列。我们知道，队列具有先进先出的特点。算法原理是：假设一组数据是：[40, 30, 50, 46, 39, 44]1、首先可以...
2019-09-06 18:15:26
13596
2
翻译 7种提高代码阅读能力的方法
阅读源代码是软件开发人员的工作任务之一。但是，这种经历并不总是令人愉快的。不是每个人都想阅读其他人的代码，因为他们发现它很无聊，有时令人沮丧。有些情况下，当你开始阅读其他人的代码但最终会因为无法理解或代码写得不好而感到痛苦。大多数开发人员都希望专注于编码而不是阅读，并且意识不到阅读代码也是一项技能。但是，阅读源代码具有多方面的好处。阅读代码的回报是巨大的。可以将编码与文献进行比较。你会看到，大...
2019-08-13 17:08:26
1382
原创 Python从字符串串中如何提取国家、地区或者城市信息？
今天有位朋友请教，如何在不联网的情况下，从根据几个地址获取所在国家的ISO编码？比如： 快递地址是西安市丈八六路12小区，国家ISO编码：CHN我解决思路是：1、首先要从几个地址拼接在一起，然后从中提取信息，城市、省份/State或者国家 ，因为这个地址中不一定包含省和国家2、获得信息之后去哪里找对应关系，比如如果是个城市，如何找到所属国家第一个问题的解决办法我想到2种。就...
2019-07-17 17:16:15
10601
12
原创 软考高级分数出来了，分享一下经验！
说明： 此文不是为了打广告，是发自内心感谢卢老师以及分享经验。今天上半年国家高级软考成绩出来了，我查了一下自己成绩58、59、46。按照以往的合格线，这个分数应该能过线了。我在信管网上看了考友留言，今年论文卡得严，好多都是在45分～48分之间，信管网估计合格线也是45.在此特别感谢卢海强老师，发自内心地说声谢谢。我和卢老师从未谋面，所以他肯定不认识我，我也未见他人，即使路上也不认识他。...
2019-06-28 11:50:21
314
翻译 【Tensorflow】训练多特征模型
说明：这个学习代码来自于Google的COLAB, 原链接点击here.课程目的：1、用多个特征代替单个特征，来提高模型的有效性2、调试输入数据的异常值3、用测试集验证模型是否过度拟合于验证集准备环境，如果不清楚可以看我写的第一篇博客，点击此处特征预处理：检查数据：打乱代码：california_housing_dataframe =...
2019-06-27 16:18:44
2135
1
翻译 Tensorflow入门第一步
说明：这个学习代码来自于Google的COLAB, 原链接点击here.课程目的：1、了解Tensorflow的基本概念2、用TEnsorflow自带的逻辑回归算法预测房价中位数3、利用均方根误差RMSE来评估模型预测准确度（如果不清楚RMSE是什么，请点击此处看我的另一篇博客)4、通过调整超参数来提高模型的准确度代码下载点击此处如果报如下错误：M...
2019-06-13 16:15:44
526
原创 【pandas入门】创建DataFrame的7种方法
笔者在学习pandas,在学习过程中总结了一下创建dataframe的方法，通过查阅资料总结遗下几种方法，如果你有其他的方法欢迎留言补充。练习代码 请点击此处下载学习环境：第一种： 用Python中的字典生成第二种： 利用指定的列内容、索引以及数据第三种：通过读取文件，可以是json,csv,excel等等。本文例子就用excel, 上篇博客笔者已经用csv举例...
2019-06-06 15:30:23
51265
2
翻译 【pandas入门】pandas的基本操作
学习目标：1、熟悉pandas工具的一些基本概念，了解DataFrame和Series数据结构2、基于DataFrame 和 Series数据结构操作数据3、 导入CSV到pandas的DataFrame数据结构4、利用函数reindex将pandas里面的数据进行随机打乱一、基本概念： 基本环境和代码在我的github进行下载,第一课Github链接Dat...
2019-06-03 17:29:27
540
翻译 用户账号、授权以及密码管理的12个最佳实践
帐户管理，授权和密码管理可能很棘手。 对于许多开发人员来说，帐户管理是一个遗忘的部分，没有得到足够的重视。 对于产品经理和客户而言，由此产生的体验往往达不到预期。幸运的是，谷歌云平台（GCP）带来了一些工具，可以帮助您围绕用户帐户（这里指所有想要访问系统的人，不分客户账号或者内部账号）的创建，安全处理和身份验证做出正确的决策。 无论您是负责Google Kubernetes Engine中托管...
2019-04-30 17:33:16
1647
原创 【机器学习】Google Developer-特征交叉
1、什么是特征交叉？特征交叉是通过组合两个或更多个特征而形成的合成特征， 通过特征组合的方式增加特征的维度，以求得更好的训练效果。如下图，无法用一条直线来对两组数据进行分类。但是如果我们如果增加一个组合特征x1x2，得到分类图如下，下图我们就可以很好对两个类型的数据进行分类了。2、如何进行有效组合特征？2.1 针对数值型的特征一般直接进行相乘。例如[A X B]:...
2019-04-12 11:09:32
1908
原创 【机器学习】Google Developer-特征工程介绍
Table of Contents1、什么是特征工程？2、 那么将原始数据如何进行转换呢？2.1 数值映射2.2 分类值映射3、如何提高特征的质量？3.1 尽量避免很少使用离散的特征值3.2 推荐特征使用清晰且明确的含义3.3 不要将异常数据和真实数据相混淆3.4 考虑使用特征值的数据不要随意变化4、数据如何清洗？4.1 缩放特征值4.2 处理极端...
2019-04-09 17:06:56
569
翻译 Google Cloud 专业数据工程师经验分享
写在前面：考试结束后，趁还记着的时候我赶紧记录下来。因为这些是没有顺序的，我只是根据自己遇到的问题总结一下考点。我记录考点的目的不是为您提供问题，而是为您提供您可以备考的重点。 我经常被一些问题困扰; 希望你可以根据我的经验做好准备。 祝你一切顺利！因为我以前有参加过其他认证考试的经验，我觉得数据工程师认证整体相对简单。在考试结束后我又回顾了一下所有的问题，方便后期提醒我覆盖的知识点，我觉...
2019-03-06 14:46:44
2428
转载 关于机器学习工程的最佳实践
本文档旨在帮助已掌握机器学习基础知识的人员从 Google 机器学习的最佳实践中受益。它介绍了一种机器学习样式，类似于 Google C++ 样式指南和其他常用的实用编程指南。如果您学习过机器学习方面的课程，或者拥有机器学习模型的构建或开发经验，则具备阅读本文档所必需的背景知识。术语在我们讨论有效的机器学习的过程中，会反复提到下列术语：实例：要对其进行预测的事物。例如，实例可以是...
2019-03-06 11:45:26
816
原创 Google Cloud的专业架构师和专业云工程师认证经验分享
首先说一下自己情况：在2018年年底，因工作需要通过GCP的专业认证。我大概这样复习的，首先大概花了1个月利用下班的时间学习Coursera的课程，在Coursera上针对GCP Architect的课程有6节课程，课程中还包括Qwiklabs的实验。当时报名在2019年1月份参加考试。由于考试前10天手头有个高优先级的需求，所以我中途就在没看。第一次没有通过。总结失败经验：1、 在...
2019-02-19 16:15:04
17106
4
转载 各大厂分布式链路跟踪系统架构对比
随着互联网架构的扩张，分布式系统变得日趋复杂，越来越多的组件开始走向分布式化，如微服务、消息收发、分布式数据库、分布式缓存、分布式对象存储、跨域调用，这些组件共同构成了繁杂的分布式网络，那现在的问题是一个请求经过了这些服务后其中出现了一个调用失败的问题，只知道有异常，但具体的异常在哪个服务引起的就需要进入每一个服务里面看日志，这样的处理效率是非常低的。 分布式调用链其实就是将一次...
2018-12-28 10:40:17
680
原创 计算广告学学习笔记---计算过广告基本概念
学刘鹏老师的《计算广告学》笔记，课程是免费的，课程地址一、广告的目的和效果是什么？广告 Advertisng：广告是由已确定的出资人通过各种媒介进行的有关产品（商品、服务和观点）的，通常是有偿的、有组织的、综合的、劝服性的非人员的信息传播活动主题： 广告主（Advertiser）、媒介(Medium) 、受众（Audience）本职工鞥： 借助广泛受众的媒体的力量，完成最低成本的...
2018-12-15 16:25:25
589
原创 数学基础-拉格朗日乘子法学习资料
最近学习支持SVM，其中目标函数是一个有约束条件下的最优化问题。 这个问题要用拉格朗日乘子法进行推导。个人本来打算写一篇文章来解释这个。后来通过查询，发现网上有很多资料，把这些读了一遍，发现疑问都解决了。所以在这里把资料汇总一下，与大家分享。学习资料数学扫盲----拉格朗日乘子法拉格朗日乘子法：写得很通俗的文章拉格朗日乘子法如何理解？Understanding Lagrange...
2018-12-14 16:41:23
667
原创 如何实现网易公开课的倍速播放？
笔者平时学习的时候都是用2倍速看视频的。最近计划到公开课上学习泛函。但是发现上面不支持倍速播放，手机端的也只支持1.5倍速。百度经验有帖子，但要下载VLC播放器。 所以觉得麻烦。笔者就研究了一下，发现只要两步就搞定：第一步： 打开硕鼠的官网， 输入视频链接：会得到下载地址：这个很快。 第二步：用你已安装的播放器（这个要支持倍速播放，笔者常用爱奇艺的万能播放器，下载地址）。...
2018-12-14 10:13:21
5490
原创 Bobo老师机器学习笔记第九课-PR曲线和ROC曲线
在上篇文章中，我们已经概述了PR曲线。现在做个简单的回归1、什么是PR曲线？ PR曲线是精准率（Precision）和召回率（Recall）的缩写，精准率表示在预测的关注事件中，其中预测正确的有多少。 Precision = TP / (TP + FP)召回率表示在实际的关注事件中，正确预测出来了有多少。 Recall = TP / (FN + TP)然后以recall为...
2018-12-10 18:43:10
673
2
原创 Bobo老师机器学习笔记第九课-分类算法的评价指标
1、以前学习分类算法时候，一直用分类准确度进行算法的好坏，准确度一定准确吗？对于极度偏斜（Skewed data）的数据，只使用分类准确度是不够的。比如一种癌症的发病率是0.01%，那么我们系统即使在不分类的情况下，预测健康的情况准确率就可以达到99.99%。这个明显是不符合实际情况的。因此我们引入一种新的评价指标。首先我们熟悉一个概念：混淆矩阵（Confusion Matrix）...
2018-12-07 14:38:18
511
原创 Bobo老师机器学习笔记第九课-如何处理多分类任务？
1、什么是多分类任务？ 针对多类问题的分类中，具体讲有两种，即multiclass classification和multilabel classification。multiclass是指分类任务中包含不止一个类别时，每条数据仅仅对应其中一个类别，不会对应多个类别。multilabel是指分类任务中不止一个分类时，每条数据可能对应不止一个类别标签，例如一条新闻，可以被划分到多个板...
2018-12-06 18:50:03
608
原创 Bobo老师机器学习笔记第九课-逻辑回归添加多项式
在上面博客中我们主要使用逻辑回归进行线性数据的分类，那么逻辑如何处理非线性数据分类呢？比如下面的数据：1、利用逻辑回归如何处理非线性数据回归？针对上面的数据，我们首先尝试回归一下，看看获取的结果是： 0.605， 这个评分不是很高，让后我们绘制一下决策边界：很明显决策边界误差很大。 那么接下来我们加入多项式看看 def PolynomialFeaturesLogsti...
2018-12-06 17:58:45
365
2
原创 Bobo老师机器学习笔记第九课-逻辑回归之决策边界
1、什么是决策边界？决策边界又称为是限定边界，引用百度的定义：在具有两个类的统计分类问题中，决策边界或决策表面是超曲面，其将基础向量空间划分为两个集合，一个集合。 分类器将决策边界一侧的所有点分类为属于一个类，而将另一侧的所有点分类为属于另一个类。我们先看逻辑回归的sigmoid函数。 我们求出在上一篇博客中我们已经计算出来了值，那么我们把这条曲线绘制出来。 这个...
2018-12-06 09:40:09
925
原创 Bobo老师机器学习笔记第九课-逻辑回归代码展示
在上一篇博客中我们学习了逻辑回归（LogisticRegression）的理论。那么在这篇博客中，我们用代码展示一下，如何用梯度下降法获取逻辑回归的参数步骤1：我们加载sklearn中的鸢尾花数据进行测试，由于为了数据可视化，我们选择2种类型的鸢尾花，并且只选择2个特征。 import numpy as np import matplotlib.pyplot as plt...
2018-12-05 19:25:39
466
原创 Bobo老师机器学习笔记第九课-逻辑回归理论
1、什么是逻辑回归？（Logistic Regresssion）逻辑回归（Logistic Regression）是一种用于解决二分类（0 or 1）问题的机器学习方法，用于估计某种事物的可能性。逻辑回归既可以看做是一个回归算法，也可以看作是一个分类问题，通常是用过分类，并且是二分类。 分类主要是基于得到结果，获得结果是一个概率，然后根据概率来进行分类。 比如判断一个肿瘤是良性还是恶性，如果...
2018-12-05 12:50:19
460
原创 Bobo老师机器学习笔记第八课-方差、偏差、岭回归、LASSO回归？
对误差分类问题一、什么是偏差和方差？先看下面这幅图图：方差： 都是围着数据中心的，方差越大则表示距离数据中心分布的越分散，越小说明越近越集中偏差： 偏离数据中心， 偏差越大，说明整个数据距离中心越远，偏差越小，说明距离数据中心越近。这两者的关系通常是矛盾的，降低偏差会提高方差，降低方差会提高偏差。所有一个好的模型就是对这点的一个平衡。 二、模型误差来自于哪些？模型误...
2018-12-04 13:19:16
2733
原创 当前开源的那些优秀AIOPS工具？
1、 Metis 腾讯研发开源的。 官方介绍：Metis 这个名字取自希腊神话中的智慧女神墨提斯（Metis），它是一系列AIOps领域的应用实践集合。主要解决在质量、效率、成本方面的智能运维问题。当前版本开源的时间序列异常检测学件，是从机器学习的角度来解决时序数据的异常检测问题。时间序列异常检测学件的实现思路是基于统计判决、无监督和有监督学习对时序数据进行联合检测。通过统计判决、无...
2018-11-21 15:51:08
5388
转载 AIOps学习资料汇总
White Paper《企业级 AIOps 实施建议》白皮书Course and SlidesTsinghua-Peidan - AIOps course in Tsinghua.基于机器学习的智能运维Industry Practice腾讯运维的AI实践AI 时代下腾讯的海量业务智能监控实践织云Metis时间序列异常检测全方位解析腾讯织云Metis智能运维学件平台开源...
2018-11-21 10:58:03
3941
1
原创 Bobo老师机器学习笔记第八课-什么是交叉验证？
1、测试数据的真正意义是什么？在上篇博客中，我们看到测试集和训练集在同一个模型上会表现不同的结果。我们通过学习曲线可以直观的看到具体是过拟合还是欠拟合，从而调整参数，进行不断验证，直到找到一个在训练集表现好的数据。 总结一句话，就是通过测试数据进行对模型的调优。2、 依靠测试数据来调优模型，会不会存在模型对测试数据形成过拟合？会存在，因为我们是围绕测试数据集来验证模型的。所以要介绍...
2018-11-19 19:54:05
453
原创 Bobo老师机器学习笔记第八课-如何防止过拟合和欠拟合？
问题一、什么是过拟合和欠拟合？首先拟合是一个统计学概念，它表示所求函数逼近目标函数的远近程度。应用的机器学习中，就是我们所求的函数与未知的映射函数之间的相似度。如何求得函数参数与潜在的函数参数越逼近，说明效果越好。 假设我们用上篇博客中的数据，源码可以见上文：通过上图可以看出：欠拟合是我们求得的模型测试集和训练集都不好过拟合是我们求得模型在训练集表现好，在测试集表现不好 ...
2018-11-16 10:15:27
287
原创 Bobo老师机器学习笔记第八课-多项式回归
问题1: 什么是多项式回归？以前我们学习了线性回归，但是线性回归比较适用于数据之间明显线性关系的。但有时我们使用的数据不一定它们之间有线性关系。那么这时候就要用到多项式回归。多项式我们以前学过，那么多项式的回归方程就类似于问题2: 那么非线性的数据，我们如何做呢，比如下面数据？如果利用上面的数据我们进行线性回归，结果是下面的通过上图可以看出来，上面这条直线对数据回归不太...
2018-11-12 13:11:20
536
原创 Bobo老师机器学习笔记第七课-PCA在人工智能领域应用-特征脸
问题1： 什么是特征脸？特征脸（Eigenface）是指用于机器视觉领域中的人脸识别问题的一组特征向量，就是我们以前讲过的由前N个主成分组成的。每一个特征脸代表了一个主成分。 如下图：X代表由m个人组成，提前脸上n个特征的矩阵。W（k）表示前K的主成分，每一行可以理解代表人脸的一个特征。所以叫特征脸。问题2：如何获取人脸的数据库？ 我们采用LFW人脸数据库，LFW (Label...
2018-11-08 20:44:40
641
原创 Bobo老师机器学习笔记第七课-使用PCA对MNIST数据集进行降噪
问题1：什么是MNIST数据集？ MNIST 数据集来自美国国家标准与技术研究所, National Institute of Standards and Technology (NIST). 训练集 (training set) 由来自 250 个不同人手写的数字构成, 其中 50% 是高中学生, 50% 来自人口普查局 (the Census Bureau) 的工作人员. 测试集(tes...
2018-11-08 19:25:32
3478
原创 Bobo老师机器学习笔记第七课-sklearn中PCA的用法
问题1： PCA在sklearn中的哪个模块？答：PCA在sklearn的decomposition模块中。通过from sklearn.decomposition import PCA可以导入PCA。sklearn.decomposition模块包括矩阵分解算法，包括PCA，NMF或ICA。 该模块的大多数算法可以被视为降维技术。官网介绍问题2：在利用PCA算法中，用什么指标来判断一个特...
2018-11-07 22:19:47
17712
5
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人