梦家の博客

原创 博客新推送

原创 Python 日期字符串和时间戳解析方法详解

原文链接：https://dreamhomes.top/posts/202103091919.html由于从事智能运维AIOps相关的算法研究，因此日常接触的最多就是时间序列相关的数据。在不同场景下时间字符串表示的格式可能都不相同，因此本文记录下所了解的字符串解析方法。time 模块一般情况下都是将时间字符串转为时间戳或者反之转换，time 模块即可解决问题；import time# 时间戳转为日期time.strftime("%Y-%m-%d %H:%M:%S", time.local.

原创 解决 Kibana 6.8.9 中创建索引模式卡住的问题

问题描述软件版本：kibana 6.8.9Elastic 6.8.9在 Kibana 中创建索引模式时，一直卡在如下界面导致未创建成功：同时日志报错信息如下：从日志中可以看出索引仅有 只读权限，状态码为 403；解决方法参考官网为：https://www.elastic.co/guide/en/kibana/6.0/migrating-6.0-index.html解决方案⚠️注意：按照以下步骤即可解决问题，但是会丢失以前创建的所有模式。第一步：设置.kibana的index.

原创 【2021】Multi-Source Anomaly Detection in Distributed IT Systems

原文链接：https://dreamhomes.github.io/posts/202101251633.html文章链接：https://arxiv.org/abs/2101.04977源码链接：未公布TL;DR针对分布式系统服务的异常检测问题，文中提出了一种多模态的异常检测模型，联合了 trace 和 log 数据的特征表示来共同判定异常；对于异常检测任务将其形式化表示成 NTP next template prediction，同时适用于log和trace的异常检测；在实验中论文验证了.

原创 【2017/MLG】graph2vec: Learning Distributed Representations of Graphs

原文链接：https://dreamhomes.github.io/posts/202101181459.html文章链接：https://arxiv.org/pdf/1707.05005.pdf源码链接：https://github.com/MLDroid/graph2vec_tfTL;DR目前图表示学习方法主要是学习图中节点或者子图的隐含向量，但现实中很多任务例如图分类或者聚类都需要将整个图编码成固定长度的向量；此外，以前基于图核的方法由于使用自定义特征因此通用性较差。本文中提出的一种无.

原创 Python 高效命令行参数解析方法总结

原文地址： https://dreamhomes.github.io/posts/202101161752.html背景命令行参数工具 Python 中常用的工具，比如做实验希望调节参数的时候，如果参数都是通过硬编码写在代码当中的话，每次修改参数都需要修改对应的代码和逻辑显然这不太方便。比较好的办法就是把必要的参数设置成通过命令行传入的形式，这样我们只需要在运行的时候修改参数就可以了。本文总结下三种好用的参数解析方法。argparseargparse 是 Python 自带的命令行解析库，比较常.

原创 Ubuntu16.04中好用的软件（持续更新）

本文记录这些年来使用Ubuntu系统中发现比较好用的软件或者工具。首先说明本人仅仅将Ubuntu作为一个开发工具，至于一些娱乐软件在本文中不提及。（一些娱乐软件当然是安装在另一台Windows机子上）首先看一下整体的桌面，了解一下大概使用的软件：下面分别介绍一下所用的软件：桌面美化类至于桌面美化只是简单的做了一些处理，可以参考博客ubuntu16.04主题美化和软件...

原创 解决 Elasticsearch 写入数据报错 blocked by: [FORBIDDEN/12/index read-only / allow delete (api) 问题

背景最近使用脚本将 50+ 数据写入Elasticsearch中时，中途报错：'error': {'type': 'cluster_block_exception', 'reason': 'blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];'}；后来查询才知道是 ES 认为磁盘存储百分比低于阈值时自动将其转为只读模式。参考：https://stackoverflow.com/questions/50609417/elasti

原创 【2019/ICML】DAG-GNN: DAG Structure Learning with Graph Neural Networks

原文链接：https://dreamhomes.github.io/posts/202101041501.html文章链接：https://arxiv.org/abs/1904.10098源码链接：https://github.com/fishmoon1234/DAG-GNNTL;DR论文中提出一种新的DAG编码架构 DAG-GNN，其实模型的本质就是一个图变分自编码器，模型的优点是既能处理连续型变量又能处理离散型变量；在人工数据集和真实数据集中验证了模型结果可以达到全局最优 ????；Mo

原创 PyTorch 中的损失函数总结

原文地址：https://dreamhomes.github.io/posts/202012261041.html文章目录原文地址：[https://dreamhomes.github.io/posts/202012261041.html](https://dreamhomes.github.io/posts/202012261041.html)L1Loss实例代码验证代码MSELoss(L2Loss)实例代码验证代码SmoothL1Loss实例代码NLLLoss实例代码验证代码CrossEntropy.

原创 SciPy 中不同稀疏矩阵存储方式介绍

文章目录稀疏矩阵简介稀疏矩阵Scipy 矩阵存储矩阵属性通用方法稀疏矩阵分类COO - coo_matrix适用场景优缺点实例化方法特殊属性代码示例CSR - csr_matrix适用场景优缺点实例化特殊属性CSC - csc_matrix实例化特殊属性BSR - bsr_matrix实例化特殊属性代码示例优缺点DOK-dok_matrix适用场景实例化方法优缺点代码示例LIL-lil_matrix适用场景优缺点实例化方法特殊属性代码示例DIA - dia_matrix实例化方法特殊属性代码示例矩阵格式对比

原创 python 将变量名转化为同名字符串

作用locals() 函数会以字典类型返回当前位置的全部局部变量。如果是动态命名变量，需要动态获取变量的变量名来进行操作。源码测试import inspectdef retrieve_name(var): ''' utils: get back the name of variables ''' callers_local_vars = inspect.currentframe().f_back.f_locals.items() return [var

原创 Python 执行报错 TabError: inconsistent use of tabs and spaces in indentation

问题VScode 中执行python脚本报错 TabError: inconsistent use of tabs and spaces in indentation，该问题是由于代码中 看似空格实则没有空格引起的，因此在可以通过编辑器渲染出空格是否存在来看出问题；解决方法例如在 VScode 中，在方settings 中搜索 Render Whitespace，选项中选择 all 即可在编辑页面以 . 渲染空格；...

原创 【2019/SDM】Deep Anomaly Detection on Attributed Networks

文章链接：http://www.public.asu.edu/~kding9/pdf/SDM2019_Deep.pdf源码链接：https://github.com/kaize0409/GCN_AnomalyDetectionTL;DR目前属性网络中的异常检测方法都是使用浅层的学习机制或者子空间特征，但现实中属性网络非常稀疏并且数据是非线性的。论文中提出一种基于图自编码器的异常检测模型 DOMINANT (Deep Anomaly Detection on Attributed Networks).

原创 【2021/ASPLOS】Sinan: ML-Based & QoS-Aware Resource Management for Cloud Microservices

文章链接：https://asplos-conference.org/abstracts/asplos21-paper43-extended_abstract.pdf源码链接：未公布TL;DR随着微服务架构日趋复杂以至于难以合理分配微服务所需资源，论文中提出一种微服务资源配置管理模型 Sinan，主要是考虑了不同层级服务间的依赖关系；Key InsightsDependencies among tiers (microservice graph)System complexity and .

原创 【2020/QuASoQ】Evaluating the Impact of Inter Process Communication in Microservice Architectures

论文链接：https://www.researchgate.net/publication/346943854_Evaluating_the_Impact_of_Inter_Process_Communication_in_Microservice_Architectures源码链接：未公布TL;DR现实中微服务系统通过不同的方式来实现进程间的通信 inter process communication (IPC)，每种方式都有优缺点和trade-offs，论文中通过不同的实验来对比不同 IPC .

原创 【2019/IJCAI】AddGraph: Anomaly Detection in Dynamic Graph Using Attention-based Temporal GCN

文章链接：https://www.ijcai.org/Proceedings/2019/0614.pdf源码链接：TL;DR论文结合GNN提出了动态图中半监督的边异常检测模型 AddGraph，同时考虑了节点的结构，属性和时序特征。对于标签数据不足的问题，在训练过程中采用了 negative sampling 和 margin loss 两个技巧。在两个真实数据集的实验中取得了较好的效果。Problem Definition论文中的方法主要用于推荐系统中的异常操作检测，举个例子：异常的用户想自.

原创 【2015/IE】Variational Autoencoder based Anomaly Detection using Reconstruction Probability

文章链接：Variational Autoencoder based Anomaly Detection using Reconstruction Probability源码链接: https://github.com/Michedev/VAE_anomaly_detection论文总体结构Abstract: 提出了一种基于重构概率的异常检测方法可变自动编码器。IntroductionBackgroud2.1 Anomaly detection：介绍异常检常用几个方法。2.2 Autoe.

原创 基于Graph的Embedding方法概述

文章目录Graph Embedding浅层图模型DeepWalkNode2vecMetapath2vec深度图模型GCNGraphSAGE总结Graph Embedding基于内容的Embedding方法（如word2vec、BERT等）都是针对“序列”样本（如句子、用户行为序列）设计的，但在互联网场景下，数据对象之间更多呈现出图结构，如下图所示 (1) 有用户行为数据生成的物品关系图；(2) 有属性和实体组成的只是图谱。对于图结构数据，基于内容的embedding方法不太好直接处理了。因此，为了解

原创 详解 cron 表达式

cron 表达式cron表达式，主要用于定时作业(定时任务)系统定义执行时间或执行频率的表达式；表达式格式如下：cron = "* * * * * *"* 分别表示 {秒} {分钟} {小时} {日期} {月份} {星期} {年份(可为空)} // {Seconds} {Minutes} {Hours} {DayofMonth} {Month} {DayofWeek}每一个域可出现的字符如下：Seconds:可出现, - * /四个字符，有效范围为0-59的整数；Minutes:可出现, -

原创 【2005/WWW】Object-Level Ranking: Bringing Order to Web Objects

文章链接：http://www.ra.ethz.ch/CDstore/www2005/docs/p567.pdf摘要网页检索的主要任务是按照应答用户查询的相关性和流行度对相关对象进行排名。由于不同对象间不均匀性的存在，传统的PageRank模型在计算对象的流行度（Popularity）时不再有效。本文提出一种对一个特殊域的对象排名的域独立、对象级链接分析模型，明确的对每一类对象关系分配一个流行度传播因子（PPF，Popularity Propagation Factor），研究不同种类关系的不同PP.

原创 核密度估计(Kernel Density Estimation)和累积分布函数 (Cumulative Distribution Function)

核密度估计核密度估计是采用平滑的峰值函数(“核”)来拟合观察到的数据点，从而对真实的概率分布曲线进行模拟，含义类似于数据直方图。核密度估计(Kernel density estimation)，是一种用于估计概率密度函数的非参数方法，为独立同分布的nnn个样本点，设其概率密度函数为 fff，核密度估计如下：f^h(x)=1n∑i=1nKh(x−xi)=1nh∑i=1nK(x−xih)\hat{f}_{h}(x)=\frac{1}{n} \sum_{i=1}^{n} K_{h}\left(x-x_{

原创 输出图中任意两点间所有的路径

问题描述在给定的有向有环图中，输入给定source和target所有的连通路径，例如下图中的 2 -> 3。本文提供 python / c++ / scala 实现步骤；DFS 策略Python 实现：from collections import defaultdict # This class represents a directed graph # using adjacency list representation class Graph: d

原创 因果推理：PC算法

对于未知图结构的因果推理，可以利用PC算法构造DAG图。基本定义Skeleton：初始化图 GGG 为无向完全图。PDAG：设 G=(V,E)G = (V, E)G=(V,E) 是一个图，若边集 EEE 中包含有向边和无向边，则称???? 是一个部分有向图。若部分有向图 ???? 中不存在有向圈，则称 ???? 是一个部分有向无环图 (PDAG)。马尔科夫等价：贝叶斯网络 <G1,P1><G_1, P_1><G1​,P1​> 和 <G2,P2><

原创 Neovim Python个人配置

本文记录下Neovim安装配置过程，最终的显示效果如下：Neovim 安装MacOSbrew install neovimLinuxsudo apt install neovimPython 支持为了打造Python IDE.我们需要安装Neovim Python模块:pip3/python2 install neovim 查看是否安装成功 :Checkhealth，出现以下结果即安装成功；配置创建配置文件：mkdir ~/.config/nvimnvim ~/.co

原创 异质信息网络中的节点排序算法 ObjectRank 和 PopRank

背景现实中的复杂系统大体可以抽象为两类：第一类是同质信息网络(Homogeneousinformation network)，这种建模方法仅抽取网络中部分信息并且没有区分对象或者关系间的差异性；第二类是异质信息网络(Heterogeneous information network)，网络中包含多种类型的关系和对象，具有全面的结构信息和丰富的语义信息。目前同质信息网络中节点排序方法较多且应用较广，例如Personalized PageRank ，其计算公式如下所示：PPRq=(1−α)MT×PPRq

原创 Spark DataFrame groupBy并获取其它列的聚合值

代码实现：object test { def main(args: Array[String]): Unit = { val session = SparkSession .builder() .appName(this.getClass.getSimpleName).master("local") .getOrCreate() val df = session.createDataFrame(Seq( ("trace1", "src1

原创 解决 github 访问速度慢或图片不显示的问题

修改 /etc/hosts 文件，在文末添加以下配置：# GitHub Start140.82.114.4 github.com140.82.114.4 gist.github.com185.199.108.153 assets-cdn.github.com151.101.64.133 raw.githubusercontent.com151.101.108.133 gist.githubusercontent.com151.101.108.133 cloud.githubuserconten

原创 Scala 中 class、object、case class、case object的区别

简介class 类似Java中的class；object 不能定义静态成员，用定义单例对象代之；case class 被称为样例类，是一种特殊的类，常被用于模式匹配。class 和 object 关系单例对象不能带参数，类可以对象可以和类名一样时，object被称为伴生对象，class被称为伴生类；类和伴生对象可以相互访问其私有属性，但是它们必须在一个源文件当中；类只会被编译，不会被执行。要执行，必须在Object中。case class 与 class 区别初始化的时候可以不用n

原创 Git 切换分支命令

从Github上clone下来的项目都是主分支 branch，为了开发的安全性，如何切换到其它分支呢？git branch 查看本地分支* 表示当前所处的分支，如下图所示：git branch -a 查看项目所有分支：git checkout -b 切换分支，例如我切换到 stardard-base-4.x-dev: git checkout -b standard-base-4.x-dev origin/standard-base-4.x-dev第二次切换直接填入分支名称即可。

原创 解决本地无法访问 Docker 中 tensorboard2.2.2 端口的问题

问题最近使用tensorboard 观察模型的训练结果时，发现可以正常访问服务器中的 tensorboard 端口 ，但是无法访问服务器容器 docker 中的tensorboard 端口！端口映射检查发现没有错误！根据博客 通过端口映射在本地访问服务器（docker容器）上的tensorboard可视化结果 配置端口仍然无法访问！解决方法使用docker 时将容器的6006端口暴露，例如：-p 16006:6006，实现将服务器的16006端口映射到容器的6006端口。执行 tensorboar

原创 解决 docker 中 zsh: command not found: jupyterlab 问题

su: Authentication failure 问题执行 sudo passwd root 设置密码，再次执行 su 即可切换到 root;zsh: command not found: jupyterlab 问题安装 jupyterlab:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --user jupyter jupyterlab查看 jupyterlab 路径：➜ [dreamhomes@smj-docker] ~

原创 解决 Docker 容器中用户访问权限的问题

文章作者：梦家个人站点：dreamhomes.top原文地址：https://dreamhomes.github.io/posts/202006041113.html公众号ID：DreamHub问题引入默认情况下，容器中的进程以 root 用户执行，并且这个 root 用户和宿主机中的 root 是同一个用户，这意味着：容器中运行的进程，在合适的机会下，有权限控制宿主机中的一切；容器中运行的进程，以 root 用户执行，外界很难追溯到真实的用户；容器进程生成的文件，是 root用户所有.

原创 Numpy函数解释：numpy.linspace()、numpy.logspace()

numpy.linspace()作用： 函数用于创建一个一维数组，数组是一个等差数列构成的，格式如下：np.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None)参数：参数描述start序列的起始值stop序列的终止值，如果endpoint为true，该值包含于数列中num要生成的等步长的样本数量，默认为50endpoint该值为 true 时，数列中包含stop值，

原创 Python 代码优化技巧（二）

文章作者：梦家个人站点：dreamhomes.top原文地址：https://dreamhomes.github.io/posts/202006010941.html公众号ID：DreamHubPython 是一种脚本语言，相比 C/C++ 这样的编译语言，在效率和性能方面存在一些不足，但是可以通过代码调整来提高代码的执行效率。本文整理一些代码优化技巧。代码优化基本原则代码正常运行后优化。很多人一开始写代码就奔着性能优化的目标，“让正确的程序更快要比让快速的程序正确容易得多”，因此，优化.

原创 Github Markdown表情速查表

GitPeople:bowtie: :bowtie:???? :smile:???? :laughing:???? :blush:???? :smiley:☺️ :relaxed:???? :smirk:???? :heart_eyes:???? :kissing_heart:???? :kissing_closed_eyes:???? :flushed:???? :relieved:???? :satisfied:???? :grin:????

原创 类不平衡问题中不同的过采样方法对比

文章作者：梦家个人站点：dreamhomes.top原文地址：https://dreamhomes.github.io/posts/202005281734.html公众号ID：DreamHub多种过采样方法的比较from collections import Counterimport matplotlib.pyplot as pltimport numpy as npfrom sklearn.datasets import make_classificationfrom skl.

原创 Python 函数解释：locals（）

语法locals() 函数语法：locals()返回字典类型的局部变量。示例In [3]: def test(args): ...: a = 1 ...: b = 1 ...: print(locals()) ...:In [4]: test('test'){'args': 'test', 'a': 1, 'b': 1}

原创 【PyG 教程】PyG 自定义构造 GNN

文章作者：梦家个人站点：dreamhomes.top原文地址：https://dreamhomes.github.io/posts/202005191115.html公众号ID：DreamHub基于 PyG 构造消息传递网络图上的卷积操作主要包含两部分：节点消息传递与消息聚集。假设 xi(k−1)∈RF\mathbf{x}_i^{(k-1)} \in \mathbb{R}^{F}xi(k−1)​∈RF 表示k−1k-1k−1层节点的特征，ej,i∈RD\mathbf{e}_{j, i} \in.

原创 【PyG 教程】PyTorch Geometric 安装与入门

早期基于 DGL 库学习卷积神经网络，写过一个 GCN demo。后来PyTorch的几何扩展库出来了，发现学术界很多paper都是基于 PyG 实现的，因此学习下 PyG 如何使用。事实上这两个库都非常实用，但 PyG 和 DGL 这两大框架应该如何选择呢？没有好坏之分，个人只是从工具生态中进行判断，给出这两个库在Github中 Fork 和 Star 数量，可以说明 PyG 维护人员和受欢迎的程度还是要高一点的啊！PyG 安装PyG 全称是PyTorch-Geometric，是一个PyTorc