- 博客(41)
- 收藏
- 关注
RSS订阅原创 非平衡数据的处理
算法层面代价敏感学习核心思想：少数类样本更高代价代表做法：代价矩阵集成学习核心思想：集成多个弱分类器代表算法：BoostingBaggingAdaBoost：迭代过程中更新样本权重，增加错分样本权重EasyEnsemble：多数类样本划分成子集，每个子集分别训练BalanceCascade：建立在EasyEnsemble基础上，迭代过程中删除被分类正确的多数类样本PCBoost单类学习核心思想：只对一个类进行学习代表算法：SVDD数据层面过采样核心思想：
2021-06-23 17:10:48
319
原创 因果推断简介
因果推断简介Yule-Simpson ParadoxRubin Causal Model（RCM）和随机化实验Yule-Simpson Paradox???? 和 ???? 边缘上正相关，但是给定另外一个变量 ???? 后，在 ???? 的每一个水平上，???? 和 ???? 可能负相关。由此可知，相关与因果不同。吸烟是否导致肺癌：吸烟与肺癌正相关，但不能断言“吸烟导致肺癌”。这是因为可能存在一些未观测的因素，同时影响个体是否吸烟和是否得癌症。比如，某些基因可能使得人更容易吸烟， 同时容易得肺癌;存
2021-05-13 10:43:55
410
原创 弱监督学习——A brief introduction to weakly supervised learning
A brief introduction to weakly supervised learning分类应用常用方法incomplete supervisionactive learningsemi-supervised learning二者的区别inexact supervisionmulti-instance learninginaccurate supervisionlearning with label noise参考分类incomplete supervision：只有一部分子集给出标签；
2021-04-23 17:30:35
819
原创 视频异常检测——Appearance-Motion Memory Consistency Network for Video Anomaly Detection
Appearance-Motion Memory Consistency Network for Video Anomaly Detection 文章资源问题描述思想做法算法结果存在的问题思考文章2021.AAAI.Appearance-Motion Memory Consistency Network for Video Anomaly Detection资源问题描述现有方法只单独使用外观或运动信息，没有做融合思想融合外观和运动信息，捕捉他们的一致性做法网络输入是视频序列和光溜信息，然
2021-04-19 18:12:01
846
原创 视频异常检测——Anomaly Detection in Video via Self-Supervised and Multi-Task Learning
Anomaly Detection in Video via Self-Supervised and Multi-Task Learning文章资源问题描述思想做法网络结果存在的问题思考文章2021.CVPR.Anomaly Detection in Video via Self-Supervised and Multi-Task Learning资源问题描述以往的方法都是单独考虑单个任务，在某些场景下不好：如，车突然停了，但是重构预测都很好，就是因为没有考虑上下文。思想同时完成四项任务：
2021-04-19 16:02:36
1937
1
原创 视频异常检测——Learning Memory-guided Normality for Anomaly Detection
Learning Memory-guided Normality for Anomaly Detection文章资源问题描述思想贡献做法存在的问题思考文章2020.CVPR.Learning Memory-guided Normality for Anomaly Detection.pdf资源githubhomepage问题描述基于reconstruction的问题：1、 do not consider the diversity of normal patterns explicitly,
2020-11-10 15:38:38
985
原创 autoencoder入门
autoencoder应用autoencoder结构约束数学表达式网络优缺点主要变体sparse autoencoder思想约束数学表达式网络优缺点Denoising AutoEncoder思想网络Variational AutoEncoder思想约束网络优缺点U-net网络其他autoencoderContrative AutoEncoder（CAE）Stacked AutoEncoder（SAE）其他应用于有监督参考资料应用Dimensionality ReductionInformation
2020-09-03 22:09:20
1172
原创 视频异常检测——Robust Anomaly Detection in Videos Using Multilevel Representations
文章Robust Anomaly Detection in Videos Using Multilevel Representations,AAAI,2019资源githubvideo问题描述底层次的特征存在问题思想用高层次的特征和低层次的特征结合，提高鲁棒性，解决低层次特征的问题贡献提出了MLAD（multi-level anomaly detection）利用DA...
2020-03-28 18:18:48
1245
3
原创 非平衡学习资料
入门博客：learning imbalanced classes介绍的非常详细，适合零基础同学阅读代码：imbalanced-algorithms提供了以下算法的实现：Undersampling：Random Majority Undersampling with/without ReplacementOversampling：SMOTE - Synthetic Min...
2020-03-26 15:08:34
281
原创 行人异常行为检测
行人异常行为检测什么是行人异常检测异常行为意义分类按行为定义的方法基于定义规则的方法基于概率的统计学方法学习正常模型学习所有数据基于机器学习的方式无监督有监督半监督基于选择的特征局部运动特征轨迹数据集参考待调研什么是行人异常检测异常行为在某一场景中不寻常的位置或不寻常的时刻发生的动作在某一场景中正常位置、正常时刻发生的不寻常动作意义分析视频监控，提高安保人员效率分类按行为定义的方法...
2020-03-09 02:01:22
12550
原创 异常检测——应用调研
金融金融犯罪侦破：分析异常行为模式电信盗用行为分析：分析异常模式，如转换、路由阻塞、占线、周期性呼叫证券风险分析：分析证券经营过程中的不正常行为领域标题发表地年份链接金融A survey of anomaly detection techniques in financial domainFuture Gener Comput Syst2016PDF...
2020-03-09 01:27:37
455
原创 异常检测——集成学习
Ensembles for Unsupervised Outlier Detection: Challenges and Research Questions首先，知道一个模型好不好（精确不）外部指标aucroctop-k正确率但是这些都是有监督的????内部指标目前暂无其次，提高不同模型的多样性多样性的意义图中红色的一个点代表一个模型的结果，绿圈代表groundtruth，蓝色代表...
2020-03-02 02:58:10
861
原创 微小物体+异常检测——初步调研
什么是微小物体当目标距离成像系统较远时，目标的像只占场景图像中单个或几个像素，这类微小尺寸目标的形态特征就近似与一个点目标。微小物体检测的难点1、小目标的尺度过小，基于手工特征提取的算法大多利用目标周围的邻域信息表达目标2、小目标本身的特征不够明显，容易受图像噪声的干扰而最终导致无检测和漏检测。现有方法1、使用高分辨率摄像头较少成像过程中的干扰和噪声2、提取识别算法方面，有两大假设：...
2020-02-23 00:18:00
2057
原创 parallels desktop 中ubuntu忘记密码
解决方法：ubuntu 16.04忘记登录密码的解决办法注意事项：1、一定要重启的一开始就按shift2、选择有recovery mode的选项，然后按e进入（千万不能使用enter键）3、结束后shutdown不了虚拟机的话，可以右上角的快捷键（ctrl+alt+delete）...
2020-02-17 17:13:32
3225
2
原创 数据增强——时间序列
数据增强——时间序列基于变换的方法WS（窗口切片）WW（窗口弯曲）基于平均的方法AA（全平均法）AS（平均选择法）ASD（距离平均选择法）基于变换的方法WS（窗口切片）对原始时间序列按一定长度切片，并在切片层次上进行训练及预测。WW（窗口弯曲）在原始时间序列上随机选择一定长度切片，然后对切片进行加速或减速（沿时间轴伸缩），最后使用WS以保证所有得到的时间序列都有相同的长度。基于平均的方...
2019-11-01 17:56:53
9674
4
原创 异常检测——研究方向
异常检测——研究方向时间序列中的异常检测异常检测中的特征选择高维&子空间异常检测利用集成方法进行异常检测在变化的数据中进行异常检测异常检测中的表示学习异常检测的可解释性利用神经网络进行异常检测主动异常检测交互异常检测其他领域的异常检测文字异常检测异常检测的应用安全金融社交媒体机器失败时间序列中的异常检测异常检测中的特征选择高维&子空间异常检测利用集成方法进行异常检测在变化...
2019-10-28 10:19:50
954
原创 异常检测——孤立森林
异常检测——孤立森林基础思想算法训练阶段评估阶段参考基础1）异常数据只占少量；（2）异常数据特征值和正常数据差别很大。思想基于随机森林思想，但是更为简单假设数据集有N条数据，构建一颗iTree时，从N条数据中均匀抽样(一般是无放回抽样)出ψ个样本出来，作为这颗树的训练样本。在样本中，随机选一个特征，并在这个特征的所有值范围内(最小值与最大值之间)随机选一个值，对样本进行二叉划分，将样本中...
2019-10-27 22:40:42
870
原创 异常检测——ABOD（angle-based outlier detection）
论文：Angle-Based Outlier Detection in High-dimensional Data，kdd2008问题高维度情况下，距离同质化。基础：1、在高维空间中角度比距离更稳定[1]2、如果其他大部分的点都在相似的方向上，那么点O是个离群点3、如果许多其他的点在不同的方向上，那么点O不是离群点。方法对于一个给定的点P，它与任意其他点x，y之间的角度构成一个...
2019-10-13 22:14:04
16891
原创 异常检测3——常见方法分类
异常检测3——常见方法分类基于统计学极值分析对数据分布进行假设基于线性分析基于时空空间关系造成的异常时间序列上的异常基于相似性分析建立在距离度量上的异常检测建立在密度分析上的异常检测基于聚类的异常检测基于偏差高维方法其他集成异常检测监督异常检测，半监督异常检测，主动学习图中的异常检测、网络中的异常检测基于统计学极值分析往往只对单独纬度进行研究，使用上有很大的局限性【1】对数据分布进行假设...
2019-10-12 15:18:59
2243
原创 异常检测——拓扑异常检测（TAD）
分类是一种基于密度的outlier detection思想它不使用局部密度，而是利用近邻将数据构造成图。与其他KNN方法不同的是，它不用设定K作为参数，而是设定一个maximal inter-observation distance（被称为图resolution）的参数。在算法中，如果两个点之间的距离小与图resolution，就在他们之间加一个边。当整张图构建完成以后，通过设定一个阈值P...
2019-10-11 18:04:43
1225
原创 异常检测资料
异常点检测算法综述异常点检测算法（一）异常点检测算法（一）异常值检测算法（二）异常点检测算法（三）awesome-anomaly-detectionanomaly-detection-resources代码示例ad_examples...
2019-10-10 17:00:27
180
原创 李宏毅——transformer
李宏毅——transformer导读self-attentionmulti-head self-attention顺序问题seq2seq with attentiontransformer网络架构attention visualization例子导读什么是transformer：对于序列，常用的是RNNRNN的问题，不容易并行处理。所以有人提出了，用CNN来替代RNN。图中每一个三角...
2019-10-09 22:12:29
1695
原创 李宏毅——Flow-based Generative Model
李宏毅——Flow-based Generative Model导语已经介绍的生成模型数学背景jacobian MatrixDeterminantchange of Variable Theoremflow-based generative model导语已经介绍的生成模型之前的生成模型的问题component-by-component问题：什么是最好的顺序；生成的慢VAE问题：优化的...
2019-10-09 20:16:24
3930
原创 李宏毅——GAN
李宏毅——GANGAN的类型标准GAN条件GANunsupervised conditional ganGAN的类型标准GAN基本的GAN：以二次元任务为例，输入vector，输出高纬度的vector在训练的过程中，不仅有generator，还有discriminator，判断生成的东西是不是真的。算法：第一步，固定G，训练D。第二步：固定D，训练G。但是GAN是很难训...
2019-10-09 16:37:16
269
原创 李宏毅——元学习meta learning1
李宏毅——元学习meta learning1导语meta-learningmeta-learning的步骤什么叫一组learning algorithm如何评价一个F的好坏meta learning vs machine learning怎么找最好的learning algorithmbenchmarkomniglot如何使用当前的方法MAML算法例子toy examleomniglot&...
2019-10-08 23:52:40
2281
1
原创 异常检测1
异常检测1介绍anamoly定义：应用示例：两种方式监督非监督Motivations of comparative studiesanomalies的定义基于距离或密度的定义：基于独立性的定义：Zero++:介绍anamoly定义：“Something that deviates from what is standard,normal, or expected” Oxford Dicti...
2019-09-30 17:42:39
322
原创 李宏毅——终身学习lifelong learning
李宏毅——终身学习lifelong learning导读要解决的问题如何解决遗忘问题Elastic Weight Consolidation（EWC）基本思想理解EWC的变形其他方法生成数据新增类knowledge transferlife-long vs transfer如何衡量life-long learningGEMModel ExpansionProgressive Neural Netw...
2019-09-29 23:08:07
3470
原创 李宏毅——对抗模型 attack and defence
李宏毅——对抗模型 attack and defencemotivationattack例子如何找出特制的噪声限制how to Attack实例方法FGSM（Fast Gradient Sign Method）白盒和黑盒黑盒攻击motivation想在脱离实验室，实际环境中使用在强：要对噪音robust对付来自人类的恶意：要对恶意的骗过机器的数据robust侦测带有恶意的东西：垃圾邮件...
2019-09-19 23:37:01
1066
1
原创 李宏毅——异常检测anomaly detection
李宏毅——异常检测异常检测问题什么是anomaly应用fraud detectionnetwork instrusion detectioncancer detection如何做异常检测binary classification？分类with label例子方法使用现成分类器：训练一个可以直接输出confidence的网络框架评估直接用分类器可能会遇到的问题without labels例子问题形式...
2019-09-17 23:43:00
924
原创 增量学习+非平衡学习初步调研
增量学习+非平衡学习现有研究集中点及如何进行实验下一步研究方向现有研究集中点及如何进行实验no-stationary environment / concept drift提出了一种multi-class的算法Pang S , Zhu L , Chen G , et al. Dynamic class imbalance learning for incremental LPSVM[J]....
2019-09-02 22:16:51
1186
原创 概念飘移
概念飘移concept drift定义分类concept drift定义时间t0t_0t0和时间t1t_1t1之间存在概念飘移的定义： ∃X:pt0(X,y)X:pt1(X,y){\exists}X:p_{t_0}(X,y)X:p_{t_1}(X,y)∃X:pt0(X,y)X:pt1(X,y)其中pt0p_{t_0}pt0表示在t0t_0t0时，输入变量XXX和目标变...
2019-08-31 20:23:52
313
1
原创 增量学习
增量学习增量学习什么是增量学习增量学习的主流方法Parameter-basedDistillation-based增量学习什么是增量学习学习onlineofflineincrementaldecrementalothersoffline：训练时能一次性获取全部的训练数据online：训练数据依次到来，根据新的数据更新模型incremental：学习系统能不断地从新样本中学习新的知...
2019-08-31 15:49:11
2837
原创 平衡聚类
balanced clusteringbalanced clustering核心问题分类hard-balanced(balance driven)soft-balanced(balance constrained)代表算法balanced clustering核心问题现状：一些算法产生的聚类经常是不平衡的，即不同类中所含样本的数量差异会很大。但是在许多聚类问题中，存在着问题域上的平衡先验以及...
2019-08-30 15:59:38
2338
原创 非平衡数据流学习——数据层面的算法
非平衡数据流学习——数据层面的算法非平衡数据流学习——数据层面的算法新的改变非平衡数据流学习——数据层面的算法你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变...
2019-08-30 15:57:13
244
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人