- 博客(74)
- 收藏
- 关注
RSS订阅原创 什么是支持向量机（Support vector machine）和其原理
SVM，最原始的版本是用于最简单的线性二分类问题。当我们被给了一个新的数据点，其形式是一个p-维的向量，我们想知道它应该属于被一个（p-1）-维超平面分开的两半中哪一半。那么我们就想要通过已有数据找到“最有代表性的”超平面。这个超平面就是我们的分类标准。因为我们用到的是超平面而不是曲面，所以这是一个线性的问题。（加入核方法等可以改进为非线性分类）这一步博客支持向量机（SVM）——原理篇。
2024-03-03 12:13:13
801
原创 远程服务器安装learn2learn
下载到本地，用root账号传到/public/software/anaconda/envs/ff/lib/python3.9/site-packages。卡死在了flake8，直接魔改github上原始数据集获得了一个阉割版l2l，可以了。致命错误：Python.h：没有那个文件或目录。emmmm应该不会有大问题把。然后去下载安装cython。1.找whl文件……上载到服务器下用命令。2.安装cython。
2024-01-08 19:57:11
969
原创 GNN 学习笔记
GNN相比CNN最大的区别在于数据结构，CNN一般作用在二维、三维数据里，如图像、表格数据等，可以进行卷积操作。1.魔改CNN-ConvGNNs：把原本中心像素和周围像素的关系改为中心节点和周围邻接节点的关系。数据结构不再对称、没有移位不变性、局部连通性、组合性等，更没法直接利用卷积。FACT 说白了就是认为傅里叶变换后的振幅没意义，所以做了数据增强……大概就是时域、频域只是表示方法（取的基）不同，都是同一种信号……特殊的数据结构和任务，比如社交网络、分子结构等？
2023-12-12 23:34:28
419
原创 【讲座笔记】Continual Learning and Memory Augmentation with Deep Neural Networks
游荡……游荡……找个talk看一下讲的是continuous learning（好家伙缩写也是CL）
2023-07-15 15:07:00
307
原创 CondaHTTPError: HTTP 000 CONNECTION FAILED for url ERROR: Could not find a version that satisfies th
我试了pip、pip3、conda都不行，后来研究最后的warning发现采用。但是还是怎么都安装不成功。
2023-07-14 21:50:32
99
原创 在服务器从零开始配置conda、pytorch、cv2
不报错了 但是conda：not found没有变化。0.配置WinSCP和PUTTY。然后用SCP上载到服务器，运行。直接新建了一个脚本文件，放上。很成功 不愧是我哈哈哈哈哈。疯掉了 希望是最后一次。2.安装pytorch。
2023-07-07 15:35:12
570
原创 【论文导读】Causality Inspired Representation Learning for Domain Generalization
请注意，CIRL超过了基于领域变量表示的方法CCSA[34]和MMD-AAE[22]，差距很大，分别为8.0%和7.9%，这表明了挖掘数据和标签之间内在因果机制的重要性，而不是表面的统计依赖。为了直观地验证CIRL学习的表征可以模拟因果关系的说法，我们利用文献[52]中的可视化技术，提供了基线（即DeepAll）和CIRL方法的最后卷积层的注意力图。很明显，在ResNet-18和ResNet-50上，基线方法的独立性都很差，而CIRL的独立性随着训练历时的增加而增加，最后在稳定后达到了很高的程度。
2023-04-27 00:05:02
937
1
原创 【论文导读】Leveraging Directed Causal Discovery to Detect Latent Common Causes in Cause-Effect Pairs
因果关系的发现是科学和医学的一个基本问题。近年来，人们提出了许多优雅的方法来从观察数据中发现两个变量之间的因果关系。然而，这些方法大多只处理纯粹的定向因果关系，而不能发现潜在的共同原因。在这里，我们设计了一种通用的启发式方法，它采用了只能区分纯定向因果关系的因果发现算法，并对其进行了修改，以检测潜在的共同原因。我们将我们的方法应用于两种有向因果发现算法，即Daniusis等人的信息几何因果推断（IGCI）和Mitrovic等人的因果推断核心条件偏差（2018）
2023-04-18 23:00:55
243
原创 【论文导读】《On Causal and Anticausal Learning》
有点意思的类似综述的文章，不算solid。感觉Schölkopf大佬很喜欢挖一些很浅但是不太寻常的坑。这篇比较有意思的点是区分了因果对不同问题的影响程度（促进一些问题的解决、对其他问题没有帮助甚至有弊端）。迅速过一遍，基本放的是带笔记的翻译……
2023-04-09 14:39:02
477
原创 【论文导读】Inferring deterministic causal relations
元学习和多任务学习的范式接近于因果建模的假设和要求，未来的工作应该考虑（1）了解在哪些条件下可以学习非线性因果关系，（2）哪些训练框架可以最好地利用机器学习方法的可扩展性，以及（3）提供令人信服的证据，证明与（非因果）统计表示法相比，在现实世界任务的概括、重新定位和因果模块的转移方面具有优势。虽然之前已经表明，噪声的依赖性结构可以为确定两个变量中的哪一个是原因提供提示，但我们现在表明，即使是在无终结性（无噪声）的情况下，也存在着可用于因果关系的非对称性。例如，我们不能改变场景中物体的数量。
2023-04-07 23:24:21
555
1
原创 【奇怪笔记】
约瑟夫-亨里奇的研究重点是心理学、决策和文化的进化方法，包括与文化学习、文化进化、文化-基因共同进化、人类社会性、威望、领导力、大规模合作、宗教和复杂人类机构的出现有关的课题。
2023-03-26 00:19:13
53
原创 【论文导读】Towards Unsupervised Domain Generalization
之前看到过的一篇论文，挺有意思的，虽然查到了有讲解的博客，但是不太符合我的思考逻辑 于是自己梳理一下。
2023-03-01 00:25:43
530
原创 python中使用numpy包的向量矩阵相乘np.dot和np.matmul
一直对np的线性运算不太清晰，正好上课讲到了，做一个笔记整个理解一下。
2023-02-13 14:57:11
7047
原创 【论文导读】Deep Stable Learning for Out-Of-Distribution Generalization
DWR用到复杂数据集中。看了一半发现一个博客将的也不错 放在这里。
2023-01-09 03:23:32
1352
1
原创 【论文导读】Stable Learning via Sparse Variable Independence
准备follow一下稳定学习的系列论文，从这篇开始吧。是AAAI2023上的，主要是根据前几年稳定学习组提出的SV特征分类、关注稳定的S特征的样本重加权的优化
2023-01-02 15:19:51
860
1
原创 【补充知识】生成模型（generative model）和判别模型（discriminative model）、贝叶斯学派和概率学派
看到过好几次“生成模型”这个词了，一直不太懂，这次买了李航老师的《统计学习方法》看一下。
2022-11-13 14:37:36
687
原创 【论文导读】Recovering Latent Causal Factor for Generalization to Distributional Shifts
挺有意思的标准因果AI方法
2022-10-30 13:32:02
497
原创 【论文导读】Learning Causal Semantic Representation forOut-of-Distribution Prediction
传统的监督学习方法，尤其是深度学习方法，被发现对分布外（OOD）的例子很敏感，这主要是因为学习到的表征由于它们在特定领域的相关性而将语义因素和变化因素混合在一起，而只有语义因素会引起输出。为了解决这个问题，我们提出了一个基于因果推理的因果语义生成模型（CSG），以便对这两个因素进行单独建模，并开发了从单一训练领域进行OOD预测的方法，这是一个常见的、具有挑战性的方法。这些方法基于因果不变性原则，采用变异贝叶斯的新颖设计，既能高效学习，又能轻松预测。
2022-10-30 00:40:22
764
原创 【重装系统的血泪史
2.python、C搅合了，而且不知道什么原因WORD等微软大礼包装不了。我的U盘和师妹的都显示是普通存储空间，但是师妹的可以装我不可以。磁盘全部格式化重新分区，可能D盘里有关键文件没注意。判断系统启动盘有没有装好，我直接用磁盘管理看不出来。1.电脑很慢，即使APP已经删减到最少。把DE盘都格式化了，就可以正常安装啦！下载飞快，迅速安装office大礼包。折腾了一晚上，第二天貌似重装成功了。首先尝试了直接电脑恢复重装。结果晚上就蓝屏了……
2022-10-19 23:05:06
326
2
原创 【论文导读】Domain Adaptation as a Problem of Inferenceon Graphical Models
本文关注的是数据驱动的无监督领域适应，在这种情况下，事先不知道联合分布如何跨领域变化，也就是说，数据分布的哪些因素或模块保持不变或跨领域变化。为了开发一种具有多个源域的自动化领域适应方式，我们建议使用图形模型作为编码联合分布变化属性的紧凑方式，它可以从数据中学习，然后将领域适应视为图形模型的贝叶斯推理问题。这样的图形模型区分了分布的恒定模块和变化模块，并规定了跨域变化的属性，作为变化模块的先验知识，用于推导目标域中目标变量Y的后验。
2022-10-11 03:59:13
376
原创 【论文导读】Domain Adaptation by Using Causal Inference toPredict Invariant Conditional Distributions
领域适应和因果推理的一个共同的重要目标是，当源（或训练）领域和目标（或测试）领域的分布不同时，做出准确的预测。在许多情况下，这些不同的分布可以被建模为一个单一的基础系统的不同背景，其中每个分布对应于系统的不同扰动，或在因果关系方面，一个干预。我们专注于一类这样的因果域适应问题，其中给出了一个或多个源域的数据，任务是通过对一个或多个目标域中其他变量的测量来预测某个目标变量的分布。我们提出了一种解决这些问题的方法，它利用了因果推理，不依赖于因果图、干预类型或干预目标的先验知识。
2022-10-11 03:09:55
459
原创 【论文导读】（AAAI）Achieving Counterfactual Fairness for Causal Bandit
在在线推荐中，顾客从一个基本分布以顺序和随机的方式到达，在线决策模型根据一定的策略为每个到达的个体推荐一个选定的商品。我们研究如何在每个步骤推荐一个物品，以最大化预期奖励，同时实现用户端的公平，即，共享相似档案的客户将获得类似的奖励，无论他们的敏感属性和被推荐的物品。我们首先提出了基于d-分离的UCB算法(D-UCB)，通过将因果推理纳入强盗模型，并采用软干预对手臂选择策略进行建模，以探索d-分离集在减少探索所需数量方面的利用，以实现较低的累计遗憾。
2022-09-08 03:03:48
522
原创 Causal Discovery in Hawkes Processesby Minimum Description Length
霍克斯过程是一类特殊的时间点过程，它表现出一种自然的因果关系概念，因为过去发生的事件可能会增加未来事件的概率。在需要对高频数据进行建模的学科中，例如金融数据或地震数据，发现多维时间过程各维度之间的基本因果关系网络是非常重要的。本文探讨了在多维Hawkes过程中学习Granger-causal网络的问题。我们将这个问题表述为一个模型选择任务，其中我们遵循最小描述长度（MDL）原则。此外，我们提出了一种使用蒙特卡洛方法的基于MDL推理的通用算法，并将其用于我们的因果发现问题。
2022-09-07 22:51:58
318
原创 【论文导读2】Causal Machine Learning:A Survey and Open Problems
Learning这一章和我前段时间追的崔鹏教授的内容相一致，主要针对ML中“我们感兴趣的数据都是独立同分布的”这个实际上并不准确的假设。我们可以假设我们的数据是由 SCM 管理的干预分布生成的。对于across一组环境，生成的给定数据集，我们将每个环境 e ∈ E 视为从单独的干预分布中采样的。参考图 3.1 中的示例，我们如何以有原则的方式估计 p(y | x)？在不变特征学习。
2022-09-06 00:27:26
2020
1
原创 【论文导读】（AAAI) Unsupervised Causal Binary Concepts Discovery with VAEfor Black-Box Model Explanation
AIII2022的一篇因果发现论文 主要提出了一种新的SCM 并构造了一个学习高层次因果因素（主要利用二进制开关）的学习方法 提高了可解释性
2022-09-04 22:31:05
747
1
原创 电脑彻底卸载双系统中的Ubuntu ThinkPad X1 Carbon
电脑是ThinkPadX1Carbon，装的是Win10+Ubuntu但是我的电脑和大佬的不太一样有些细节处理有偏差，自己留存备用。
2022-07-29 23:51:24
851
原创 【论文导读】Self-Supervised Learning with Data AugmentationsProvably Isolates Content from Style
背景&靶子】为了使机器学习模型不那么依赖于NLP数据集中的虚假模式，研究人员最近提出通过一种人在循环过程来管理反事实增强数据(CAD)，在这个过程中，给定一些文档和它们的(初始)标签，人类必须修改文本，使反事实标签适用。重要的是，禁止对适用的标签进行不必要的编辑。从经验上看，在扩充的(原始的和修正的)数据上训练的模型更少地依赖于语义上不相关的单词，并更好地在域外推广。虽然这项工作松散地借鉴了因果思维，但潜在的因果模型(甚至在抽象水平上)和所观察到的域外改进的原则仍然不清楚。【贡献】如果人类。BERT。...
2022-07-18 19:54:34
506
原创 【论文导读】Selecting Data Augmentation for Simulating Interventions
用纯粹的观察数据和经验风险最小化原则(Vapnik,1992)训练的机器学习模型可能无法推广到看不见的领域。在这篇论文中，我们关注的是由于观测域和实际任务标签之间的虚假关联而产生的问题。我们发现许多域泛化方法并没有明确地考虑到这种伪相关。相反，特别是在更面向应用的研究领域，如医学成像或机器人，基于启发式的数据增强技术被用于学习领域不变特征。为了弥合理论和实践之间的差距，我们对领域泛化问题发展了一个因果观点。我们认为因果概念可以通过描述它们如何削弱观察域和任务标签之间的虚假相关性来解释数据增强的成功。...
2022-07-17 13:13:25
871
原创 【论文导读】Causal Machine Learning:A Survey and Open Problems
最新的arXiv上的综述 迅速过一遍
2022-07-14 23:16:05
1271
2
原创 【论文导读】Learning Bayesian Networks: The Combination of Knowledge and Statistical Data
过不动了暂时放着
2022-05-14 13:07:33
522
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人