- 博客(97)
- 收藏
- 关注
RSS订阅
原创 列表类常用函数
方便查找使用创建二维列表并置0#列表生成#【1】matrix = [[0 for i in range(m)] for j in range(n)]#【2】matrix = [[0] * m for i in range(n)]#使用numpy创建import numpy as npmatrix = np.zeros((m, n), dtype=np.int)一维数组和...
2019-11-22 15:08:23
299
原创 计算类常用函数
方便查找使用计算类除法Python2和Python3之间的不同#Python2>>> 7/100#Python3>>> 7/100.7>>> int(7/10)0随机生成0-1之间的浮点数的矩阵import numpy as np>>> np.random.rand(3,2)array(...
2019-11-22 15:06:59
356
原创 文件类常用函数
新建文件import os# 判断路径是否已经存在isExists=os.path.exists(path)# 若不存在就创建if not isExists: os.makedirs(path) glob()一个很好用的读取文件的函数from glob import globdata = glob('dir/*') #得到这个目录下所有文件的名称，作为列表元素存储在data中...
2019-11-22 15:06:17
151
原创 图像类常用函数
import cv2import numpy as npimport matplotlib.pyplot as plt# 加载图片img = cv2.imread('pic.jpg')H_rows, W_cols= img.shape[:2]# 设置原图四个角(左上、右上、左下、右下)的位置pts1 = np.float32([[380, 187], [860, 143], [8...
2019-09-30 10:31:26
534
原创 字符串/数字类/元素常用函数
字符串/数字类图像类文件类glob()一个很好用的读取文件的函数from glob import globdata = glob('dir/*') #得到这个目录下所有文件的名称，作为列表元素存储在data中data = glob('dir/*.txt') #得到这个目录下所有txt文件的名称，作为列表元素存储在data中data = glob('dir/*/*') #得到这个目录...
2019-04-03 15:43:32
486
原创 Win10实现空格预览文件（类似macOS）
使用软件QuickLookQuickLook官网安装的三种方式Microsoft Store官网安装Github源码appveyor软件包下载支持预览的文件类型图片：.png, .jpg, .bmp, .gif, .psd, .apng，RAW；压缩包：.zip, .rar, .tar.gz, .7z；文档：.pdf, .txt, .html, .htm, .md, .markdown, .csv, .eml, .msg；微软 Office：Word (.doc, .docx), Ex
2021-04-07 13:20:26
5613
原创 计算广告
第一章 在线广告综述广告的定义：广告是由已确定的出资人通过各种媒介进行的有关产品（商品、服务和观点）的，通常是有偿的、有组织的、综合的、劝服性的非人员的信息传播活动。主动参与方一般性术语是谁出资人需求方广告主、代理商媒体供给方变现平台被动参与方受众传统媒体广告品牌广告，brand awarenedd直接效果广告，direct response广告的根本目的是广告主通过媒体达到低成本的用户接触。ROI：投入产出比，ret
2021-03-22 16:32:07
386
原创 Windows更改鼠标滚轮方向
目前Windows10系统设置里没有可以更改鼠标滚轮方向方向的选项，默认方向是非自然方向，Mac OS默认是自然方向且可更改。Windows更改滚轮方向方法：打开 Registry Editor 注册表编辑器；打开目录 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Enum\HID；里面很多项，依次打开，找到 Device Parameter，有FlipFlopWheel选项的，将其置为1，即为自然滚动；因为不确定哪一个是当前鼠标设备的选项，只能全部查看
2021-03-14 11:59:34
7621
原创 Windows10中添加或删除开机自启动项目
一：进入开始菜单的启动文件夹win + R输入shell:Startupenter进入添加应用的.exe快捷方式，开启开机启动项。删除快捷方式，取消开机启动。二：任务管理器的自启动项Task Manager（任务管理器）Startup（启动）点击禁用或启用三：应用程序的各自设置菜单里取消/开启开机启动。四：更改注册表中的键值打开Registry Editor打开以下几种[HKEY_CURRENT_USER]\Software\Microsoft\Windows\Cu
2021-03-14 11:25:45
7486
原创 WIN键失灵
一般就是win键被锁住了，可以用快捷键解锁。方法一：Fn+(F1-F12某个键，根据品牌不同有区别，一个个试过去)华为 Fn+F3Cherry Fn+F9外星人 Fn+F6…方法二：Fn+Win方法三：Fn+PrtSc（ikbc键盘适用）方法四：拔掉键盘，重启电脑。...
2021-03-12 17:46:21
7737
2
原创 Dead ReLU Problem 神经元坏死现象
Dead ReLU Problem(神经元坏死现象)假设某ReLu层的输入x\mathbf{x}x满足ReLU在负数区域被kill的现象叫做dead relu。ReLU在训练的时很“脆弱”。在x<0时，梯度为0。这个神经元及之后的神经元梯度永远为0，不再对任何数据有所响应，导致相应参数永远不会被更新。产生这种现象的两个原因：参数初始化问题；learning rate太高导致在训练过程中参数更新太大。解决方法正则化Batch Normalization、Group Normalization
2021-03-10 20:18:14
3793
原创 LaTeX常用package
写表格需要用\toprule、\midrule、\bottomrule给表格画横线时，需要导入宏包：\usepackage{booktabs}定义definition\usepackage{amsthm}注：如果已经导入了宏包 amsmath， 则跳过这一步骤，因为 amsmath 中包含了 amsthm\newtheorem{myDef}{Definition}# 使用\begin{myDef} \label{label} ...\end{myDef}...
2021-02-15 15:57:06
2691
原创 MacBook安装应用后在LaunchPad里不出现解决
MacBook安装应用后在LaunchPad里不出现，却在Finder的Applications里可以找到。解决方法：terminal>> defaults write com.apple.dock ResetLaunchPad -bool true>> killall DockDock会重启，LaunchPad也重置，安装的应用都会出现。...
2020-12-03 16:40:49
3332
1
原创 GAN loss
传统GAN来源：https://arxiv.org/abs/1406.2661符号解释GGG Generator生成器DDD Discriminator判别器PdataP_{data}Pdata 真实数据分布PGP_GPG 生成器生成数据分布目标公式minGmaxDEx∼Pdata[logD(x)]+Ez∼PG[log(1−D(G(z)))]\min _{G} \max...
2020-10-20 16:48:44
470
原创 Windows10文件资源管理器File Explorer一开即闪退解决办法
WIN10文件资源管理器开启后，几秒自动退出，重启无效。大部分都是因为和安装的软件不兼容。查看原因：打开控制面板，选择System and Security选择Security and Maintenance展开Maxintenance，选择View reliability history看到刚才闪退的记录也可以继续看底下的Biew all problem reports看到矛盾主题应用，卸载后闪退解决。...
2020-10-20 16:35:00
5269
1
原创 CTR预估系列炼丹入门手册
九羽-炼丹笔记大图FiBiNET：结合特征重要性和双线性特征交互进行CTR预估背景本文发表在RecSys 2019，主要通过动态学习不同特征的特征重要性权重，解决CTR预估中对不同场景下不同特征的权重（ReWeight）重定义问题，同时，双线性的使用解决稀疏数据在特征交叉建模时的有效性问题。创新由模型结构图我们可以发现，本文核心结构主要有两个，Embedding Layer中的SENET Layer 和 Bilinear-Interaction Layer 。其中 SENET La.
2020-09-15 17:19:07
290
原创 torchvision.transform图片转变/数据增强方法总结
来自官方文档-torchvision/transformstorchvision.transformCrop裁剪Flip and Rotation翻转和旋转图片变换对transform的后续操作Crop裁剪transforms.CenterCrop中心裁剪torchvision.transforms.CenterCrop(size)根据给定的size从中心裁剪，size可以是seque...
2020-04-17 14:16:28
3895
转载 《Search to Distill: Pearls are Everywhere but not the Eyes》论文阅读
[https://arxiv.org/abs/1911.09074] CVPR OralMotivation知识蒸馏一般是由 teacher，student 两个网络组成，teacher 一般是 ResNet 152 这样的大模型，student 一般是 Res50 这样的小模型。为了让小模型能学的更好，student 网络预测的结果不仅和 ground truth 算 loss，还和 t...
2020-04-11 12:14:39
342
转载 《Deep Mutual Learning》论文阅读
介绍模型蒸馏算法由Hinton等人在2015年提出，利用一个预训练好的大网络当作教师来提供小网络额外的知识即平滑后的概率估计，实验表明小网络通过模仿大网络估计的类别概率，优化过程变得更容易，且表现出与大网络相近甚至更好的性能。然而模型蒸馏算法需要有提前预训练好的大网络，且大网络在学习过程中保持固定，仅对小网络进行单向的知识传递，难以从小网络的学习状态中得到反馈信息来对训练过程进行优化调整。我们...
2020-04-10 09:26:24
1200
1
原创 《Do Deep Nets Really Need to be Deep》论文阅读
https://arxiv.org/abs/1312.6184Lei Jimmy Ba, Rich CaruanaNIPS 2014 引用量-964深层神经网络的性能相比浅层网络提升是因为什么？更多参数可以在给定相同数量参数的情况下学习更复杂的函数具有更好的归纳偏差，可以学习更有用的功能，学习层次表示非卷积网络很难学习到卷积网络学习到的特征表示当前的优化算法和正则化方法在深层...
2020-04-09 15:22:04
301
原创 《Net2Net: Accelerating Learning Via Knowledge Transfer》 论文阅读
Tianqi Chen, Ian Goodfellow, Jonathon Shlens, ICLR 2016 引用量-278https://arxiv.org/abs/1511.056411 简介知识迁移路径：预训练网络->更深/宽的网络目前很多任务都会训练多个不同的网络，每一个可能是对之前的网络的改进，但是每一个网络的训练都是从头开始的，很浪费，本文设计一个方法加快改进网络的...
2020-04-09 14:27:45
1059
原创 《PAYING MORE ATTENTION TO ATTENTION》论文阅读
论文全名 PAYING MORE ATTENTION TO ATTENTION: IMPROVING THE PERFORMANCE OF CONVOLUTIONAL NEURAL NETWORKS VIA ATTENTION TRANSFER介绍本文将knowledge定义为anttention map，student模仿teacher的attention map。与《A gift f...
2020-04-08 16:31:14
1967
1
原创 KL散度
相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对称性度量。在信息理论中，相对熵等价于两个概率分布的信息熵（Shannon entropy）的差值。在信息理论中，...
2020-04-08 09:18:58
370
1
原创 VSCode中MarkDown输出PDF无法包含LaTeX公式的解决
安装导出插件使用的导出PDF插件是「MarkDown PDF」导出方法进入MarkDown文件界面F1输入export搜索操作，选择export(pdf)或者其他格式Enter导出后发现公式无法显示解决办法进入扩展插件的template.html文件夹Mac的位置是/Users/username/.vscode/extensions/yzane.markdown...
2020-02-15 21:18:36
9638
16
原创 《深度学习》花书 - 第十一章 实践方法论
Deep Learning - Chapter 1111 实践方法论11.1 性能度量11.2 默认的基准模型11.3 决定是否收集更多数据11.4 选择超参数11.4.1 手动调整超参数11.4.2 自动超参数优化算法11.4.3 网格搜索11.4.4 随机搜索11.4.5 基于模型的超参数优化11.5 调试策略11.6 示例：多位数字识别11 实践方法论要成功地使用深度学习技术，还需要知道...
2020-01-07 14:29:59
821
原创 PyTorch的Tensor相关函数/操作
view改变张量的形状，相当于numpy的reshape。>>> a.shapetorch.Size([3, 2, 2])>>> a.view(3,4).shapetorch.Size([3, 4])permute给张量的维度换位置，期中的参数就是原来的维度的编号。>>> a.shapetorch.Size([3, 2, 2...
2020-01-01 22:05:28
465
原创 Linux下的终端挂起辅助工具tmux基本操作
简介tmux（terminal multiplexer）是Linux下的工具，用于终端复用，功能全稳定性高。在tmux模式下可以开启任意多个终端，在里面操作后可以挂起不影响终端内程序运行。甚至与服务器断开连接后，再次登录服务器后可以重新开启挂起的tmux终端，继续查看正在运行的程序。可以说是很好用的神器了。命令# 查看已有的终端列表>>> tmux ls# 新建终端...
2019-12-25 21:32:34
3446
原创 《深度学习》花书 - 第十章 序列建模：循环和递归网络
Deep Learning - Chapter 610 序列建模：循环和递归网络10.1 展开计算图10.2 循环神经网络10 序列建模：循环和递归网络循环神经网络（ recurrent neural network）或 RNN (Rumelhart et al., 1986c)是一类用于处理序列数据的神经网络。就像卷积网络是专门用于处理网格化数据 X（如一个图像）的神经网络， 循环神经网络是...
2019-12-16 11:16:55
426
原创 《深度学习》花书 - 第九章 卷积网络
Deep Learning - Chapter 69 卷积网络9.1 卷积运算9.2 动机9.3 池化9.4 卷积与池化作为一种无限强的先验9.5 基本卷积函数的变体9.6 结构化输出9.7 数据类型9.8 高效的卷积算法9.9 随机或无监督的特征9.10 卷积网络的神经科学基础9.11 卷积网络与深度学习的历史9 卷积网络9.1 卷积运算9.2 动机9.3 池化9.4 卷积与池化作为一...
2019-12-15 21:36:06
721
原创 Ubuntu创建应用快捷方式，更改图标
Ubuntu自己下载安装包安装的应用有时候会出现不能在activities里找到（没有快捷方式），或者图标显示不出来的情况，于是寻找解决办法。
2019-11-25 18:10:58
1780
原创 Difference of Convex Functions Programming 凸差函数作为优化学习方法
Difference of Convex Functions Programming for Reinforcement Learning - NeurIPS 2014DC Programming: The Optimization Method You Never Knew You Had To Know
2019-11-22 19:53:44
3707
原创 MacBook更新系统空间不足/无限重启/无法退出更新程序
背景今天MacOS Catalina10.15推送了，这个版本将有Sidecar，可以将iPad作为扩展显示器使用。对这个功能觊觎已久，但新系统很怕出问题，忍了一天，观望一下别人更的结果。好像别人都没问题，于是没忍住，抱着侥幸心理更新。于是就被我更死了。过程点开macOS软件更新...
2019-11-22 19:51:39
7457
1
原创 《深度学习》花书 - 第二章 线性代数
第二章 线性代数 Linear Algebra2.1 标量、向量、矩阵和张量 Scalars, Vectors, Matrices and Tensors标量：一个单独的数。向量：一列有序排列的数，通过索引可以确定每个单独的数。矩阵：一个二维数组，其中每个元素由两个索引所确定。 A∈Rm×n\boldsymbol{A} \in \mathbb{R}^{m \times n}A∈Rm×n实数...
2019-11-22 19:41:41
1177
原创 Maxout Networks - 论文阅读
ICML 2013 《Maxout Networks》Ian J. Goodfellow | David Warde-Farley | Mehdi Mirza | Aaron Courville | Yoshua Bengiopaper link1 概览这篇论文总结起来就是一个公式：hi(x)=maxj∈[1,k]zijh_{i}(x)=\max _{j \in[1, k]} z...
2019-11-22 16:23:03
239
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人