- 博客(320)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 [pytorch03]DDP每一步做了什么
文章目录DISTRIBUTED DATA PARALLELExampleInternal DesignImplementationDISTRIBUTED DATA PARALLELtorch.nn.parallel.DistributedDataParallel (DDP) transparently performs distributed data parallel training. This page describes how it works and reveals implementati
2020-07-20 09:49:51
999
原创 [pytorch02]开始使用DISTRIBUTED DATA PARALLEL
文章目录开始使用DISTRIBUTED DATA PARALLELComparison between `DataParallel` and `DistributedDataParallel`Basic Use CaseSkewed Processing SpeedsSave and Load CheckpointsCombine DDP with Model Parallelism开始使用DISTRIBUTED DATA PARALLELApplications using DDP should sp
2020-07-20 09:47:38
640
原创 [pytorch01]用pytorch写分布式应用
文章目录WRITING DISTRIBUTED APPLICATIONS WITH PYTORCHSetupPoint-to-Point CommunicationCollective CommunicationDistributed TrainingOur Own Ring-AllreduceAdvanced TopicsCommunication BackendsInitialization MethodsWRITING DISTRIBUTED APPLICATIONS WITH PYTORCHIn
2020-07-20 09:46:23
1184
原创 [pytorch00]模型并行在单机上的最佳实践
文章目录模型并行在单机上的最佳实践基本用法对现有的模型进行并行通过pipelining inputs进行加速模型并行在单机上的最佳实践 模型并行在分布式训练技术中被广泛使用。之前的文章已经解释了如何使用DataParallel训练多个gpu上的神经网络；该方法将相同的模型复制到所有GPU，其中每个GPU处理splited后的输入数据。虽然它可以显著地加速训练过程，但它在某些情况下无法工作，因为模型太大，无法装入一个GPU中（如数个G甚至十几个G时）。这篇文章展示了如何通过使用**模型并行(Model
2020-07-20 09:44:23
506
原创 Deecamp2019夏令营小记
2019.07.19~08.17 参加了创新工场主办的DeeCamp，今小记之DeeCamp今年是第三年举办，邀请到的嘉宾都是大咖，而且整个Camp时间接近一个月，有一定可能性做出像样的产品，遂参加Our Project我们的课题是 图像闭合边缘生成系统，简单来说就是生成图片中物体的边缘但对闭合性和生动性有一定要求。尝试了下面的算法：CartoonGANContourGAN...
2019-11-12 10:29:58
428
原创 HDU6588 经典gcd求和
需要求∑i=1ngcd(⌊i3⌋,i)mod  998244353n=1021\sum_{i=1}^n\gcd(\lfloor{\sqrt[3]{i}}\rfloor,i)\mod 998244353 \quad n = 10^{21}i=1∑ngcd(⌊3i⌋,i)mod998244353n=1021思路令m=⌊n...
2019-08-22 21:03:21
569
原创 求解线性子空间的交空间
求解线性子空间的交空间今天群友们讨论一个问题（应该是今年牛客多校的题目），Linear Algebra, Vector Space: how to find intersection of two subspaces ?故在此记录一下math.stackchange上网友的solution:[外链图片转存失败(img-cFbLg1Lu-1564241317468)(https://s2....
2019-07-27 23:28:58
3298
原创 线性代数基础-快速复习
文章目录前言一.行列式基本概念二.矩阵基本概念矩阵的三种初等变换三.线性方程组四.n维向量空间五.矩阵相似对角形特征值与特征向量矩阵的相似实对称矩阵的对角形六.二次型二次型与线性替换、合同标准形与规范形正定与正交线性替换小结前言此文档总结了大学本科本人学习线性代数的一些心得…其中一二三四是预备姿势，五六是精彩的部分，是现在ML的基础。 总的来说，线代作为一种研究工具，简化了表达与计算…欢迎...
2019-07-11 15:48:44
3023
原创 牛客练习赛49 solution
A水题B有15本书,和15个价格,你要分配这15个价格,使得总价最小.此外,有一些促销方案,每个方案是一些书的集合,表示只要买全了这个方案的书,则最便宜的一本书免费你最后选择的所有方案不能有重复的书.第一感觉就是状压dp 了首先二进制枚举子集,对于每个当前状态,考虑可以从哪些状态转移过来,这时候再枚举他的子集,时间复杂度看起来是$2^n * 2^n $ 实际上是3n3^n3n ...
2019-07-08 22:35:59
298
1
原创 cf #572 div2 solution
cf #572 div2 my solutionA水题#include<bits/stdc++.h>using namespace std;const int maxn = 2e5+10;const int mod = 1e9+7;int solve(string s){ int num=0; for(int i=0;i<s.length();...
2019-07-07 17:58:54
468
2
原创 Visual Studio 2017 创建项目模板（for ACM/OI 自定义）
背景对于ACM/OI选手来说，VS有点小大了，因此为了更方便的做题，创建一个项目模板，每次创建新的项目时，预处理一下，结构如下：其中in.txt 用于读取数据。另外，不光文件，项目相关的配置参数也会保存。在竞赛中，我们习惯使用freopen来读写文件，msvc认为这是不安全的，于是需要设置去除警告：另外，空项目的console会一闪而过，需要如下设置：至此，已经可以生成模板辣模板...
2019-03-10 22:56:08
721
原创 HDU1237(表达式求值)
Problem读入一个只包含 +, -, *, / 的非负整数计算表达式，计算该表达式的值。Input测试输入包含若干测试用例，每个测试用例占一行，每行不超过200个字符，整数和运算符之间用一个空格分隔。没有非法表达式。当一行中只有0时输入结束，相应的结果不要输出。Output对每个测试用例输出1行，即该表达式的值，精确到小数点后2位。Sample Input1 + 24 + 2 ...
2019-03-10 20:15:33
508
原创 CSDN博客保存到本地(markdown源码)
CSDN-Blog-SaverCSDN博客保存到本地(markdown源码) 技术栈：python selenium代码见https://github.com/Feynman1999/CSDN-Blog-Saver运行环境目前只支持windows 已测试：win10.0.17134 Python3.6.2第三方包见requirements.txt代码中浏览...
2019-02-24 21:27:47
3812
2
原创 InfoGAN论文理解及复现
InfoGAN论文理解及复现by AHU Random_Walker主要从四个方面来了解相关工作，即MotivationRelated Work-MethodExperimentsConclusion然后有三个过程来复现代码，最后的疑问算是对整个框架和代码细节问题的汇总吧框架代码实现与结果总结与疑问参考的资料https://arxiv.org/abs/1606....
2019-01-18 19:03:26
2943
1
原创 Rendezvous on a Tetrahedron（几何、枚举，可规律）
problemhttps://codeforces.com/gym/101986/attachments/download/7911/20172018-acmicpc-asia-tsukuba-regional-contest-en.pdf g题思路四面体上行走暴力枚举6种过棱情况。。。注意斜率是不变的（有更简单的方法。。）Code#include&lt;bits/stdc+...
2018-12-11 09:40:29
450
原创 TensorFlow 之 Custom layers
Custom layersThe full list of pre-existing layers can be seen in the documentation. It includesDense (a fully-connected layer)Conv2DLSTMBatchNormalizationDropoutand many others.主...
2018-12-09 22:57:53
478
原创 TensorFlow 之 Custom training: basics
Custom training: basics 这一小节，我们使用前面介绍过的一些TF primitives来做一些简单的机器学习。官方推荐使用tf.keras这样高阶的api，但是strong foundation是重要的，所以这一节cover neural network training from first principlesIn this tutorial we covere...
2018-12-09 22:55:17
411
原创 TensorFlow 之 Automatic differentiation and gradient tape
Automatic differentiation and gradient tape 之前我们介绍了Tensor 以及在其上的操作，下面我们介绍一下自动微分技术，—用来优化模型参数的关键。 tensorflow 提供了用于自动微分的API，来计算一个函数的导数。一种更接近数学的求导方法是：先写一个python函数，封装好对参数的运算。然后使用tf.contrib.eager.gradie...
2018-12-03 15:40:34
1665
原创 Python Lambda 表达式
Python Lambda 表达式通常，当你不想费神去构建一个函数的场合下，可以使用lambda表示，达到简化代码的作用。所以一般来说，lambda表达式的内容是比较简单的。应用在函数式编程python提供了很多函数式编程的特性，如map,reduce,filter,sorted等这些函数都支持函数作为参数例如排序时重载：list1 = [3 , 5 , -1, 0 , -2, -6]...
2018-12-03 10:38:02
297
原创 TensorFlow 之 Eager execution basics
Eager execution basics官方的一句话解释：Eager execution is a feature that makes TensorFlow execute operations immediately: concrete values are returned, instead of creating a computational graph that is exe...
2018-11-30 18:49:19
262
原创 tf.keras入门(5) save and restore models
保存和恢复模型模型进度可在训练期间和之后保存。这意味着，您可以从上次暂停的地方继续训练模型，避免训练时间过长。此外，可以保存意味着您可以分享模型，而他人可以对您的工作成果进行再创作。发布研究模型和相关技术时，大部分机器学习从业者会分享以下内容：用于创建模型的代码，以及模型的训练权重或参数分享此类数据有助于他人了解模型的工作原理并尝试使用新数据自行尝试模型。下面介绍的是使用tf.ker...
2018-11-28 14:42:07
957
原创 tf.keras入门(4) Explore over-fitting and under-fitting
探索过拟合与欠拟合我们将探索两种常见的正则化技术（权重正则化和丢弃），并使用它们改进我们的 IMDB 影评分类笔记本。我们不会像在上一次那样使用嵌入，而是对句子进行独热编码。该模型将很快过拟合训练集。它将用来演示何时发生过拟合，以及如何防止过拟合。务必谨记：深度学习模型往往善于与训练数据拟合，但真正的挑战是泛化，而非拟合。数据预处理与网络结构和之前采用嵌入方法不同，这里我们直接使用o...
2018-11-27 15:51:45
374
原创 tf.keras入门(3) Predicting House Prices: Regression（boston_housing 数据集）
预测房价（回归）预测 20 世纪 70 年代中期波士顿郊区房价的中间值。该数据集包含 13 个不同的特征：人均犯罪率。占地面积超过 25000 平方英尺的住宅用地所占的比例。非零售商业用地所占的比例（英亩/城镇）。查尔斯河虚拟变量（如果大片土地都临近查尔斯河，则为 1；否则为 0）。一氧化氮浓度（以千万分之一为单位）。每栋住宅的平均房间数。1940 年以前建造的自住房所占比例。...
2018-11-25 21:55:18
2261
原创 tf.keras入门(2) Film review text Classification（IMDB 数据集）
影评文本分类使用 IMDB 数据集，其中包含来自互联网电影数据库的 50000 条影评文本。将这些影评拆分为训练集（25000 条影评）和测试集（25000 条影评）。训练集和测试集之间达成了平衡，意味着它们包含相同数量的正面和负面影评。接口解释train_data = keras.preprocessing.sequence.pad_sequences(train_data, va...
2018-11-20 11:58:56
676
原创 tf.keras入门(1) Basic Classification（Fashion MNIST数据集）
基本分类（Fashion MNIST）使用tf.keras ，是一种在TensorFlow中构建和训练模型的高阶api本指南使用 Fashion MNIST 数据集，其中包含 70000 张灰度图像，涵盖 10 个类别。以下图像显示了单件服饰在较低分辨率（28x28 像素）下的效果：Code主要接口：keras.datasetstf.nn.relutf.nn.softmaxtf...
2018-11-20 10:11:37
606
原创 2018沈阳k（经典的约瑟夫环）
地址K Let the Flames Begin首先，对于经典的约瑟夫环问题，我们记f(n,m)f(n,m)f(n,m)表示初始有nnn个人，第mmm个出队的人是谁（从0号开始报数）。则有递推式f(n,m)=(f(n−1,m−1)+k) % nf(n,m)=(f(n-1,m-1)+k)\ \%\ nf(n,m)=(f(n−1,m−1)+k) % n ...
2018-11-17 11:21:36
1007
原创 PE642
PE642EES秒掉辣https://blog.csdn.net/Feynman1999/article/details/82874491%%%min_25// PE 642 最大质因子 前缀和// author : Feynman1999// f(1)=0 f(p)=p f(p^e)=p// running time: 12.8s using Intel I5-34...
2018-11-12 15:55:13
289
原创 洛谷P4169 [Violet]天使玩偶/SJY摆棋子(CDQ分治)
洛谷 P4169 [Violet]天使玩偶/SJY摆棋子https://www.luogu.org/problemnew/show/P4169对于曼哈顿距离 考虑四个方向分别求解，因此现在考虑一个方向如何求解cdq分治时，左边的修改会对右边的询问产生影响，于是使用树状数组维护。那么具体什么样的左边的点会对右边造成影响呢？当然是两个坐标都小于等于询问辣，那么我们对左边点进行排序（不用sort，...
2018-11-12 15:53:06
377
原创 JAVA基础姿势
JAVA基础姿势输入判断是否有下一个输入可以用 cin.hasNext()import java.io.*;import java.math.*;import java.util.*;import java.text.*;public class Main{ public static void main(String[] args) { Scann...
2018-10-23 11:09:59
231
原创 HDU6223(bfs+剪枝)
HDU 6223 (17沈阳)告诉你每个点的权值，但从第一个点开始后，以后每一个点按照 (i2+1)%N(i^2 + 1)\%N(i2+1)%N 去走，问一共走NNN个点的路径，字典序最大是多少？思路bfs+剪枝开始时显然选择权值最大的那些点出发于是多源bfs两个剪枝：对于每一层的点，我只取权值最大的那些点（可以用优先队列）对于同一层的点，做标记，保证只拓展一次 （注意这里用m...
2018-10-23 10:04:45
524
原创 Atcoder Regular Contest 103 (待补全)
C搞个桶暴力即可，注意要求两种不同的数字，需要特判一下D给定平面上的NNN个点，求NNN个序列，每个序列表示上下左右，起点是远点，然后从原点按照N个序列走，权值是D序列（顺序对应），要求恰好走到这N个点，求这样的序列和D序列待补EYou are given a string s of length n. Does a tree with n vertices that satisfie...
2018-09-29 22:58:31
323
1
原创 51nod1237(EES解法，省空间)
这里用的是最近比较流行的EES方法解决的不了解的可以看下这篇文章：https://blog.csdn.net/Feynman1999/article/details/82874491这种方法只要能找出f(pe)f(p^e)f(pe)的表达式，并且当e+1e+1e+1时可以O(1)O(1)O(1)维护，就可以用EES筛法去做对于本题而言，考虑函数S(n)=∑i=1ngcd(i,n)S(n)...
2018-09-29 16:55:32
387
原创 Loj 6053（EES筛法）
problem思路满足EES筛法的要求考虑f(p)f(p)f(p)即p1p^1p1是啥，当p&amp;gt;2p&amp;gt;2p&gt;2时，f(p)=p−1f(p)=p-1f(p)=p−1，而f(2)=3f(2)=3f(2)=3所以预处理出p1,p0p^1,p^0p1,p0的前缀和即可并注意，当i&amp;gt;=2i&amp;gt;=2i&gt;=2时，这个前缀和少计算了2（即...
2018-09-29 12:41:37
241
原创 Min_25筛(EES筛)法
Extended Eratosthenes Sieve 参考链接给出一个积性函数(一些非积性函数也可以搞一搞)fff，且f(p)f(p)f(p)为关于ppp的多项式。求S(n)=∑i=1nf(i)S(n)=\sum_{i=1}^nf(i)S(n)=∑i=1nf(i)∀&amp;amp;amp;amp;nbsp;2≤i≤n\forall \ 2\le i\le n∀&amp;amp;amp;amp;nbsp;2≤i≤n，我们可以将iii分为两类最...
2018-09-27 22:28:38
938
原创 HYSBZ - 2818
problem给定整数N，求1<=x,y<=N且Gcd(x,y)为素数的 数对(x,y)有多少对. N1e7思路枚举素数（大概几e5个） 对于每个素数暴力算（先预处理筛出欧拉值） 时间复杂度 case∗O(素数个数)case∗O(素数个数)case*O(素数个数)代码示例#include<bits/stdc++.h>using nam...
2018-09-08 09:10:38
326
原创 18四川省赛G题 分段 数论函数
problem计算 ans=∑i=1n∑j=1i(n&nbsp;mod(i×j))ans=∑i=1n∑j=1i(n&nbsp;mod(i×j))ans =\sum^n_{i=1}\sum^i_{j=1} (n\ mod (i \times j)) 1≤n≤10111≤n≤10111 ≤ n ≤ 10^{11}思路解法一首先写作∑ni=1∑ij=1(n−⌊nij⌋∗ij...
2018-09-07 17:21:08
248
原创 CF757E（积性函数）
problem思路满足pq=npq=npq=n且gcd(p,q)=1gcd(p,q)=1gcd(p,q)=1的二元组个数是多少呢？显然是2w(n)2w(n)2^{w(n)}个，其中w(n)w(n)w(n)是不同的素因子的数目那么fr+1(n)=∑uv=nfr(u)+fr(v)2fr+1(n)=∑uv=nfr(u)+fr(v)2f_{r+1}(n)=\sum_{uv=n}\f...
2018-09-05 21:13:29
790
原创 HDU5528 积性函数
HDU 5528Marry likes to count the number of ways to choose two non-negative integers aa and bbless than mm to make a×ba×b mod m≠0m≠0. Let’s denote f(m)f(m) as the number of ways to choose two non-n...
2018-09-05 11:58:54
313
原创 bzoj 2705
Longge的数学成绩非常好，并且他非常乐于挑战高难度的数学问题。现在问题来了：给定一个整数N，你需要求出∑gcd(i, N)(1<=i <=N)。Input一个整数，为N。Output一个整数，为所求的答案。Sample Input6Sample Output15Hint【数据范围】对于60%的数据，0思路枚举哪些数...
2018-09-04 20:02:01
193
win7_64位_汇编环境搭建指南_DOSbox
2017-09-04
masm 6 . 15
2017-09-04
DOSBox0.74
2017-09-04
简单旅游景点咨询系统的设计与实现
2017-07-12
哈夫曼编/译码系统的简单设计与实现
2017-06-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人