随手笔记_000333-CSDN博客

原创 mysql 双主同步（基于GTID）zabbix自动监控状态

一、主从介绍主从复制：主服务器可以读写，从服务器可以读，主服务器写的时候，从服务器也同步双主复制：两个服务器都是主服务器，都可以读写，互相同步，只要有一个写，另一个就会同步，但必须指定相同主键，初始状态需要相同。组复制：多个sever（半）同步复制GTID：不再依赖binlog文件名和文件中的位置，前几种都需要依赖，且极容易出错，需要flush logs，但需要5.7之后的版本...

2020-01-13 19:14:57 475

原创 InfoGAN 网络训练过程介绍

一、InfoGAN是什么简单的讲，就是一种常见的GAN，是在普通的GAN的基础上增加Q网络，可以通过无监督学习的方式学到生成的数据的类别。二、小故事小D是一个很喜欢吃饺子的姑娘，喜欢吃不同的馅的饺子，而且对于饺子的要求十分高，尤其喜欢B城的一家饺子店的饺子，但是由于长期身在A城，没有办法吃到B城的饺子。而她的男朋友小G和她是异地，而且恰好是在B城，是一个非常宠她的小伙子，经常为了让...

2018-01-19 17:19:07 3840

原创爬虫 403 增加header和代理ip也没用？有可能是cloudflare在搞事情

当爬虫遇到了403，有可能的原因主要有：1. 你的User-Agent暴露了你，解决方案，增加headerimport requestsimport cfscrapefrom urllib import requestfrom urllib import parsefrom http.cookiejar import CookieJarheaders = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) App

2021-10-09 16:53:14 11352 1

原创 mysql 可视化工具总结

一、HeidiSQL简介：官网 githubHeidiSQL runs fine on Windows Vista, 7, 8 and 10. Using Wine, it mostly runs fine on Linux and MacOS. Connect to multiple servers in one window 支持sql语句方便看到数据库的大小、列数 ...

2020-01-20 14:18:29 1448

原创数据版本管理 DVC data version control 和git一起管理你的机器学习实验数据

数据版本管理的目的每个模型的在训练的时候，所使用的训练数据/测试数据都有可能是变化的，在进行复现实验结果的时候，除了使用同样的代码，config，使用同样的数据也是非常重要的。如下图，如果要人工记录数据版本以及模型版本，使之匹配是比较麻烦的，因此，数据版本管理是十分必要的。一、简介DVC 可以轻松地将数据存储在许多存储系统上，像本地磁盘、SSH 服务器或云系统（S3、GCP 等...

2020-01-20 13:28:01 6499

原创 baseline needs more love 简单网络vs复杂网络（1）——baseline

（一）背景说到baseline和art of start，做建模的同学应该都不会陌生吧，最近关于机器学习和深度学习的争执也是越来越多，其中就不乏会有人认为，其实深度学习能够做到的事情，机器学习也可以做到，还可以少花费一些时间来训练模型，计算资源的要求也会低一些，可是事实上到底是怎样的呢？baseline needs more love这篇论文(ACL2018)中就做了相关的实验来进行证明。说到NL...

2018-07-13 20:59:41 758

原创爬虫报错 DLL load failed: 操作系统无法运行1%

查到的解决方案有三种：1）重新安装 scrapy，pip uninstall scarpy 2)把C:\Windows\System32目录下的libeay32.dll和ssleay32.dll删除即可（但是可能会对其他依赖这两个DLL的软件有影响）。（未尝试）3）pip install -I cryptography （建议使用此方法）...

2018-07-11 15:40:14 1505

原创 OS自动创建和系统时间名字一样的文件夹

2018-04-16 19:41:34 351

原创 Tensor must be 4-D with last dim 1, 3, or 4,bug记录

torch学习入坑（1）记录一下第一个坑，防止自己忘记。在用torchvision.utils.make_grid处理完图片之后，维度会变为三维，如果需要使用tf.summary.image ，需要增加batch size 的那一维，需要用到的函数为 tf.expand_dims。注意：1、torchvision.utils.make_grid函数输入：Tensor of s...

2018-04-16 18:55:56 1933

翻译 tensorflow r1.5 版本差异调研

一、Breaking Changes1、预编制的二进制文件是针对CUDA 9 和 cuDNN 7制定的。2、Linux的二进制文件是使用 ubuntu 16构建的，在使用ubuntu 14引入glibc的时候，可能会出现不兼容的问题。3、从1.6的版本开始，预编译的二进制文件会使用AVX指令，可能会破坏CPU上的TF。（This may break TF on older CPUs）

2018-01-05 09:42:04 1740

原创 Alexnet 网络结构和原理介绍

一、Alexnet网络结构图* 二、Alexnet网络结构详细解读* 之前做过一个相关的ppt，下图是其中的一页，介绍的也比较详细，可以参考：Alexnet网络是由八层网络组成的，包括5层卷积层和3层全连接层，下面是详细的介绍：首先，Alexnet的输入部分是224*224*3的图片，经过预处理之后，变为227*227*3的大小，作为网络的输入的部分。

2018-01-04 14:53:43 7437

原创交叉验证 CrossValidation K折交叉验证

在机器学习或者深度学习的过程中，划分数据集是一个十分重要的工作，我们在进行交叉验证的时候，可以有效的减少过拟合的情况，尽可能的利用数据的全部的有效特征来进行训练模型。

2018-01-02 18:05:06 1300

原创数据标准化数据归一化数据预处理 data normalization / scale

一、数据归一化的好处：数据标准化和归一化的区别和联系：在进行处理数据的时候，标准化的方法是比较多的，其中数据归一化是一种常见的数据的标准化，只不过标准化只是将数据进行规范到一个范围之内，对于数据的归一化来说，是将数据规范到0到1之间或者是-1到1之间。在使用机器学习或者深度学习的模型的时候，数据预处理的阶段是十分重要的，我们在进行处理的时候，包括缺失值处理、异常值处理、重复值处理等很多方面，当然

2018-01-02 16:14:19 3345

原创迁移学习基础知识源域多任务学习目标域

迁移学习简单的将就是举一反三，是将已经学习到的知识迁移到另一种未知的知识的学习，即从源域迁移到目标域。小故事从前有一个商人，在帝都以卖猫的玩偶为生，他叫CNN，很厉害，是一个分辨高手，擅长区分不同的猫咪，如果有人拿猫咪想要坑他，基本是不可能的。名贵的猫咪的玩偶也就卖的贵一些。突然有一天，他不想卖猫了，想要卖狗狗和老虎的玩偶（只是比喻啦~保护小动物人人有责，违法乱纪的事坚决不能干）。本以为

2018-01-02 15:27:53 19673

原创重采样上采样下采样

重采样的原理：重采样主要是分为上采样和下采样，在进行采样的过程中，需要注意采样的倍率的问题，并不是可以随意的改变采样率的大小的，根据采样定理：在进行模拟/数字信号的转换过程中，当采样频率fs.max大于信号中最高频率fmax的2倍时(fs.max>=2fmax)，采样之后的数字信号完整地保留了原始信号中的信息，一般实际应用中保证采样频率为信号最高频率的5~10倍;采样定理又称奈奎斯特定理。（采样

2018-01-02 15:15:49 13669

原创 TP FP FN TN precision Recall Accuracy

TP: true postive，实际上是正样本，预测也为正样本，真正 FP:false postive，实际上是负样本，预测为正样本，真负 FN:false negative，实际上是正样本，预测为负样本，假负 TN:true negative，实际上是负样本，预测为负样本，真负 precision :精准率 = TP/(TP+FP) Recall :召回率 = TP/(TP+FN)

2017-12-29 16:28:19 773

原创 sklearn.model_selection中的train_test_split使用方法，分割数据集，划分训练集和测试集

sklearn.model_selection中的train_test_split使用方法，分割数据集，划分训练集和测试集

2017-12-28 16:50:55 2872

原创调试神经网络的注意事项和技巧总结（一）

最近在调试神经网络的过程中，遇到了网络不收敛的情况，查阅了很多的相关的资料，根据相关的建议，作出了一些实验，来进行调试，下面这几点是我遇到的几个坑： 1.数据预处理 2. 数据规范化 3.正则化 4.batch size 5.使用了不适当的学习率 6.在最后一层使用了错误的激活函数 7.网络含有不良梯度 8.尝试不同的优化器 9.及时检查结果首先，对于一个神经网络来说，我们在进行建

2017-11-25 14:20:02 1554

原创 InfoGAN 论文阅读笔记基本知识总结

最近的一些工作是在使用InfoGAN，查看了一些资料，发现相关的资料并不是很多，所以，写了这个博客，一方面希望对最近两个周看到的文献进行一个归纳总结，另一方面希望遇到在做这方面的工作的大佬们，请教学习，不足之处请指正，谢谢大家~。一、什么是InfoGANInfoGAN是一种常见的GAN 的变种，是由InfoGAN: Interpretable Representation Learning

2017-11-04 17:18:43 3858

原创 GANs基础调研报告

本文主要是介绍DCGAN、WGAN、CGAN的优缺点以及原理

2017-10-09 17:07:26 1749

原创动脉硬化检测分析部分指标说明

1、脉压：为高低压差。正常一般为40mmHg,60脉压增大。脉压指的是收缩压和舒张压之间的差值，正常范围是30~50mmHg，在20~30mmHg之间或50~60mmHg之间临界值，此时如果伴随心脑血管病危险因素者应当积极治疗。说明：脉压是卒中的重要的预测因子，脉压每升高10mmHg，卒中的危险增加11%，全因死亡的概率增加16%。2、ABI（ankle brachial inde

2017-09-07 09:01:56 11228