- 博客(42)
- 资源 (13)
- 收藏
- 关注
RSS订阅转载 ZGS 算法
引言2006年的一篇论文《Map-Reduce for Machine Learning on Multicore》[1]在PAC(probably approximate correct)理论和SQL(Statistical Query Learning)[2]理论的框架下，指出了“求和形式算法”可以自然的利用多CPU并行训练（也可以推广到MapReduce编程范式下并行训练）。我们见到的绝大多数使用MapReduce进行训练的模型，都可以归结到这篇论文中提出的形式，它们本质上对于算法本身没有进行任何修
2022-04-14 17:34:21
690
原创 Linux: centos SSH无密登陆
文章目录三台Centos7 的SSH无密登陆1. 第一步检查是否安装ssh(这里假设已经有的情况）2. 第二步生成私钥与公钥3. 公开公钥到多台虚拟机成功！三台Centos7 的SSH无密登陆1. 第一步检查是否安装ssh(这里假设已经有的情况）which ssh2. 第二步生成私钥与公钥假设三台虚拟机分别为node1,node2,node3首先对node1进行以下操作：cd /root/ #若以root登陆选择这个cd /home/ #若以用户登陆选择这个ssh-keygen -
2022-04-13 15:05:33
853
原创 Openslide安装问题解决方法
1. 别人的方法照着该方法并没有成功！！2. 修改方法为：import osos.add_dll_directory("openslide-bin-path")3. 使用笔记
2022-04-03 00:27:26
784
原创 Pytorch统计网络参数计算工具、模型 FLOPs, MACs, MAdds 关系
Pytorch统计网络参数#网络参数数量def get_parameter_number(net): total_num = sum(p.numel() for p in net.parameters()) trainable_num = sum(p.numel() for p in net.parameters() if p.requires_grad) return {'Total': total_num, 'Trainable': trainable_num}#查看网络
2022-03-12 23:44:37
5715
1
原创 pytorch学习
文章目录1. nn.Module2. .to(张量不执行inplace操作，因此要重新赋值)1. nn.Module我们在定义自已的网络的时候, 需要继承nn.Module类, 并重新实现构造函数__init__构造函数和forward这两个方法。技巧：一般把网络中具有可学习参数的层（如全连接层、卷积层等）放在构造函数__init__()中，当然我也可以吧不具有参数的层也放在里面forward方法是必须要重写的，它是实现模型的功能，实现各个层之间的连接关系的核心一般把不具有可学习参数的层(如R
2022-03-06 17:18:43
802
原创 Docker安装Mysql 5.7镜像并本地Navicat远程连接——基于阿里云服务器
文章目录1.拉取mysql 5.72.运行mysql 5.7容器3.进入到容器中4.开启远程访问权限5. 添加阿里云服务器防火墙规则1.拉取mysql 5.7docker pull mysql:5.72.运行mysql 5.7容器mkdir mysql_dockercd mysql_docker/echo $PWDdocker run --name mysqlserver -v $PWD/conf:/etc/mysql/conf.d -v $PWD/logs:/logs -v $PWD/da
2022-02-26 18:20:37
844
原创 Centos 7: Python与yum的卸载与重新安装
卸载pythonrpm -qa|grep python|xargs rpm -e --allmatches --nodepswhereis python|xargs rm -fr卸载yumrpm -qa|grep yum|xargs rpm -e --allmatches --nodepsrm -rf /etc/yum.repos.d/*whereis yum|xargs rm -fr重装python2.7mkdir /usr/local/src/pythoncd /us.
2022-02-02 21:23:56
455
原创 安装docker-compose
安装 Docker ComposeDocker Compose 存放在Git Hub，不太稳定。你可以也通过执行下面的命令，高速安装Docker Compose。curl -L https://get.daocloud.io/docker/compose/releases/download/v2.2.3/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-composechmod +x /usr/local/bin/doc
2022-02-02 10:11:56
1040
原创 联邦学习开源框架调研
1. FATEFATE 是微众银行人工智能部门发起的一个开源项目，旨在提供一个安全的计算框架来支持联合人工智能生态系统。它实现了多种安全计算协议，以实现大数据协作与数据保护法规合规性。凭借模块化的可扩展建模流水线、清晰的可视化界面和灵活的调度系统，FATE 获得了开箱即用的可用性和出色的运行性能。FATE项目使用多方安全计算 (MPC) 以及同态加密 (HE) 技术构建底层安全计算协议，以此支持不同种类的机器学习的安全计算，包括逻辑回归、基于树的算法、深度学习和迁移学习等。功能：全面，同时覆盖横
2022-01-29 15:01:05
5404
原创 SVM研究展望
SVM研究展望方向1. SVM 最大间隔 (寻找数据边界低密度区域思想) 和稀疏损失函数数据分布之间的间隔2. SVM 非线性学习3. 深度 SVM 与广度 SVM方向回归问题、多分类问题、多示例问题、多标记问题、多视角问题、特征压缩问题、时间序列问题、半监督学习问题[和无监督学习问题, 而且包括深度学习 和广度学习 等新的研究热点从理论上研究如何提高各种 SVM 的泛化能力使其达到期望风险更紧的上界;从模型上研究新的正则化项、损失函数和核函数的构建及其适用范围;由于 SVM 需要求解优化问题,
2021-12-05 17:19:50
1500
1
原创 centos网络问题
解决CentOS没有ip地址的问题当你发现VMware虚拟机中的CentOS系统，启动后没有获取到ip地址，可以尝试本文介绍的几种方法来修复。1，我第一次在VMWare中装CentOS，启动后就没有ip地址，用ip addr命令（CentOS默认没有ifconfig命令）查询不到ip地址。这时，运行sudo dhclient，通过DHCP的方式获取地址，一般就能解决问题。$ vim /etc/sysconfig/network-scripts/ifcfg-ens33TYPE="Ethernet"
2021-11-04 17:04:01
104
原创 MPI讲义 Part1：并行计算的基础
1、并行计算并行计算是一种计算类型，其中许多计算或者过程的执行时同时进行的。2、硬件2.1 超级计算机2.2 并行计算单元隐式并行并行执行不同的处理器指令；自动发生；程序员只能间接影响。Multi-core/Multi-CPU计算单元共享相同的内存集群通过交互链接的独立系统每个系统有自己的内存加速器比通用CPU更快的速度执行某些任务做出不同的权衡通常有自己的内存向量处理器/向量单元同时在多个数据块执行相同的操作2.3 内存共享内存（shared memo
2021-08-27 15:55:16
398
原创 Github下载速度慢
第一步，找到hosts文件，一般在C:\Windows\System32\drivers\etc利用记事本或者Notepad打开第二步，分别在https://www.ipaddress.com/下输入：github.comgithub.global.ssl.fastly.net得到下图：第三步，将上图中的ip地址分别拷贝到刚才打开的hosts文件中。...
2021-08-12 22:24:27
50
原创 Hive安装及配置
Hive安装及配置Hive安装Hive配置配置hive-site.xml初始化Hive安装下载Hive,解压Hive配置将hive下的conf文件中的hive-default.xml.template复制为hive-site.xmlsudo cp hive-default.xml.template hive-site.xml配置hive-site.xml改配置十分关键，hive无法成功运行，主要在于该文件没有配置成功。第一步：安装mysql,非常简单，不做详细说明；第二步：在mysql
2021-05-24 11:52:31
159
原创 SCALA与SPARK安装
SCALA安装下载好scala 2.12.解压到/usr/local/scala然后添加环境变量export SCALA_HOME=/usr/local/scalaexport PATH=$PATH:$SCALA_HOME/bin安装SPARK下载好spark2.4解压到/usr/local/spark添加环境变量export SPARK_HOME=/usr/local/sparkexport PATH=$PATH:$SCALA_HOME/bin配置cd /usr/loc
2021-04-26 08:48:03
330
原创 安装Hadoop Multi Node Cluster
详细步骤如下将上一节的single node cluster复制到data1设置data11.设置网络配置2.设置主机名3.编辑Hosts文件4.编辑core-site.xml5.编辑YARN-site.xml6.编辑mapred-site.xml7.编辑hdfs-site.xml重复将data1完整复制到data2,data3,master设置master服务器master连接data1,data2,data3创建并格式化NameNode HDFS启动Hadoop Multi Node Cluster将
2021-04-08 15:23:26
348
原创 HADOOP框架搭建记录
详细步骤如下安装VMware15pro安装Ubuntu16.04设置Ubuntu1.设置语言（如果你想用中文的话）2. 实现Linux与Windows的互相复制与粘贴3. 软件更新服务器选择问题安装JDK8SSH无密码登录安装Hadoop安装VMware15pro一定下载VMware15pro以上。因为版本稳定问题与搭配问题。安装Ubuntu16.04VMware 15pro安装成功后如下所示：然后，点击新建虚拟机：之后，选择你下载的ubuntu16.04的光驱，如下所示：再之后，设置l
2021-04-08 10:24:20
101
原创 三、tensorflow进阶
(一) 合并与分割合并# 1.拼接 tf.concat(tensors,axis)，拼接并不创建新的维度# 注意地方是非拼接维度必须一致a = tf.random.normal([4,32,32,3])b = tf.random.normal([2,32,32,3])c = tf.concat([a,b],axis=0)# 2.堆叠 tf.stack(tensors,axis)，可以增减新的维度a = tf.random.normal([2,2])b = tf.random.norma
2020-09-09 19:44:35
102
原创 二、tensorflow基础
(一) 数据类型标量向量矩阵张量维度大于2，统称为张量。tf.constant([List],[],...)字符串tf.constant('strings')tf.strings.lower()tf.strings.join()tf.strings.length()tf.strings.split()布尔tf.constant(True)tf.constant([True,False])# tensorflow的布尔类型与python中的不对等。(二) 数
2020-09-09 11:36:37
171
原创 深度学习(VGGnet)
数据集 cifar10_300.csv 是将原始的 cifar10 数据集经过处理后的数据集。该数据集一共有300张图片，包括10个类别，每个类别30张图片，数据集的最后一列为标签列。图片样例如下：# 导入需要的包import tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras.models import Sequentialfrom tensorflow.keras.layers import Dense, .
2020-09-03 10:19:53
108
原创 利用TensorFlow中的Keras模块建立卷积神经网络模型进行手写数字识别
载入所需要的包from tensorflow import kerasimport pandas as pdfrom sklearn.model_selection import train_test_split读取数据集kmnist = pd.read_csv('kmnist.csv')分离数据与标签X = kmnist.values[:, :-1]y = kmnist['label'].values数据归一化X = X/255分割训练集和测试集X_train, X_te.
2020-09-02 09:50:05
320
原创 一、Tensorflow安装
下载anaconda3进入cmd输入清华镜像下载。conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --set show_channel_urls yes创建python3.7环境conda create -n tensorflow python=3.7启动tensorflow环境activate tensorflow..
2020-08-30 16:12:50
74
原创 数据标准化、归一化
1.中心化(标准化)公式：X′=X−μσX'=\frac{X-\mu}{\sigma}X′=σX−μ2.归一化[0,1]公式：X′=X−XminXmax−XminX' = \frac{X-X_{min}}{X_{max}-X_{min}}X′=Xmax−XminX−Xmin3.最大值绝对值标准化公式：X′=X∣Xmax∣X'=\frac{X}{|X_{max}|}X′=∣Xmax∣X注：该方法用于稀疏数据。4.RobustScaler公式：X′=X−Xme
2020-08-09 10:45:55
1067
原创 特征工程——解决样本类别分布不均衡的问题
一、概念不均衡指的是不同类别的样本量差异非常大。 样本类别分布不均衡主要出现在分类相关的建模问题上。 样本类别分布不均衡从数据规模上可以分为大数据分布不均衡和小数据分布不均衡两种。大数据分布不均衡； 这种情况下整体数据规模大， 只是其中的小样本类的占比较少。 但是从每个特征的分布来看， 小样本也覆盖了大部分或全部的特征。 例如拥有1000万条记录的数据集中， 其中占比50万条的少数分类样本便于属于这种情况。小数据分布不均衡； 这种情况下整体数据规模小， 并且占据少量样本比例的分类数量也少， 这会导致
2020-08-01 12:08:28
1088
原创 特征选择——变量重要性排序
1.利用决策树进行排序步骤导入数据；建模训练获取变量重要性得分from sklearn.tree import DecisionTreeClassifierimport numpy as npfrom sklearn.datasets import load_winefrom model_selection import train_test_splitdata = load_wine() # 下载数据'''data.data.shape #数据变量-> (178, 13
2020-07-29 22:03:17
8019
原创 特征工程——数据降维
基于特征选择的降维基于特征选择的降维指的是根据一定规则和经验， 直接选取原有维度的一部分参与到后续的计算和建模过程， 用选择的维度代替所有维度， 整个过程不产生新的维度。基于特征选择的降维方法有4种思路：· 经验法： 根据业务专家或数据专家的以往经验、 实际数据情况、业务理解程度等进行综合考虑。 业务经验依靠的是业务背景， 从众多维度特征中选择对结果影响较大的特征； 而数据专家则依靠的是数据工作经验， 基于数据的基本特征以及对后期数据处理和建模的影响来选择或排除维度， 例如去掉缺失值较多的特征。·
2020-07-29 16:39:34
384
原创 训练集和测试集是分开降维还是整体降维？
对于这个问题我一直纠结，为避免麻烦，拿来的原始数据我都是直接根据目标进行整体降维。首先，降维的方法有很多种，不同的情况由不同的降维方法。线性降维非线性降维PCA (无监督)LLE(局部线性嵌入)LDA(有监督)Kernel-PCA(核主成份分析）对于线性方法（例如PCA） 而言， 它旨在寻找一个高维空间到低维空间的映射矩阵或映射关系， 当映射矩阵找到后便可直接将其应用到其他数据集进行降维（通俗点理解就是直接套用矩阵公式得到降维结果）， 因此， 这种降维方式下可以单独降
2020-07-28 22:19:35
2119
1
原创 数据预处理——4种缺失值处理方法
1.删除含有缺失值的个案主要有简单删除法和权重法。简单删除法是对缺失值进行处理的最原始方法。它将存在缺失值的个案删除。如果数据缺失问题可以通过简单的删除小部分样本来达到目标，那么这个方法是最有效的。当缺失值的类型为非完全随机缺失的时候，可以通过对完整的数据加权来减小偏差。把数据不完全的个案标记后，将完整的数据个案赋予不同的权重，个案的权重可以通过logistic或probit回归求得。如果解释变量中存在对权重估计起决定行因素的变量，那么这种方法可以有效减小偏差。如果解释变量和权重并不相关，它并不能减小偏差
2020-07-28 17:52:15
37142
3
原创 朴素贝叶斯原理与应用（三）
使用朴素贝叶斯分类器从个人广告中获取区域倾向1.1获取高频词def caculateMostFreq(vocalList, fullText): """ :param vocalList: :param fullText: :return: 返回高频词 """ mostFreq = {} import operator for token in vocalList: mostFreq[token] = fullText.c
2020-05-17 21:41:18
194
原创 朴素贝叶斯原理与应用（二）
使用朴素贝叶斯过滤垃圾邮件利用上文的方法，对垃圾邮件进行过滤。1 处理文本数据1.1 首先收集数据email.zip，如果需要可以私信我。1.2 分词1.简单的字符串分词方法可以用.split()2.对于有特殊字符的，可以用正则表达式import rereg = re.compile('\\w+')text = reg.split(String)3.部分单词有大小写，统一改成为小写for doc in text: doc.lower()过滤掉单个字，即长度为1的单词。do
2020-05-16 22:24:14
252
4
原创 朴素贝叶斯原理与应用（一）
一、原理1 贝叶斯定理朴素贝叶斯是贝叶斯决策理论的一部分。是贝叶斯最基本、最原始的理论方法。贝叶斯决策理论中最重要的定理是贝叶斯定理 P(A∣B)=P(B∣A)P(A)P(B) \ P(A|B)= \frac{P(B|A)P(A)}{P(B)} P(A∣B)=P(B)P(B∣A)P(A)式中，P(A)是A的先验概率；P(A)是A的先验概率；P(A)是A的先验概率；P(A∣B)是已知B发生后A发生的条件概率，被称为A的后验概率；P(A|B)是已知B发生后A发生的条件概率，被
2020-05-14 22:33:10
207
原创 PySpark做LinearRegression遇到的问题
问题一：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStor此问题报错的原因有很多，一般会想到Hive安装及环境配置问题，但是我只是要搞PySpark，仔细看了一下报错提示：“metastore_db cannot be created”原因很简单，就是spark没有对metastore_db...
2020-04-21 18:43:27
1038
原创 HDFS格式化失败，java.Net.UnknownHostException异常处理方法
一、HDFS格式化失败报错代码：WARN net.DNS: Unable to determine local hostname -falling back to "localhost"java.net.UnknownHostException: hadoop000: hadoop000 at java.net.InetAddress.getLocalHost(InetAddress.ja...
2020-04-15 21:27:15
2766
1
原创 MySQL字符集问题，如何修改库、表的字符集，插入中文报错？？
一、查看字符集1.查看mysql所有的字符集方法一：show variables like '%char%';方法二：show variables like 'collation%';结果如下：我们发现，MySQL默认的客户端，服务端，连接端等都是gbk和latin1字符集。如果需要修改，可以按照下面语法set character_set_server=utf8;1.1查看库...
2020-03-26 11:45:26
489
1
原创 MySQL服务器无法启动，“can't connect to mysql server on localhost (10061)“
首先，今天早上继续学习MySQL的时候，用命令行打开mysql，出现错误提示如下：”can't connect to mysql server on localhost (10061)”多次尝试无果。电脑重启也没用啊，因为我电脑刚打开的。于是，在网上寻找答案，发现很多人都有这种错误。打开服务，发现是自动启动，但是点击属性，却没有启动时是灰色的。然后，回想了一下，我之前都对MySQL干了些...
2020-03-13 10:01:42
183
原创 Hadoop学习之路1——vm12虚拟机和Centos安装
vm12虚拟机安装步骤下载下载地址：百度云盘安装步骤去 BIOS 里修改设置开启虚拟化设备支持（f2, f10）开机的时候按住F10键，进入到vertual techonology修改，改成enable安装虚拟机软件（vm12）双击下载到本地的vm12,接受条款，安装在D盘，用户体验的勾全去掉。继续按照，完成之后，输入产品密钥，（点帮助就会出来）Centos6.8安装步骤下载...
2020-01-11 10:28:33
105
the solutions of convex optimization by stephen boyd.rar
2021-02-24
Win64OpenSSL_Light-1_1_1i.rar
2021-02-02
大excel文件划分小excel文件.py
2020-08-08
PLS_Path_Modeling_with_R.pdf
2020-05-23
基于决策树机器学习对P2P网贷信用风险分类.ipynb
2019-09-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人