- 博客(19)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 fate serving（fate推理框架安装）
只适合fate serving1.安装Java、Redis、zookeeper、maven四个组件Java版本高于1.8Redis高于1.0.6zookeeper高于3.4.5Maven 3.6.32 安装fate-serving1 serving-server的部署采取以下的步骤从github上克隆代码git clone https://github.com/FederatedAI/FATE-Serving.git执行 cd FATE-Serving ，进入源码的根目录。
2020-07-27 22:28:01
1422
原创 fate训练框架安装
本文为原版fate1.4.1版本三台机器更改而来。Fate Cluster step by step部署指南1.服务器配置服务器数量2配置8 core /16GB memory / 500GB硬盘/10M带宽操作系统CentOS linux 7.2及以上/Ubuntu 16.04 以上依赖包（参见4.5 软件环境初始化）用户用户：app，属主：app（app用户需可以sudo su root而无需密码）文件系统1. 500G硬盘挂载在/ d
2020-07-27 21:54:46
1352
原创 hdfs-quota
简介HDFS允许管理员为每一个用户和每一个文件夹设置配额：命名配额和空间配额。name quota： 该目录下的名字数量做硬性限制，为文件夹下的数量作出的限制,超过限制则会报错：quota exceed，最大值配额:Long.MAX_Valus。新创建的文件夹没有分配quota。space quota设置一个文件夹的大小，如果超过则块写入会失败（副本也算）。最大的配额：L...
2019-03-19 20:24:29
708
原创 MPI2—C语言接口速查
int MPI_Accumulate(void * origin_addr, int origin_count, MPI_Datatype origin_datatype, inttarget_rank, MPI_Aint target_disp, int target_count, MPI_Datatype target_datatype, MPI_Opop, MPI_Win win)用指...
2019-01-23 18:42:16
504
原创 MPI1—C语言接口速查
int MPI_Abort(MPI_Comm comm, int errorcode)终止MPI环境及MPI程序的执行int MPI_Address(void * location, MPI_Aint * address)得到给定位置在内存中的地址将被废弃的函数建议用MPI_Get_address取代int MPI_Allgather(void * sendbuff, int sendco...
2019-01-23 18:40:06
438
原创 Yarn系列一——yarn中角色说明
Yarn有两个核心长时间运行的守护程序：ResourceManager、NodeManager：ResourceManager，主要负责全局的资源管理，整个集群只有一个，主要有ApplicationManager和scheduler两个主要的组件：ApplicationManager主要负责管理已经提交的程序，在程序提交之后，ApplicationManager首先会检查集群...
2019-01-02 18:55:44
3872
原创 Scala系列学习七 Actor
Scala中的Actor能够实现并行编程的强大功能，它是基于事件模型的并发机制，Scala是运用消息（message）的发送、接收来实现多线程的。使用Scala能够更容易地实现多线程应用的开发。1.首先调用start()方法启动Actor2.调用start()方法后其act()方法会被执行3.向Actor发送消息 ! 发送异步消息，没有返回值。 ...
2018-09-26 11:48:26
204
原创 Scala系列学习六 隐式转换
1、隐式转换如果函数没有柯里化，implicit关键字会作用于所有参数，要想使用implicit只作用于某个函数参数，则需要将函数进行柯里化，匿名函数不能使用隐式参数1 即使你能轻松驾驭scala语言中的隐式转换，能不用隐式转换就尽量不用 2 如果一定要用，在涉及多次隐式转换时，必须要说服自己这样做的合理性 3 如果只是炫耀自己的scala语言能力，请大胆使用import jav...
2018-09-17 17:56:55
113
原创 Scala系列学习五 高阶函数
1、作为值的函数** * @program: ScalaBlog * @description: 高阶函数 * 高阶函数包括作为值的函数、匿名函数、闭包、柯里化等等 * @author: allen * @create: 2018-09-17 14:13 **/class HighFunctionDemo {}object HF1...
2018-09-17 17:35:50
124
原创 Scala系列学习四 模式匹配
1、模式匹配可几乎可以匹配所有的的object MatchCaseDemo extends App { private val p = new MatchCaseDemoClass private val arr = Array(1, "allen", p, 2, Array(1, 3, 5, 7), 3.5, 5, 6, 78, List(3, -1), (78, 79, 80...
2018-09-17 09:36:27
97
原创 Scala系列学习三 类、继承、接口（特质）、单例
1、类//在scala源文件中可以包含很多的类，而且这些类对于外界是可见的class PersonDemo { // 用val修饰的变量:只读，即有getter但没有setter val id: String = "1234" var age: Int = 18 private var name: String = "allen" private[this] val...
2018-09-15 15:14:13
742
1
原创 Scala系列学习二scala中数组、集合等
1、Array数组object ArrayDemo extends App { //初始化长度为8的数组，其初始值为0 private val arr1 = new Array[Int](8) println(arr1) //直接打印，其是指对象的hash值,[I@668bc3d5 // 如果需要查看其中的内容，可以使用循环或者转换为缓冲数组 println(arr1...
2018-09-14 20:35:46
131
原创 Scala系列学习一（scala基础）
1、在scala中声明变量有两种方式：val和var，其中val定义的变量值是不可变的，相当于java里用final修饰的变量，var定义的变量是可变得，在Scala中鼓励使用val。object VariableDemo { def main(args: Array[String]): Unit = { val i = 0 var str = "hello" v...
2018-09-14 15:04:11
166
原创 统计学 贾俊平 笔记
由于图片需要从新上传不能直接复制，因此此博客只有一部分，完整版（word版）见：https://github.com/AllenLee0/Miner1、统计的含义：统计工作：对数据的采集、加工处理、分析统计资料：各项数字资料及与之相关信息统计学 2、通常将统计数据分为分类数据、顺序数据、数值型数据，其中将分类数据、顺序数据统称为定性数据（品质数据），数值型数据称为定量数据（数量数据）3、面板数据：...
2018-04-09 17:30:34
3605
2
原创 linux常见命令（二）
二、用户权限（1）who选项含义-m或am I只显示运行who命令的用户名、登录终端和登录时间-q或--count只显示用户的登录账号和登录用户的数量-u或--heading显示列标题（2）添加用户账号：useradd参数
2018-01-02 21:42:04
155
原创 linux常见命令（一）
二. 常用基本命令1、linux中常用的命令格式： command [-options] [parameter] 例如：ls –l/root2、文件管理：（1）查看文件信息ls 可以利用—help查看ls的参数也可以利用man ls来查看。man的命令：功能键功能空格键
2018-01-02 20:14:53
372
原创 linux中常见目录
目录名目录存储的内容/根目录，该目录下面一般指保存目录，而不保存文件，linux中所有东西都是从目中开始的。/bin、/usr/bin一般保存为二进制文件例如：yum、ls等/boot存放Linux系统的启动时所需的文件，如内核文件/dev存放Linux的设备
2018-01-02 19:31:01
143
原创 众数 Java
众数是指在序列中元素个数超过一半的那个数。 相应的算法：package Basic.K_select;/** * Created by AllenLee */public class Mode<T> { public static void main(String[] args) { String[] array = {"a", "5", "2", "a", "a"}
2017-12-06 22:54:14
518
原创 快速排序 Java 针对重复元素
与归并排序一样，快速排序也是采用分治策略。但是归并排序的计算量主要集中在有序子序列的合并上，而子序列的划分几乎不花费时间。快速排序恰恰相反，可以在o(1)的时间内完成子序列的合并，对于将原问题划分上需要花费O(n)的时间。对于子序列的划分上，可能的划分是极不平等的，因此该算法不能保证最坏情况下的O（nlogn）的时间复杂度。一般来说，快排是首选的算法。因此：版本一package Bas...
2017-12-06 20:54:48
2067
1
在VWmare的CentO S系统中配置hadoop
2016-09-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人