3 轩辕剣

尚未进行身份认证

我要认证

For man is man and master of his fate.

等级
TA的排名 3w+

分布式并行计算之集群搭建步骤

集群搭建流程使用手册1 虚拟机创建1.1 基础创建安装安装客户端:访问ip :192.168.80.8 通过网页访问下载vSphere Client端。安装客户端,登录用户:shengwu 密码:SW123$创建虚拟机:在shengwu集群创建虚拟机(注意在将要作为节点1的机器上添加两张网卡,两块硬盘)按所提示步骤创建完成后,启动并安装系统,连接到本地磁盘的ISO镜像。连接镜像需要一些时间,连接完成后Ctrl+Alt+delete重启 进入安装界面配置网络 :在 /etc/ne

2020-07-28 13:39:29

7.24

一周没有记录,因为这周赶了一个项目的进度,写了一周时间的爬虫,后期项目结束会把代码整理并删除些保密的东西放到博客,五点半了,下班!

2020-07-24 17:32:27

集群搭建——SGE与PBS

集群搭建——SGE与PBS主要的基础配置和应用配置到此一个小阶段就结束了现在需要把所有的命令写成自动化脚本形式需求1:新增一个空白的初始节点,怎么把它添加到集群中并具有之前所有计算节点的相关配置需求2:把现在的所有节点删除,使用自动化脚本建立登录节点和计算节点,做好所有的相关配置需求3:经过验收之后,把这套东西部署到物理机...

2020-07-15 10:08:04

ubuntu服务器集群搭建之——openMPI并行计算

上周五本来已经配置完成的NIS服务竟然又出现了bug,无语了No passwd entry for user 'test01'Ubuntu 安装 OpenMPI1. 下载OpenMPI在官网上下载最新版本的安装包2. 解压并进行配置tar -zxvf openmpi-4.0.1tar.gzcd openmpi-4.0.1./configure --prefix="/usr/local/openmpi"注意最后一行是将其安装到 /usr/local/openmpi目录下..

2020-07-13 16:50:55

Vim的快捷键

A:插入到行尾a:插入到光标后大写I:插入到行首小写i:插入到光标前yy :复制光标所在这一行,如4yy,就复制了4行P:粘贴dd:删除(剪切)光标这一行, 2dd,删除光标这行在内的2行(这其实是剪切功能,但只剪切不粘贴,不就成了删除么(手动滑稽))d:从当前的光标开始删除(剪切),一直到这行末尾***这两个操作特别有用***u:撤销当前操作ctrl+r 反撤销d+0 从当前位置剪切到这行首x:往光标后删除,每次只会删除一个X:往光标前删除,每次只...

2020-07-10 13:22:18

linux权限的设置

昨天在搭建NIS服务时候,出现了权限的问题,在此专门记录一下linux权限配置的相关问题一、用户和权限的基本概念1.1 基本概念Linux 系统包括 用户 与 组 管理 在 Linux 中,可以指定 每一个用户 针对 不同的文件或者目录 的 不同权限 对 文件/目录 的权限包括: 读写执行 rwx1.2 组 为了方便用户管理,提出了 组 的概念,如下图所示 在实际应用中,可以预先针对组组组设置好权限,然后 将不同的用户添加到对应的组中,从而不用依次为每一个用户...

2020-07-10 13:17:20

总结下最近建立集群的步骤以及NIS服务器搭建

一、基本的配置1、安装,配置网段2、SSH免密登录3、批量修改hosts文件4、建立NFS服务5、建立NIS服务(设置默认共享目录/share/home)二、服务的配置1、openMPI并行计算.........现在出现问题:节点1作为客户端节点,两张网卡,搭建的局域网除了节点1的节点,剩余节点使用的自己搭建的局域网,都没有网,该怎样安软件,怎样用apt?解决方案1:使用rsync同步,有弊端,为避免相关配置文件被同步:https://blog.csdn.

2020-07-08 15:12:17

Java 最常见的面试题

Java 最常见的面试题十九大模块这份面试题,包含的内容了十九了模块:Java 基础、容器、多线程、反射、对象拷贝、Java Web 模块、异常、网络、设计模式、Spring/Spring MVC、Spring Boot/Spring Cloud、Hibernate、Mybatis、RabbitMQ、Kafka、Zookeeper、MySql、Redis、JVM 。如下图所示:具体面试...

2019-03-24 18:24:03

Git相关

2020.7.7号记录下公司的github是内网,登录进去:http://192.168.30.67:8082/本地下载git安装,设置用户名和邮箱,这个以前记录过:https://blog.csdn.net/qq_38663663/article/details/106430885生成秘钥放入网站中git clone ssh://git@192.168.30.67:2222/yhy/tutorial.git使用git将本地项目推送到码云私有仓库1、打开Git Bash.

2020-07-07 16:24:57

SSH免密登录以及建立NFS共享硬盘

1、克隆虚拟机A、当前克隆节点的信息:两个用户:root jiaxuanjiaxuan jiaxuanB、查看当前版本lsb_release -c现在克隆节点虚拟机里边安装了安装了vim SSH服务, 安装了expect 配置了阿里云apt源克隆虚拟机节点1、2、32、SSH免密登录设置网络现在节点1是登录节点 节点1添加一张局域网的网卡Network2在节点1的虚拟机中网卡2的配置Ip:192.168.1...

2020-07-06 09:56:44

vSphere虚拟机

公司准备搭一个测试集群环境,跑下docker,部门和CAE事业部共同使用把一些操作记录到博客里边。理论:为什么要用vSphere这款产品?在vSphere这款产品出现之前,服务器的架构是这样的: 就是一台服务器上面只能安装一个系统,如果你将一台服务器安装成了windows系统,它只用了10%左右的资源,那么剩下的资源也不能给其他系统使用,因为一台服务器只有一个系统。如果这台服务器是浏览器服务器,再需要一台客户端服务器,那么你就只能再去买服务器。这样一来就造成了资源的极大浪费和成本

2020-07-01 14:26:22

6.30—Docker学习笔记

一、dockerdocker是解决了运行环境和配置问题软件容器,方便做持续集成并有助于整体发布的容器虚拟化技术。docker中文网站:https://www.docker-cn.com/二、docker的基本组成1、镜像Docker 镜像(Image)就是一个只读的模板。镜像可以用来创建 Docker 容器,一个镜像可以创建很多容器。2、容器Docker 利用容器(Container)独立运行的一个或一组应用。容器是用镜像创建的运行实例。它可以被启动、开始、停止、删除。 ...

2020-06-30 16:54:25

LSF集群作业管理系统

简介LSF (Load Sharing Facility)是一个被广泛使用的作业管理系统,具有高吞吐、配置灵活的优点。通过 LSF 集中监控和调度,可以充分利用计算机的CPU、内存、磁盘等资源。常用命令bqueues:查看计算队列 bhosts:查看计算节点列表 lsload:查看负载 bsub:提交作业 bjobs:查看作业状态 bkill:终止作业 bpeek:查看作业的标准输出 bhist:作业历史信息作业提交bsubbsub调用方法可以通过以下三种方法使用 bsu

2020-06-17 11:05:56

conda常用的命令

conda常用的命令conda常用的命令conda list查看安装了哪些包 conda env list或conda info -e查看当前存在哪些虚拟环境 conda update conda检查更新当前conda conda --version查询conda版本 conda -h查询conda的命令使用创建虚拟环境conda create -n your_env_name python=X.X(2.7、3.6) conda create -n your_env...

2020-06-11 13:00:50

学习笔记3—分布式组件

一、SpringCloud的几大痛点:SpringCloud部分组件停止维护和更新,给开发带来不便;SpringCloud部分环境搭建复杂,没有完善的可视化界面,我们需要大量的二次开发和定制SpringCloud配置复杂,难以上手,部分配置差别难以区分和合理应用SpringCloud Alibaba的优势:阿里使用过的组件经历了考验,性能强悍,设计合理,现在开源出来大家用,成套的产品搭配完善的可视化界面给开发运维带来极大的便利,搭建简单,学习曲线低。结合SpringCloud Alibaba我们.

2020-06-01 16:58:27

学习笔记2—逆向生成代码快速开发

接上一节的内容,上一节把环境和软件都已经搭建完成,并且运行成功。一、逆向工程使用人人开源项目中的代码生成器:https://gitee.com/renrenio/renren-generator克隆下来放入工程中,加入moudle修改数据库配置修改一下逆向工程的模板,把一些没有用的注释掉。首先生成xuanyuan_pms数据库的相关代码。启动逆向工程全部生成完成后是一个压缩包,把里边的内容解压出来复制到product项目中创建xuanyuan_commo...

2020-06-01 10:24:27

学习笔记1—Docker安装及镜像的安装与配置

一、虚拟机或者云服务器 系统使用centos二、安装docker官方文档:Docker文档1、删除之前的docker:$ sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ ..

2020-05-29 18:41:44

架构学习之Tomcat集群

Nginx负载均衡请求转发+Tomcat集群 好处:三高性能并发可用分类:单机部署多应用/多机部署多应用用Redis解决session登录信息存取共享的问题,单点登录1.修改/etc/profile 增加tomcat1、 tomcat2环境变量2.增加Tomcat、3.修改新加的Tomcat的端口号 这三个端口可以按照自己制定的规则修改,例...

2020-04-11 11:32:42

服务器命令—mysql添加用户及创建数据库

服务器 mysql添加用户及创建数据库mysql -u root -pselect user,host,password from mysql.user;flush privilegesinsert into mysql.user(host,user,password) values ("localhost","mall",password("123456"));create...

2020-04-11 08:59:04

Anaconda指南

Anaconda 使用指南概述很多学习python的初学者甚至学了有一段时间的人接触到anaconda或者其他虚拟环境工具时觉得无从下手, 其主要原因就是不明白这些工具究竟有什么用, 是用来做什么的, 为什么要这么做, 比如笔者一开始也是不明白为啥除了python之外我还需要这么一个东西, 他和python到底有啥联系和区别, 为啥能用来管理python.在使用过之后我才逐渐发现其实a...

2020-04-10 16:19:38

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。