- 博客(29)
- 收藏
- 关注
RSS订阅原创 gin web服务端部署
go-gin开发web服务端时，通常使用`go run main.go`进行直接启动，但是在上线部署后，一旦ssh断开，服务就停止了。
2022-08-30 14:02:26
1510
原创 linux安装docker后，xshell无法连接或访问异常
问题描述：在linux操作系统下，安装docker之后，xshell无法连接到linux主机或者虚拟机无法ping通宿主机
2022-08-25 14:57:51
655
原创 Prometheus套件安装及使用方法
安装prometheus、node_exporter、grafana和alertmanager等组件，并配置启动服务，由systemd托管运行
2022-06-29 11:21:42
1426
原创 git分支同步远程源分支
在master分支已经提交pr的前提下，新建分支，同步远程源分支，并提交新代码一. 查看所有远程库的远程地址git remote -v二. 将拉取到的本地代码回到指定的版本查看提交记录git log 回滚到指定的版本git reset --hard 【commit ID】三. 添加拉取仓库的上游分支URLgit remote add upstream [私仓上游项目 URL]添加之后，可以使用 git remote -v查看是否添加成功四. 从源分支获取最新的代码git fe
2022-04-20 09:19:33
4413
原创 普通容器、系统容器和安全容器
1.普通容器 普通linux容器利用namespace进行进程间运行环境的隔离，并使用cgroup进行资源限制；因此普通linux容器本质上还是共用同一个内核，单个容器有意或无意影响到内核都会影响到整台宿主机上的容器，需要指定一个容器镜像来启动2. 系统容器 系统容器主要应对在重计算、高性能、大并发的场景下，重型应用和业务云化的问题。相比较虚拟机技术，
2021-09-01 15:44:53
1784
原创 KOJI的使用
KOJI的使用客户端安装kojiyum install koji配置/etc/koji.conf参考KOJI相关 - 服务器研发部门在终端输入命令koji --user zha --password @Zh build tag的名字 --scratch 要提交的src.rpm
2021-08-28 09:24:45
628
2
原创 Gerrit使用与提交
从gerrit上获取仓库，拉取到本地git clone “ssh://zhang@ip:29418/caja” && scp -p -P 29418 zhang@ip:hooks/commit-msg “caja/.git/hooks/”进入拉取到本地的文件夹cd caja/查看所有远端分支git branch -r创建与远端代码一致的本地分支git checkout -b os-release-v10-sp1 origin/os-release-v10-sp1查看此刻本地.
2021-08-19 09:10:55
1230
原创 在linux操作系统下，将文件打包成ISO
在linux操作系统下，将文件打包成ISO示例：mkisofs -l -v -r -J -o ./kylin-monitor.iso Kylin-Monitor-x86_64_V1.0/-l 允许长文件名-J 或 -joliet 参数，使用Joliet格式的目录与文件名称-r 使用Rock Ridge，并开放全部文件的读取权限-v verbose，允许冗长-o 设置输出文件名...
2021-08-16 17:38:21
3245
1
原创 openEuler--本地编包、上传Gitee、obs编译及建仓
一. 根据软件包的名字在src.rpm包地址https://pkgs.org/上搜索到相应的src.rpm包，下载到本地，并解压： rpm2cpio *.src.rpm|cpio -iv二. 解压之后，使用指令来安装编译包所需的依赖,如果该指令生效，则跳过第3步； dnf builddep *.spec三. 使用指令：rpmbuild -ba *.spec 进行编译，查看是否可以编译成功；假如仍然缺少某些依赖包，尝试 yum install * 进行安装；如果安装不成功
2021-07-31 17:36:41
1506
原创 openEuler--软件包构建、开发和维护
操作系统的组成内核、用户空间（系统级任务的管理层： shell、守护进程和桌面环境）和应用操作系统的由来开源社区/GitHub获取源码è去欸的那个版本基线è构建软件包è制作镜像打包规范理解规范、亲自动手、保持简洁、书写完备、验证充分在本地进行rpm打包（1） 在本地安装rpmdevtools yum install rpmdevtools（2） 以hello world为例，先用rpmdev下载hello.spec包 rpmdev-newspec hello...
2021-07-31 14:56:12
957
原创 Flume+Kafka+Spark streaming
一．使用Flume实时收集日志信息创建streaming_project.conf :exec-memory-logger.sources = exec-sourceexec-memory-logger.channels = memory-channelexec-memory-logger.sinks = logger-sinkexec-memory-logger.sources.exec-source.type = execexec-memory-logger.sources.exec-.
2020-08-24 09:08:28
386
原创 Spark streaming + Kafka 实时数据分析大数据项目实战
实时/离线 流式计算框架：Spark StreamingSpark Streaming 是核心spark API的一个扩展，在处理数据前按时间间隔预先将其切分为一段一段的批处理作业。Spark 针对持续性数据流的抽象称为DStream，一个DStream是一个批处理的RDD（弹性分布式数据集）；而RDD则是一个分布式数据集，能够以两种方式并行运作，分别是任意函数和滑动窗口数据的转换。实战一：Receiver – based1） 启动zookeeper2） 启动kafka3） 打jar包前先注释掉
2020-08-24 09:08:20
1004
原创 整合Flume到Kafka完成实时数据的采集
整合Flume和Kafka的综合使用（1）在flume的conf中添加以下两个文件exec-memory-avro.confAvro-memory-kafka.conf（2）启动
2020-08-24 09:08:11
144
原创 实时批处理Spark Streaming
开源在Githubhttps://Github.com/apache/spark一． 概述低延时，可拓展，高吞吐量，可容错的，能够将批处理、机器学习、图计算等子框架和Sparking Streaming综合使用实时数据流的流处理分布式计算框架将不同的数据源的数据经过Sparking Streaming处理之后将结果输出到外部文件系统。Sparking Streaming不需要独立安装一栈式解决！！！二． 应用场景电商三． 集成Spark生态系统的使用四． 发展史五． 从词频
2020-08-23 18:31:37
753
原创 大数据可视化工具
一． 可视化定义：将抽象的科学或者商业数据.用图像表示出来.帮助理解数据的意义的过程。它通常会在进行数据分析(data analysis)的过程中大量的使用。二． Spring Boot（后端）构建Web项目，可以节省很多不必要的配置三． 使用Echarts构建静态数据可视化四． 使用Echarts构建动态数据可视化五． 阿里云DataV数据可视化...
2020-08-23 18:05:16
150
原创 hadoop环境及框架介绍
（一）安装hadoop，在/home/hadoop下创建目录app 存放所有的软件的安装目录data 存放测试数据lib 存放jarsoftware 存放软件安装包的目录source 存放框架源码（二）hadoop生态系统：5.7.0所有的Hadoop生态的的软件下载地址：http://archive.cloudera.com/cdh5/cdh/5/jdk： 1.8（被依赖于
2020-08-23 18:02:01
217
1
原创 大数据消息中间件Kafka概述学习
Kafka概述官网：kafka.apache.org分布式流处理平台：发布和订阅 和消息系统类似 消息中间件：生产者和消费者 妈妈：生产者 你：消费者 馒头：数据流 正常情况下：生产一个 消费一个
2020-08-23 17:47:09
271
原创 日志收集工具Flume
有多个服务器和系统1） 网络设备2） 操作系统3） Web服务器4） 应用设备系统上有大量的日志和其他数据Flume概述官网：flume.apache.orgFlume是分布式、高可靠、高可用的服务，用于分布式地海量日志地高效地收集、聚合、移动地系统Webserver(源端)=>flume=>hdfs（目的地）设计目标：1） 可靠性2） 扩展性3） 管理性Flume架构及核心组件：1） Source 收集2） Channel 聚集3） Sinks 输出
2020-08-23 17:27:18
1079
原创 Cuboid之key-value
如上图原始表所示：Hive表有两个维度列year和city，有一个指标price。如上图预聚合表所示：我们具体要计算的是year和city这两个维度所有维度组合（即4个cuboid）下的sum(priece)指标，这个指标的具体计算过程就是由MapReduce完成的。如上图字典编码所示：为了节省存储资源，Kylin对维度值进行了字典编码。图中将beijing和shanghai依次编码为0和1。如上图HBase KV存储所示：在计算cuboid过程中，会将Hive表的数据转化为HBase的KV形式。R.
2020-08-23 17:02:59
147
原创 Cube优化原理
Cube优化原理首先要先了解Cuboid生成树。如图1所示，在Cube中，所有的Cuboid组成一个树形结构，根节点是全维度的Base Cuboid，再依次逐层聚合掉每个维度生成子Cuboid，直到出现0个维度时结束。图1中绿色部分就是一条完整的Cuboid生成路径。预计算的过程实际就是按照这个流程构建所有的Cuboid。图1 Cuboid生成树通过这颗Cuboid生成树，我们不难发现：当维度数量过多，就会导致Cuboid数量以指数级膨胀；如果维度基数过大，还会使所在的Cuboid结果集变大。这些都
2020-08-23 16:56:03
811
原创 kylin案例应用注意事项
1. 数据集准备要导入hive中的文件必须是utf-8编码，因为hadoop默认是utf-82. 上传数据表格因为是上传到hadoop下，因此必须切换到hdfs用户，即：su hdfs上传：hadoop fs -put cauc_idnum.csv cauc_keyword.csv cauc_keyword_info.csv cauc_user.csv /kylin-cauc_microblog1查看hadoop下目录：hadoop fs -ls /hadoop fs -ls /kylin-
2020-08-23 16:35:40
111
原创 分布式分析管理平台Kylin安装
在cdh 5.3组件中安装Kylin 1.5.3注意：安装kylin前要查看其对应的版本与hadoop版本是否匹配兼容1. 将本地压缩包上传至/opt2. 解压: tar -xzvf apache-kylin-1.3.0-bin.tar.gz3. 更改名字：mv apache-kylin-1.3.0-bin kylin4. 修改配置文件kylin.properties：vim /opt/kylin/conf/kylin.properties主节点：kylin.server.mode=all
2020-08-23 16:31:52
129
原创 Centos6安装显卡驱动及CUDA
一、显卡驱动以及Anaconda安装修改yum下载源，方法参照 https://blog.csdn.net/lixora/article/details/850507611.安装相关编译的环境yum -y install gcc kernel-devel kernel-headers到此为止 如果发现还是没安装成功gcc使用指令sudo yum install gcc gcc-c++ 安装7个包安装成功，查看版本 gcc -v查看已安装kernel-devel2.在开机启动项中禁用n
2020-08-23 16:15:26
1046
原创 CDH5.12.1添加新主机
一． JDK安装1.卸载自带JDK查看安装的Java包rpm -qa | grep java将显示的java包全部删除rpm -e --nodeps tzdata-java-2013g-1.el6.noarch卸载自带的版本yum -y remove java java-1.7.0-openjdk验证是否还有java相关包rpm -qa | grep java 2.安装JDK在/usr下新建java文件夹 ==》 将压缩包复制到java中 ==》解压 ==》 配置vi /e
2020-08-22 19:02:19
469
原创 互联网公开课记录
为了更好的学习互联网知识，了解多线程和高并发，学习网上公共资源视频课程，做了以下记录。一．高并发多线程十大计算机经典算法：快速排序、堆排序、归并排序、二分查找、线性查找、深度优先、广度优先、Dijkstra、动态规划、朴素贝叶斯分类分而治之：快排、归并、二分查找工作密取二．Redis（内存存储）面试题1：Redis官网为什么只提供linux官网的redisLinux底层大量使用epoll，且有select和poll，windows只有selectSelect方法（空轮
2020-08-22 18:37:01
99
原创 双windos下MySQL主从服务器配置
双windos下MySQL主从服务器配置前提准备：首先保证两个计算机的mysql版本相同,MySQL5.6版本与8.0以上版本的指令会有所不同，经过重复尝试，最后选定5.6版本。主从数据库操作准备：两台电脑，都安装好mysql 5.6版本，最好两台电脑都安装同一版本数据库，且能单独正常使用记住两台电脑的ip地址：以我个人电脑为例： 主数据库：10.5.45.123 从数据库：10....
2019-03-09 10:46:34
166
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人