- 博客(96)
- 资源 (11)
- 收藏
- 关注
RSS订阅
原创 设备健康度评价实践--煤磨机
例如，当磨机关键部件的某个参数数值严重偏离标准值时，往往可以说明该部件的健康状态已经出了较大问题，如果利用常权重来进行评估，当其他指标无变化或变化不大时，就可能会掩盖该指标的消极作用，造成评价结果显示正常状态，就会丧失对磨机状态的跟踪能力。因此，这里使用变权理论来修正组合权重，让参数权重随其状态及时变化，弥补异常参数的“短板效应”。煤磨的健康状态评价原则是要求能够真实地反映磨机的健康状态，结合磨机故障特征及状态监测参数的分析，选取了易于测量、并能较好的反映磨机状态的参数，建立磨机状态层次评价模型。
2023-08-10 20:38:03
796
原创 TimescaleDB部署教程（v1.0）
TimescaleDB部署本文安装主要分为两步：（1）PostgresSQL数据库安装（2）TimescaleDB插件安装编译（cmake）1、系统及相关版本要求操作系统： CentOS 7 64位操作系统安装程序： postgresql-10.2.tar.gzTimescale： timescaledb 1.0（只支持pgsql9.x和10.x）Timescale release_tag： 1.0.0cmake： cmake-3.10.2.tar（Timescale要求CMake
2022-03-23 11:28:40
1149
2
原创 Python 程序源码静态分析工具调研
1.Bandit：构建 AST 并使用插件检查安全问题，最初在 OpenStack 安全项目中开发，后来被重新定位到 PyCQA。主要用于扫描危险函数，支持自定义漏洞测试和扩展插件。2.Vulture：同样利用了 ast 模块生成抽象语法树，在遍历时记录已定义和使用的对象名称，最后报告未使用的对象（死代码）。还通过查找 return、break、continue、raise、不满足条件的 if 条件、while 条件来检测不可达的代码。
2023-08-11 10:42:46
306
原创 简单线性回归评估指标+R Squared
---------------------------分子分母取平均值------------------------------：（平方和取平均值开根号）：平均误差值。准模型： 基础模型产生错误量。使得每一个数据集尽可能的小。训练的模型： 产生的错误。：（平方和取平均值）
2023-07-12 16:39:22
928
原创 分类模型评估指标详解（二分类、多分类、混淆矩阵）
召回率和精确率之间往往存在此消彼长的关系，当模型能找出更多的正样本时，往往也会导致将更多的负样本分类为正样本，即recall高时，precision往往较低，而precision高时，recall往往较低。对于多分类问题中的不平衡数据集，最常用的指标就是多分类版本的f- 分数。多分类f- 分数背后的想法是，对每个类别计算一个二分类f- 分数，其中该类别是正类，其他所有类别组成反类。对于多分类模型的评价方法，通常是先将其转换为多个二分类模型，分别对其进行指标计算，然后使用一些规则来把这些指标汇总起来。
2023-07-12 16:12:11
1717
原创 Openfaas on K8s安装部署
Openfaas on K8s安装部署使用 brew 或 curl -sL cli.openfaas.com | sudo sh 安装 faas-cli安装brewbrew install kubernetes-helm安装helm服务端tiller(3.0以上版本不需要安装)kubectl -n kube-system create sa tiller \ && kubectl create clusterrolebinding tiller \ --clu
2022-03-23 11:18:31
1664
原创 flink集群HA高可用配置解析
flink集群HA高可用配置解析flink-conf.yamljobmanager.rpc.address: hadoop01【注意。HA的需要按照机器分配】jobmanager.rpc.port: 6123jobmanager.heap.mb: 1024taskmanager.heap.mb: 1024taskmanager.numberOfTaskSlots: 2taskmanager.memory.preallocate: falseparallelism.default: 1job
2021-10-12 16:54:36
1223
原创 flink部署模式详解
flink部署模式详解1.local：本地执行适用于本地调试与测试2.standalone：主机部署分为单机集群部署和多机集群部署，只支持session模式单机模式多机模式3.yarn：yarn集群部署支持：session模式、per-job模式、application模式session模式(支持native模式–TM动态添加)per-job模式优缺点：application模式 ----todo待补充！4.Kubernetes：k8s集群
2021-10-12 16:43:46
292
原创 flink 编程模型及核心概念
flink 编程模型及核心概念抽象层级：各种分布式处理框架处理流程比较：DataSet and DataStream 批处理：DataSet 流处理：DataStreamflink编程模型：Flink程序看起来像是转换数据集合的常规程序。每个程序包含相同的基本部分：获得一个execution environment。getExecutionEnvironment()createLocalEnvironment()createRemoteEnvironment(Strin
2021-10-12 16:23:22
135
原创 flink-native模式简介
flink-native模式简介native模式：默认只启动jobmanager,之后根据job任务提交情况，动态的申请、启动taskmanager计算资源native模式支持yarn、k8s、mesos模式部署。不支持standalone模式部署
2021-10-12 11:49:06
1153
原创 flink集群运行模式
flink集群运行支持：session、per-job、application三种模式运行1.session 模式共享jobmanager和taskmanager ,所有job都在同一个runtime中运行main在客户端（deployer）上执行2.per-job 模式多个runtime,每个job独享一个jobmanaager和taskmanager ，每个job启动一个Runtimemain()在客户端（deployer）上执行session和per-job集
2021-10-12 11:20:00
588
原创 influxdb常见指令集
SELECT time,pointId,count(value) FROM “abnormal” GROUP BY pointId LIMIT 10SELECT count(“value”) FROM “abnormal” WHERE $timeFilter GROUP BY time(1d), “pointId” fill(null)SELECT count(“value”) FROM “abnormal” WHERE $timeFilter GROUP BY time(1d) fill(null)
2021-02-24 16:46:31
266
原创 kafka相关shell命令
启动kafkakafka-server-start.sh -daemon /opt/kafka_2.11-2.0.0/config/server.properties停止kafkakafka-server-stop.sh -daemon /opt/kafka_2.11-2.0.0/config/server.propertieskafka-roducer.sh --broker-list 192.168.106.199:9092 --topic dzy-test启动kafka-eager
2021-01-26 17:24:53
224
原创 Cassandra 元数据信息及获取方式
Cassandra 元数据信息及获取方式数据结构：Cluster : Cassandra 的节点实例，它可以包含多个 KeyspaceKeyspace : 用于存放 ColumnFamily 的容器，相当于关系数据库中的 Schema 或 databaseColumnFamily : 用于存放 Column 的容器，类似关系数据库中的 table 的概念SuperColumn ：它是一个特列殊的 Column, 它的 Value 值可以包函多个 ColumnColumns：Cassandra
2021-01-26 17:21:08
371
原创 cassandra元数据信息
Cassandra:元数据信息keyspace：keyspace_name：命名空间replication：复制策略userType:用户自定义UDT(数据类型)Table:keyspace_name：命名空间table_name: 表名partitionKey：主键indexes:表索引{ index_name:索引列 Kind:索引类型 options：索引配置}view:表视图clusteringColumns：排序字段clustering
2021-01-26 17:18:40
154
原创 k3s集群监控（Rancher）删除之空间(namespace)cattle-system一直为Terminating状态解决方案
故障现象使用Rancher2.0添加了k3s集群进行Kubernetes的相关web管理。因删除k3s集群监控服务：删除Rancher依赖的namespace（cattle-system），状态一直是Terminating。root@k3s:~# kubectl get namespaceNAME STATUS AGEkube-system Active 76dkube-public Active
2020-08-12 17:07:22
4757
2
原创 flink 数据类型解析
flink 数据类型解析1.原生数据类型2.Tuples类型3.Cass Class类型4.POJOs类型[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PASSaVvL-1577933714146)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1571106371...
2020-01-02 10:56:16
621
原创 flink on k8s(minikube) session模式部署（HA）
安装 kubectlcurl -LO https://storage.googleapis.com/kubernetes-release/release/`curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt`/bin/linux/amd64/kubectlchmod +x ./kubectl...
2019-12-26 10:54:06
1428
原创 OPC UA常见故障信息代码
下表包含了状态接线端返回的代码的说明。infocode描述好0x00000000操作成功。不确定0x40000000值不确定，但原因不明。坏0x80000000值为坏，但原因不明。Bad_UnexpectedError0x80010000发生非预期错误。Bad_InternalError0x80020000编程或配置错误时发生内部...
2019-08-06 17:28:14
19561
14
转载 【精】CentOS7下yum安装oracle
CREATE TABLESPACE ds_tablespace DATAFILE '/data/oracle/oradata/ds/ds_tablespace.dbf' SIZE 200M AUTOEXTEND ON EXTENT MANAGEMENT LOCAL SEGMENT SPACE MANAGEMENT AUTO;一、安装前环境准备1. VMware 搭建centos7 的虚机...
2019-06-19 18:17:35
7679
10
原创 python 中常见的基本数据类型详解
python 常用数据类型str类型int 整形float浮点型bool 布尔类型list列表dict字典tuple元组complex复数byte字节串byteArray字节数组(不能修改)frozenset冻结集合NoneType(占位符)常见数据类型类表：...
2019-06-19 17:58:07
209
转载 Spark 实现简单移动平均值（SMA） - 窗口函数（Window Function
Spark 实现简单移动平均值（SMA） - 窗口函数（Window Function）原文地址：http://n3xtchen.github.io/n3xtchen/spark/2017/01/24/spark200-window-function什么是简单移动平均值简单移动平均（英语：Simple Moving Average，SMA）是某变数之前n个数值的未作加权算术平均。例如，收市...
2019-05-29 15:03:18
2000
原创 K8S常见指令
helm listhelm status 服务查看podkubectl get pod -n hollysys-projectkubectl get pods //获取所有podskubectl get services //获取所有服务创建服务（并创建端口）kubectl expose deployment/kubernetes-bootcamp --type="NodeP...
2019-05-29 15:02:18
1210
转载 zookeeper安装
zookeeper版本：zookeeper-3.4.13kakfa版本：kafka_2.11-2.0.01 环境准备在已有zookeeper集群上，部署kakfa集群。每个节点上部署一个bo’r’ke’rzookeeper集群主机信息如下：hostname ip 端口 master.hadoop.com 192.168.162.180 2181/28...
2018-11-23 17:37:17
132
原创 HBase 常见shell指令
HBase常见shell指令hbaseshell命令 描述alter修改列族（column family）模式count统计表中行的数量create创建表describe显示表相关的详细信息delete删除指定对象的值（可以为表，行，列对应的值，另外也可以指定时间戳的值）deleteall删除指定行的所有元素值disable使...
2018-11-19 10:59:31
497
转载 Java NIO中的Buffer详解
Java NIO中的Buffer用于和NIO通道进行交互。如你所知，数据是从通道读入缓冲区，从缓冲区写入到通道中的。缓冲区本质上是一块可以写入数据，然后可以从中读取数据的内存。这块内存被包装成NIO Buffer对象，并提供了一组方法，用来方便的访问该块内存。下面是NIO Buffer相关的话题列表：Buffer的基本用法 Buffer的capacity,position和limit...
2018-11-08 10:42:24
407
转载 ByteBuffer中的 clear、flip、rewind三个方法区别、以及如何使用
我在网上搜索了很多，大部分都是说针对mark、limit、capacity、position 标志量来解释的，ok！我想补充一下，从如何应用的方面来说明其含义。 例如： 1、有一个文件共有20个字符: abcdefghijklmnopqrst 2、我们声明一个char[15] buffer 大小的字符数组 Java代码 for(readChar(buffer...
2018-11-07 17:34:00
4039
转载 YARN REST API
先附官网地址查看指定队列的所有任务：GET http://<rm http address:port>/ws/v1/cluster/apps?queue=dev查看指定任务的详细信息：GET http://<rm http address:port>/ws/v1/cluster/apps/application_1326821518301_0005监控任务：...
2018-10-29 17:12:22
7693
原创 spark-submit-相关配置信息
--master MASTER_URL spark://host:port, mesos://host:port, yarn, or local. --deploy-mode DEPLOY_MODE Whether to launch the driver program locally ("client") or ...
2018-10-29 16:22:33
148
原创 github常用命令汇总
创立版本库mkdir Baiducd Baidugit initSSHssh-keygen -t -rsa -C “TaylorApril947939@gmail”（在github上new SSH，内容为id_rsa.pub）添加远程库（github上新建git仓库,选择REAMDE.md）git remote add origin [email protected]:TaylorAp...
2018-10-29 15:02:58
134
转载 在服务器端上安装Jupyter
最近见到周围有些人使用Jupyter，网页端编程感觉挺爽。有需要的童鞋可以试着安装在服务器，谨此记录。首先应该是需要安装一个anacondaAnaconda安装步骤[1]官网地址: https://www.anaconda.com/download/#linuxAnaconda3-5.3.0-Linux-x86_64.sh depends on what you down...
2018-10-26 09:33:34
1791
原创 windows下hadoop2.52安装
刚入门hadoop，开发环境的搭建估计能把一部分人逼走。我也差点疯了。 估计能看到这篇文章的小伙伴们都饱受cygwin和各种配置文件的折磨了吧？如果你不想在linux上搭建，又不想安装cygwin。那就继续往下看啦~步骤： 1. JDK安装（不会的戳这） 2. 下载hadoop2.5.2.tar.gz，或者自行去百度下载。 3. 下载hadooponwindows-master.z...
2018-10-24 18:18:02
130
原创 Spark Datafream如何将Column.isin与List使用（判断column中的值是否在List中）--filter(Column.isin(List))
spark datafream 中某列的值进行过滤val items = List("a", "b", "c")sqlContext.sql("select c1 from table") .filter($"c1".isin(items)) .collect .foreach(println)直接传入list时报错：...
2018-10-24 18:17:20
4011
原创 文件压缩工具类
将文件列表打包为zip/** * 将拉取的文件打包为zip * @param filePathList 文件路径列表 * @param savePath 保存路径 * @param zipName zip名称 * @return zip路径 */ public String generateZip(ArrayList<St...
2018-10-24 18:13:54
143
转载 理解面向切面编程
本文旨在帮助还没有理解AOP的童鞋看透弄懂AOP，也欢迎高手批评指正。先说一个Spring是什么吧，大家都是它是一个框架，但框架这个词对新手有点抽象，以致于越解释越模糊，不过它确实是个框架的，但那是从功能的角度来定义的，从本质意义上来讲，Spring是一个库，一个Java库，所以我个人觉得应该这样回答Spring是什么：Spring是一个库，它的功能是提供了一个软件框架，这个框架目的是使软件之...
2018-10-24 10:38:31
518
转载 Centos7安装伪分布式zookeeper
本文中的myid的文件路径分别为：/export/server/zookeeper/zk-1/zookeeper-3.4.6/data//export/server/zookeeper/zk-2/zookeeper-3.4.6/data//export/server/zookeeper/zk-3/zookeeper-3.4.6/data/1.下载安装zookeeper 3.4.6版本...
2018-10-15 17:33:57
250
转载 Hadoop学习之HDFS的相关操作
以下是使用Hadoop2.4.1的JAVA API进行HDFS的相关操作import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import java.io.InputStream;...
2018-08-27 09:58:10
177
原创 java 正则匹配 HDFS路径后获取目录下文件
public static void main(String[] args) { URI uri = URI.create("hdfs://cdh-master:8020"); FileSystem hdfs = null; Path path = new Path("/hiaAnalyticsService"); try { ...
2018-08-24 17:59:33
2030
ubuntu-CDH 6.3.2完整安装包
2023-05-24
基于Apache Flink的流处理文档内容
2020-08-24
azkaban3.43.0各组件编译后的tar包
2018-08-09
azkaban 3.43自动化安装脚本
2018-06-14
java_1.8文件补充包
2018-06-11
Azkaban-2.5-linux相关tar包
2018-04-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人