我的浪漫与极端-CSDN博客

原创【Hadoop】大数据组件进行监控脚本

用linux shell对HDP(ambari)部署的大数据服务进程进行监控检查进程脚本#配置需要检查的进程,请以逗号隔开process="NameNode,DFSZKFailoverController" #检查进程脚本status=`jps`arr=(${process//,/ }) index=0while (( $index<${#arr[@]} ))do if (echo $status | grep -q "${arr[index]}");thene.

2022-04-17 22:55:26 573

原创【Hive】双表关联比对话单数据

分享一个几年前写的hive的话单比对的sql需求实现创建外部表读取目录的层级关系，修改外部表（体现hive表的分区属性）执行话单比对结果保存到hive表操作人员：配置两边的路径配置构成主键的字段、要比对的字段这个可能就是以配置文件的形式提供，你的linux shell要读取这个配置文件//========================================================================source_hdfs=/apps/pr.

2022-04-09 21:58:49 1587

原创【Solr】存在的问题与优化措施

详单查询项目中，采用solr作为详单索引，但是由于solr的索引结构是为搜索引擎文本检索而设计的，应用到详单查询百亿量级的数据索引上，产生了比较大的性能问题。这些问题是由于lucene索引结构本身的特点导致的，直接应用于详单数据表的索引构建，会产生非常大的性能损耗，以下逐一分析查询性能损耗以实际的话单数据索引表为例，数据表按月份进行分片，每个月份的数据还会按照service_ID哈希值再进行分片。假设话单索引表每个分片由以下字段组成：ID

2022-04-09 00:13:15 576

原创【IOT】物联网架构实践(持续更新)

本文纯粹是个人在公司中经历的物联网架构演变过程单纯的作为技术交流物联网版本 V0.1早期公司开始搭建并接触物联网的时候，只知道使用MQTT协议进行通讯，通过主题作为桥梁，也没有深刻了解MQTT的协议内容，在网络上大概调研了几种MQTT-Broker，例如EMQX，fhmq，还有Java写的(Netty+MQTT)等等一众，最后选择了GO语言开发的fhmq ，不仅支持集群(经过测试，集群没什么用)，还支持kafka的桥接插件与Http权限认证等相对比较齐全的功能。数据从设备端采集到MQTT后，需要.

2022-04-09 00:07:43 5691

原创【Hadoop】集群间数据拷贝

全量数据迁移采用(discp直接拷贝hdfs对应文件)在新备份集群下建立一个文件夹,用来保存需要备份的数据hadoop fs -mkdir /backup在旧集群执行hadoop distcp hdfs://maste:9000/hbase(hbase-site.xml文件中hbase.rootdir的属性值) hdfs://backup:9000/backup执行命令以后hadoop会启动一个MapReduce任务，可以在50030页面进行查看在新集群执行hadoop fs -ls /

2022-04-08 23:40:04 2163

原创【Kettle】性能优化

系统配置优化：修改kettle定时任务中Kitchen与Pan脚本中参数配置，调整JVM大小进行性能优化。Kettle中控件参数配置优化：调整提交（Commit）记录数大小进行优化例如：如修改RotKang_Test01中的“表输出”组件中的“提交记录数量”参数进行优化，Kettle默认Commit数量为：1000，可以根据数据量大小来设置Commit size：1000~50000通过改变开始复制的数量（针对查询控件，这种方式比较简单，需要多尝试合理的复制数量）在查询的控件中，条件是相等查询

2022-04-07 21:49:07 2615

原创【K8s】集群新增node节点

修改 hostnamehostnamectl set-hostname k8s-worker9hostnamectl set-hostname k8s-worker10hostnamectl set-hostname k8s-worker11查看修改结果hostnamectl status设置 hostname 解析echo "127.0.0.1 k8s-worker9" >> /etc/hosts配置镜像(选一个)在 master 节点和 worker 节点都要执行

2022-04-07 21:34:51 891

原创【Flink】flink on k8s 高可用

新增flink HA配置 flink-conf.yaml: |+ jobmanager.rpc.address: flink-jobmanager taskmanager.numberOfTaskSlots: 50 blob.server.port: 6124 jobmanager.rpc.port: 6123 taskmanager.rpc.port: 6122 jobmanager.heap.size: 1524m taskmanager.me

2022-04-07 21:23:08 1081 1

原创【MQTT】post与reply合并成原子操作

MQTT的上行与下行是异步的，如果需要将其作为一个原子操作可以使用countDownLatch，参考以下写法/** * 发送Mqtt消息并等待响应 * * @param publishTopic 发送主题 * @param subscribeTopic 订阅主题 * @return 发送结果 */ public static R<Object> publishAndSubscribe(MqttClient mqttCli

2022-04-06 21:31:42 275

原创【Hadoop】运维记录

1. namenode 被重新格式化，datanode数据版本与namenode不一致ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /home/hadoop/tmp/dfs/data: namenode namespaceID = 39895076; datanode namespaceID = 1030326122 删除datanode

2022-04-04 00:30:02 1339

原创【Flink】flink on k8s 部署方案

Flink平台部署方案持续保持更新有些部署yaml借鉴的文章忘记哪里搬过来了额，但是经过自己测试过可行再次表谢感谢1. HDFS部署 (k8s)可以单独create -f 部署，也可以基于helm统一部署1.1 hdfs-conf.yamlapiVersion: v1kind: ConfigMapmetadata: namespace: dev-flink-plat name: kube-hadoop-confdata: HDFS_MASTER_SERVICE: hado

2022-03-23 13:54:11 8856

原创【Linux】运维记录

文章目录1.标题配置静态IP2.添加用户3.添加组4.日志管理5.jstat6.crontab7.配置SSH8.时间同步很基本的操作，因为平常自己有的时候有些会忘了就写到blog里，欢迎大家提建议或完善，我自己也会慢慢的添加完善 (づ￣ 3￣)づ1.标题配置静态IP/etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0BOOTPROTO=staticHWADDR=00:26:18:0B:38:C0ONBOOT=yesIPADDR=19

2020-04-09 22:56:40 233

原创【Hbase】运维记录

查看配额与文件数hadoop fs -count -q /得出的结果依次是文件数限额可用文件数空间限额可用空间目录数文件数总大小文件/目录名设置配额 hadoop dfsadmin -setSpaceQuota 4000 /hbase/data/ns_ffoss删除配额 hadoop dfsadmin -clrSpaceQuota /hbase/data/ns_ffosshbase-version 和 hbase.id 丢失原因:未知...

2020-04-09 18:06:14 2637

原创【ApiDoc】如何使用JSON格式提交请求

其实网上已经有基本的介绍了，这里我把整个过程在封装的详细一点但是restful接口基本是以json方式提交，但是json像swagger那样其实又不好看，又不直观，所以就想像apidoc这样既有表单形式的提交界面，又有最后自动封装成json的提交方式，嘻嘻~~ 直接在安装目录下面找send_sample_request.js，然后直接上手改将96行的ajax form表单的...

2019-07-29 14:52:15 1110

原创【Mongodb】内测习题

题型* 题干* 答案* 选项A 选项B 选项C 选项D 单选题 MongoDB数据库中基本单元为？ C 表格集合文档字段单选题 MongoDB的分析器命令为？ A explain log search find 单选题 MongoDB数据库采用副本集来保证高可用时，...

2019-05-13 19:24:33 11242

原创【SDK】打包自己写的功能包

需要打包封装一些方法成jar包，提供给其他人调用方法目录修改pom文件添加依赖删除 Application与Controller类点击idea的packagesGood Game修改pom文件 <plugin> <groupId>org.apache.maven.plugins</...

2019-05-09 15:53:03 726

原创【流媒体】视频点播流媒体服务器调研

需要选型一个流媒体服务器，故搜罗网上资料，整理出以下内容供参考出处皆已标注链接目录流媒体协议直播流媒体协议理解RTMP、HttpFlv和HLS的正确姿势流媒体文件支持格式市面上主流的流媒体服务器归纳38款流媒体服务器开源软件主流流媒体服务器介绍：AMS/wowza/red5/SRS主要功能对照分析:AMS(FMS)流媒体服务器系统wowza流媒体服务...

2019-05-08 15:49:03 2152

原创【Elasticsearch】一次响应缓慢的情况解决过程

调用es接口等待时间过长查询es集群状态：curl -XGET http://192.168.0.12:9200/_cluster/health?pretty 发现集群状态为red "status" : "red"查看每个索引的状态：curl -XGET http://192.168.0.12:9200/_cat/indices?v发现有许多之前安装X-Pack时候自带的无...

2019-04-24 19:49:40 6459

原创【Cassandra】运维记录

在之前公司有幸用到了cassandra并且具有一定程度的数据量，所有不免出现许多问题，从而进行解决，在此统一归纳，以便自己回顾，也供大家一起研究学习，实际ip或一些敏感信息已手动脱敏。目录1.平台日常检查、监控内容2.权限管理3.备份还原4.集群迁移(全量)4.1 方案1：使用sstableloader来做集群间数据迁移4.2 方案2：利用集群节点的增加和移除来平滑切换...

2016-07-31 11:10:33 2663

原创【HBase】Hbase Java api 集成Kerberos权限认证

生产中用了kerberos很长一段时间，大部分其实就是票据过期刷新票据的问题，设置服务器上的crontab定时任务再票据有效期内重新kinit票据一般都能解决问题，也有遇到其他复杂的问题，再此不展开描述。目录用keytab登录用Kerberos账号密码登陆用keytab登录// System.setProperty("sun.security.krb5.debug"...

2015-12-23 15:05:52 6973