自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(31)
  • 资源 (23)
  • 收藏
  • 关注

原创 Envoy快速开始

运行Envoy本章节所执行的所有命令均在操作系统环境下执行查看Envoy版本信息[root@k3 ~]# envoy --versionenvoy version: d6a4496e712d7a2335b26e2f76210d5904002c26/1.17.1/clean-getenvoy-bb8060d-envoy/RELEASE/BoringSSL[root@k3 ~]# 查看Envoy命令行帮助信息[root@k3 ~]# envoy --helpUSAGE: en

2021-03-31 23:38:21 830

原创 Envoy安装

Envoy安装使用Envoy介绍基于Centos安装基于Docker安装Envoy介绍Envoy是一个7层代理模型,现代化大型微服务通信总线,其设计理念是:网络应该对应用程序透明,当网络或者应程序出现问题时,应该很容易找到问题的根源。在实际情况下,要是实现上述目标会有不同程度的困难。Envoy就是试着去解决上述问题,因此提供了如下的高级网络特征:在进程之外独立运行3层或4层网络过滤7层网络过滤支持HTTP2HTTP 7层路由支持gRPC服务发现及动态配置健康检查高级的负载均衡前置/

2021-03-28 00:00:04 909

原创 Hadoop多个dfs目录中有一个磁盘空间超过90%解决(used space above threshold of 90.0%)

异常信息1/1 local-dirs usable space is below configured utilization percentage/no more usable space [ /data/hadoop/tmp/data/nm-local-dir : used space above threshold of 90.0% ] ; 1/1 log-dirs usable space is below configured utilization percentage/no mor.

2020-10-19 18:31:44 3647 1

原创 centos7下100T存储扩容(LVM)至150T

查看新增磁盘情况lsblk,fdisk -l[root@localhost ~]# lsblkNAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTsr0 11:0 1 4.2G 0 rom vda 252:0 0 80G 0 disk ├─vda1 252:1 0 1G 0 part /boot└─vda2 252:2

2020-09-16 11:14:22 741

原创 hbaseclient写入数据发现节点不在线(is not online)故障

发现服务异常主要是节点不在线,写入数据频繁超时或者一直在重试进入表查看详情时发现master记录regionserver的端口与实际节点不一致导致数据始终无法写入最在hbase的web管理端中的HBCK Report查看异常节点(由于手残忘记截图了)'<HOSTNAME>,<PORT>,<STARTCODE>'在master节点执行hbase hbck -j /opt/hbase-hbck2-1.0.0.jar scheduleRecoveries..

2020-09-04 18:24:23 1054

原创 Ffmpeg抽取音频、视频、格式转换

最近闲着无聊研究了一下ffmpeg,详细过程不说了,主要是上点干货,当然可能研究的不透彻勿喷,谢谢。我的环境是基于QT的,所以有QString字串,QtDebug日志,QMessageBox提示用的,QWidget,首先这些内容都不重要。QString 转char*://因ffmpeg是c风格字符串,所以需要将QString转c风格字符,所但凡看到inTmp.data(),outTmp.data()就是获取c风格字符;//转换操作如下:QString in("d:/1.mp4");QByte

2020-08-15 23:46:08 313

原创 由于在hadoop删除数据导致hbase进入RIT

hbase shell下删除对应的数据 deleteall 'hbase:meta','tableName,8866A2342D24DFD22714D55675FEC4D7750EC3521AB4CE9A-1591613447000,1595774766555.995346d5a2bbf04857ad74d800bcc8f2.'

2020-07-30 14:13:00 259

原创 opencv-4.3.0与dlib-19.20环境配置搭建vs2019

因最近想做一个人脸识别的项目,大致先用opencv的haar捕获人脸信息,然后再通过dlib提取人脸特征值,最后进行人脸比对。工欲善其事,必先利其器,故有了这篇vs2019搭建opencv与dlib的文章。vs2019已经安装完毕, 其次下载如下软件源码:opencv:下载地址:https://sourceforge.net/projects/opencvlibrary/cmake:下载地址:https://cmake.org/download/dlib:下载地址:http://dl

2020-07-15 14:57:19 510

原创 centos7安装Portainer集群管理docker

第一步安装docker第二部修改docker配置文件vi /usr/lib/systemd/system/docker.service修改ExecStart为:ExecStart=/usr/bin/dockerd -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.socksystemctl daemon-reload 此步可以省略重新加载配置文件,不然docker无法启动systemctl restart docker.se.

2020-05-21 11:59:14 553 1

原创 安装swarm集群--干货

1、集群的所有节点装Docker2、在swarm管理节点拉去swarm镜像docker pull swarm3、初始化swarm并指定其他节点加入集群的IP地址docker swarm init --advertise-addr 172.16.131.32//advertise-addr:注册集群IP地址,即管理节点IP地址4、执行完毕初始化命令会生成一个token,其他docker节点持有该token加入swarm集群,同时本主机的docker已经加入swarm节点,本次

2020-05-15 16:35:55 499

原创 flutter学习笔记(二)-基础组件Container

说明本篇主要讲解基础组件基础组件包括:Container,Row,Column,Image,Text,Icon,RaisedButton,Appbar,FlutterLogo,PlaceholderContainer:类似于HTML的DIV,安卓的RelativeLayout,Row:类似于HTML的LI横向排布,安卓的LinearLayout 横向布局Column:类似于HTML的tLI...

2020-01-13 13:52:48 304

原创 flutter学习笔记(一)-main组件构建说明

Demo构建说明直接上Demo源码,然后详细拆分说明import 'package:flutter/material.dart';void main() => runApp(MyApp());class MyApp extends StatelessWidget { @override Widget build(BuildContext context) { re...

2020-01-10 15:23:21 443

原创 word2vector安装

word2vector是Google开源项目主要是做词向量,理论上语料越大越好.python3在安装过程中出现一些问题.再次记录一下我将python安装源改成了清华大学的,创建如下目录:C:\Users\tk\pip,并在该文件夹下新建:pip.ini内容为:[global]index-url = https://pypi.tuna.tsinghua.edu.cn/simple首先下载...

2019-12-17 12:05:58 1760

原创 FLink实战读取kafka的nginx数据并写入kafka

package com.bigdata.realtime;import java.text.SimpleDateFormat;import java.util.Date;import java.util.Properties;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache....

2019-11-14 19:57:17 779

原创 tf.transpose简单说明

三维张量:x = [[[ 1 2 3 4] [ 5 6 7 8] [ 9 10 11 12]] [[21 22 23 24] [25 26 27 28] [29 30 31 32]]]x是一个高2个3行4列的张量tf.transpose(x,[0,1,2])是x张量的原型,其中0表示高为2,1表示行为3,2表示列为4tf.transpose(x,[...

2019-10-23 23:02:19 253

原创 线性回归最通俗易懂理解-python tensorflow版-2

本代码主要讲述一元线性回归实践干货1、引入相关模块,%matplotlib inline表示在jupyter显示图表import tensorflow as tfimport numpy as npimport matplotlib.pyplot as plt2、生成数据集,x_data,y_data,y_data函数为y=wx+b=3x+1,其中np.random.randn(...

2019-10-21 00:35:25 178

原创 线性回归最通俗易懂理解-python tensorflow版-1

1,线性回归说明线性回归用最直白最简单说法就是通过大量的学习然后给定既定的数据做预测使用,整个的计算过程大致可以理解为,在某个预测中有大量的不同维度数据,我们将这类数据进行线性回归学习,学习完很多数据以后,就可以对未知的数据相同维度数据预测既定的值举个机器学习常用栗子就是预测某个地区的房价,数据为:房子的位置,南北朝向,面积,成交价格,成交年份,建成时间等进行学习,最终你提供:房子的位置,南北...

2019-10-20 02:56:33 237

原创 kafka报错The request included a message larger than the max message size the server will accept

org.apache.kafka.common.errors.RecordTooLargeException: The request included a message larger than the max message size the server will accept.Java客户端调整:MAX_REQUEST_SIZE_CONFIGkafka服务器端调整:message....

2019-10-18 10:43:16 4672 3

原创 tensorflow游乐场简单说明

tensorflow游乐场:http://playground.tensorflow.org

2019-10-17 17:26:34 338

原创 CentOS7.6根目录扩容,新增磁盘

1.df -h查看现在磁盘使用情况2.查看并格式化新增的磁盘fdisk -l我新增的磁盘是/dev/vdb,所以格式化该磁盘(/dev/vdb)fdisk /dev/vdb依次输入:输入n:添加新分区,输入p:主分区,输入1:表示1个分区,输入回车:从磁盘开始,输入回车:到磁盘结尾输入t:改变分区类型输入8e:改变分区LVM输入w:保存退...

2019-09-17 18:42:27 2485

原创 centos6.5升级openssh 8.0

下载opensshhttps://openbsd.hk/pub/OpenBSD/OpenSSH/portable/ wget -c https://openbsd.hk/pub/OpenBSD/OpenSSH/portable/openssh-8.0p1.tar.gzyum install -y pam* zlib* tar -xvf openssh-8.0p1.tar.gz c...

2019-09-11 12:59:47 3224

原创 Java封装Hbase类库

最近在做Hbase项目,考虑到整体Hbase操作采用API的方式比较繁琐,简单封装了一下,项目使用SpringCould构建,涉及zookeeper,和spring security构建的比较复杂,所以就甩点干货.annotation涉及两个:FamilyColumn,用来定义列族名称,默认列族为"f"import java.lang.annotation.Documented;i...

2019-09-10 17:15:21 367

原创 centos7 等保三级

最近公司做了一次等保3测评,发现很多不符合现在记录以下修改的配置文件已备下次使用修改密码策略文件vim /etc/login.defs将以下修改PASS_MAX_DAYS 90PASS_MIN_DAYS 2PASS_MIN_LEN 8PASS_WARN_AGE 7修改root密码chage -M 90 rootchage -m 2 rootchage ...

2019-09-10 10:48:21 3649

原创 Hadoop3.1.2完全分布式集群部署超详细记录(CentOS 7.6.1810)

服务器环境说明安装准备JDK版本Host配置修改主机名免密码登录配置Hadoop功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入...

2019-08-28 22:38:19 214

原创 Centos7.6安装Mysql8.0.17

查询卸载系统mariadbrpm -qa|grep mariadbrpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64下载mysqlwget -c https://cdn.mysql.com//Downloads/MySQL-8.0/mysql-8.0.17-1.el8.x86_64.rpm-bundle.tartar...

2019-08-23 17:43:20 878

原创 Docker修改JDK运行时间

docker run -it -p 8080:8080 --name app1 -d \--cpus=6 --rm -m 8192m \-v /webapps:/usr/local/tomcat/webapps \-v /logs/app1:/usr/local/tomcat/logs \-v /opt/tomcat/catalina.sh:/usr/local/tomcat/bi...

2019-08-01 01:45:45 290

原创 centos7 防火墙禁用ssh的22端口,禁止22访问

centos7 防火墙禁用ssh的22端口,仍然可以使用后来发现ssh再IPV6下仍然监听端口,于是将IPV6禁用 firewall-cmd --zone=public --remove-port=22/tcp --permanent firewall-cmd --reload禁止IPV6vi /etc/sysctl.conf添加如下内容net.ipv6.conf.all.di...

2019-07-31 23:55:58 13000 1

原创 Docker运行tomcat

docker search tomcatNAME DESCRIPTION STARS OFFICIAL AUTOMATEDtomcat Apache Tomcat is an...

2019-07-29 13:37:03 144

原创 Docker镜像服务更换为阿里云镜像

第一步注册阿里云账号,注册完毕以后第二步搜索:容器镜像服务第三步选择镜像加速菜单第四步复制加速地址第五步编辑或新增/etc/docker/daemon.json,添加如下内容{ "registry-mirrors": ["https://*****.mirror.aliyuncs.com"]}第六步重新加载并重启Dockersystemc...

2019-07-29 10:52:55 522

原创 Centos7安装Docker,阿里源,网易镜像

更新安装阿里源$ yum update$ yum install -y yum-utils device-mapper-persistent-data lvm2$ yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo查看docker版本$ yum lis...

2019-07-29 00:55:37 668

原创 centos 安装 tengine

先将系统更新一遍 解压下载号的tengine 执行编译安装tengine官方下载:http://tengine.taobao.org/download.htmltengine官方文档:http://tengine.taobao.org/document/install.html$ yum -y install gcc-c++ $ yum -y install pcre ...

2019-07-17 16:32:29 147

hbase-hbck2-1.0.0.jar

Hbase修复工具 示例情景: Q:缺失hbase.version文件 A:加上选项 -fixVersionFile 解决 Q:如果一个region即不在META表中,又不在hdfs上面,但是在regionserver的online region集合中 A:加上选项 -fixAssignments 解决 Q:如果一个region在META表中,并且在regionserver的online region集合中,但是在hdfs上面没有 A:加上选项 -fixAssignments -fixMeta 解决,( -fixAssignments告诉regions

2020-09-04

基于QT的Ffmpeg抽取音频、视频、格式转换

整合QT与Ffmpeg,实现ffmpeg抽取音频、视频、格式转换等内容。本例是QT源码文件,需要自己下载ffmpeg,Ffmpeg_demo1.pro中配置自己的ffmpeg目录

2020-08-15

face_recognition操作数据库的例子

通过使用face_recognition结合数据库操作,实现人脸特征mysql存储与比对。运行时确保数据库及本地照片路径正确。 获取人脸特征并存储至数据的函数detect_face_feature:参数说明: argv[1]:照片路劲,argv[2]:唯一标识或者label名称,运行时调用的方法 运行说明:python new_compare.py 人脸照片路径 唯一标识或者label名称

2020-07-25

winutils-master.zip

在windows下调试Hadoop时缺少winutils,该文件一般都是源码编译完成,也有少部分在GitHub里面(https://github.com/steveloughran/winutils) 以下时Hadoop官方说明:https://cwiki.apache.org/confluence/display/HADOOP2/WindowsProblems

2019-09-06

LINUX设备驱动程序(第3版)[高清PDF]

LINUX设备驱动程序(第3版)[高清PDF]

2017-03-30

[C.入门经典(第3版)].(美)霍顿.

[C.入门经典(第3版)].(美)霍顿.

2017-03-29

云计算-基于Hadoop平台的亿贝用户邮件数据分析(苏立)

云计算-基于Hadoop平台的亿贝用户邮件数据分析(苏立)

2014-01-08

阿里巴巴(B2B)的服务框架探索(钱霄)

阿里巴巴(B2B)的服务框架探索(钱霄)

2014-01-07

Web请求异步处理和海量数据即时分析在淘宝开放平台的实践(岑文初)

Web请求异步处理和海量数据即时分析在淘宝开放平台的实践(岑文初)

2014-01-07

Facebook大数据实时分析案例分享(Uri)

Facebook大数据实时分析案例分享(Uri)

2014-01-07

淘宝分布式并行计算四合一框架Fourinone

淘宝分布式并行计算四合一框架Fourinone

2014-01-07

李松林-基于云计算的大数据平台

2012云计算架构师峰会---李松林-基于云计算的大数据平台

2014-01-07

高并发环境下的数据产品架构设计

2012云计算架构师峰会---高并发环境下的数据产品架构设计

2014-01-07

傅强-当当在大数据挖掘分析与管理—个性化精准营销方面的探索

2012云计算架构师峰会PPT---傅强-当当在大数据挖掘分析与管理—个性化精准营销方面的探索

2014-01-07

邓华北-专家集成系统开启企业云计算之旅

2012云计算架构师峰会PPT---邓华北-专家集成系统开启企业云计算之旅

2014-01-07

淡成-Cloud Foundry PaaS平台对软件开发的影响

2012云计算架构师峰会PPT---淡成-Cloud Foundry PaaS平台对软件开发的影响

2014-01-07

但彬-Hadoop平台的大数据整合

2012云计算架构师峰会PPT---但彬-Hadoop平台的大数据整合

2014-01-07

fat jar eclipse打包工具

eclipse打包工具。一款专业的eclipse打包工具,好用。

2013-12-31

SVN Eclipse插件

Subclipse 是一个为 Eclipse IDE 添加 Subversion 支持的项目。支持几乎所有版本的Eclipse。

2013-12-31

Java Development Kit(JDK) v1.4.2

Java开发工具包 (Java Development Kit ) 的缩写,用于构建在 Java 平台上发布的应用程序、applet 和组件的开发环境,一切java应用程序的基础,所有的java应用程序是构建在这个之上的,它是一组API,也可以说是一些java Class

2013-12-31

hibernate_reference_3.2

HIBERNATE 中文版教程 详细介绍了HIBERNATE

2012-02-15

JAVASCRIPT语言教程.chm

JAVASCRIPT语言教程 onBlur onChange onClick onFocus onLoad onMouseOver onSelect onSubmit onUnload -------------------

2012-02-15

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除