- 博客(4482)
- 收藏
- 关注
RSS订阅转载 ubuntu17升级到18.04
问题描述： ubuntu不是LTS长期支持的版本在支持期过了，没有apt源提供支持。所以需要升级到对应的LTS版本问题解决：实验环境：ubuntu17.10--->ubuntu18.04.301、查看当前发行版本cat /etc/*release02、执行升级注意：移除低版本的apt源，替换ubuntu18.04的apt源apt upd...
2019-10-06 18:59:00
796
转载 minikube国内在线部署体验
问题描述：快速学习k8s的各个组件的作用及yml的编写,minikube很适合。how to installMinikube, a tool that runs a single-node Kubernetes cluster in a virtual machine on your personal computer参考文档：https://kubernetes.i...
2019-10-02 11:34:00
1065
转载 ubuntu16.04重置root密码
问题描述： 一个用户不能G附加多个用户组，在centos没有问题的。具体的还不清楚问题解决： 重启进入启动项修改启动参数进入root中设置密码参考：https://www.cnblogs.com/xiaojianliu/p/8520313.html01、重启系统在boot引导中选定 "Advanced optioons for ubuntu"02、...
2019-10-01 15:09:00
851
转载 Hbase入门(三)——数据模型
Hbase最核心但也是最难理解的就是数据模型，由于与传统的关系型数据库不同，虽然Hbase也有表（Table），也有行（Row）和列（Column），但是与关系型数据库不同的是Hbase有一个列族（Column Family）的概念，它将一列或者多列组织在一起，HBase必须属于某一个列族。行和列交叉点称为单元格（Cell），单元格时版本化的。单元格的内容，也就是列的值是不可分割的字...
2019-09-30 09:39:00
154
转载 Hbase入门(二)——安装与配置
本文讲述如何安装，部署，启停HBase集群，如何通过命令行对Hbase进行基本操作。并介绍Hbase的配置文件。在安装前需要将所有先决条件安装完成。一、先决条件1、JDK和Hadoop一样，Hbase需要JDK1.6或者更高的版本，所以请安装好JDK并配置环境变量。Hbase版本与JDK版本HBase VersionJDK 7JDK 8JDK 9 (Non-...
2019-09-29 11:00:00
231
转载 rancheros在vm主机部署
问题描述： 容器化，越来越重要。在云服务中很大比例的服务都跑在容器中，今天介绍rancheros基于容器的os.特点：启动快，比较小系统服务也是基于容器化使用最新的docker release跨架构arm/x86/amdrancheros技术架构Rancheros官方：https://rancher.com/docs/os/v1.x/e...
2019-09-28 22:02:00
744
转载 Learning hard 网络编程
1.1网络分层总览网络上的计算机之所以可以互相通信，是因为它们都遵守着公认的互联网协议，就如同人与人的交流一样，两个人能够交流，就必须知道对方的语言，计算机的网络通信可归结为网络中层与层之间的通信，OSI（Open System Interconnection）模型把网络通信分成7层，物理层，数据链路层，网络层，传输层，会话层，表示层，应用层，为了容易理解，网络应用开发人员一般将...
2019-09-26 09:40:00
108
转载 Hbase入门(一)——初识Hbase
本文将介绍大数据的知识和Hbase的基本概念，作为大数据体系中重要的一员，Hbase弥补了Hadoop只能离线批处理的不足，支持存储小文件，随机检索。而这种特性使得Hbase对于实时计算体系的事件存储有天然的较好的支持。这使得Hbase在实时流式计算中也扮演者重要的角色。1、大数据与Hbase大数据在近几年发展迅速，而实时计算也是一个重要的发展趋势。不管是企业中的日志数据，还是传...
2019-09-24 09:06:00
70
转载 基于centos7.6离线部署开k3s
K3S简介：https://k3s.io/https://github.com/rancher/k3shttps://github.com/rancher/k3s/releases //版本及images部署环境k3s docker-cecentos7.6docker-ce安装参考：centos7.6在线yum安装dock...
2019-09-21 17:01:00
861
转载 centos7.6在线yum安装docker-ce
概述： 利用阿里的mirrror的docker-ce仓库，在线安装docker-ce部署环境：CentOS Linux release 7.6.1810 (Core)01、添加docker-ce yum源https://mirrors.aliyun.com/docker-ce/https://yq.aliyun.com/articles/110806 /...
2019-09-20 23:56:00
303
转载 Flink1.9整合Kafka
本文基于Flink1.9版本简述如何连接Kafka。流式连接器我们知道可以自己来开发Source 和 Sink ，但是一些比较基本的 Source 和 Sink 已经内置在 Flink 里。预定义的source支持从文件、目录、socket，以及 collections 和 iterators 中读取数据。预定义的sink支持把数据写入文件、标准输出（stdout）、标准错误...
2019-09-20 11:53:00
578
转载 centos在线安装ffmpeg
简介： 跨平台解决方案，用于记录，转换和流式传输音频和视频挂载yum源https://rpmfusion.org/ConfigurationRHEL 7 or compatible like CentOS:yum localinstall --nogpgcheck https://download1.rpmfusion.org/free/el/rpmfusion...
2019-09-18 21:53:00
232
转载 Flink入门宝典（详细截图版）
本文基于java构建Flink1.9版本入门程序，需要Maven 3.0.4 和 Java 8 以上版本。需要安装Netcat进行简单调试。这里简述安装过程，并使用IDEA进行开发一个简单流处理程序，本地调试或者提交到Flink上运行，Maven与JDK安装这里不做说明。一、Flink简介Flink诞生于欧洲的一个大数据研究项目StratoSphere。该项目是柏林工业大学的一...
2019-09-18 10:10:00
264
转载 tar.bz2解压异常
问题描述：[root@mvp-dd ~]# tar jxf ffmpeg-4.0.2.tar.bz2 tar (child): bzip2: Cannot exec: No such file or directory //根据报错提示没有bzip2命令tar (child): Error is not recoverable: exiting nowtar: C...
2019-09-17 20:32:00
223
转载 Kafka常见错误整理（不断更新中）
1、UnknownTopicOrPartitionExceptionorg.apache.kafka.common.errors.UnknownTopicOrPartitionException:This server does not host this topic-partition报错内容：分区数据不在原因分析：producer向不存在的topic发送消息，用户可以检查to...
2019-09-17 09:07:00
2190
转载 Kafka运维命令大全
1、集群管理前台启动brokerbin/kafka-server-start.sh <path>/server.propertiesCtrl + C 关闭后台启动brokerbin/kafka-server-start.sh -daemon <path>/server.properties关闭brokerbin/kafka-server-stop.s...
2019-09-16 09:27:00
131
转载 百度网盘传输速度提高的方法
在这个国人们为华为的5G战果开遍全球的庆贺时代,百度网盘的传输速度竟然只有100kb, 提高的方法很简单---充钱;哈哈哈转载于:https://www.cnblogs.com/dangdanghepingping/p/11514918.html...
2019-09-12 20:08:00
1266
转载 Storm VS Flink ——性能对比
1.背景Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm（以下简称“Storm”）在美团点评实时计算业务中已有较为成熟的运用（可参考 Storm 的 可靠性保证测试），有管理平台、常用 API 和相应的文档，大量实时作业基于 Storm 构建。而 Apache Flink（以下简称“Flink”）在近期...
2019-09-12 09:47:00
207
转载 快速构建第一个Flink工程
本文简述通过maven和gradle快速构建的Flink工程。建议安装好Flink以后构建自己的Flink项目，安装与示例运行请查看：Flink快速入门--安装与示例运行.在安装好Flink以后，只要快速构建Flink工程，并完成相关代码开发，就可以轻松入手Flink。构建工具Flink项目可以使用不同的构建工具进行构建。为了能够快速入门，Flink 为以下构建工具提供了项目模版...
2019-09-10 10:24:00
290
转载 Android设计模式—观察者模式
装载请标明出处：https://www.cnblogs.com/tangZH/p/11175120.html观察者模式说白了，就是一个对发生改变，所有依赖于它的对象也发生改变，这是一对多的关系。比如对象A，对象B，对象C。B与C依赖于A，那么A发生改变，B与C也将发生改变。此时A是被观察者，B与C是观察者。观察者模式又被称作发布/订阅模式，主要是为了让观察者...
2019-09-09 20:37:00
187
转载 Kafka入门宝典（详细截图版）
1、了解 Apache Kafka1.1、简介官网：http://kafka.apache.org/Apache Kafka 是一个开源消息系统，由Scala 写成。是由Apache 软件基金会开发的一个开源消息系统项目。Kafka 最初是由LinkedIn 开发，并于2011 年初开源。2012 年10 月从Apache Incubator 毕业。该项目的目标是为处理实时...
2019-09-09 10:11:00
180
转载 华为云主机配置yum源
问题： 拥有华为主机，配置华为云mirrors，不走公网流量加速体验 系统： centos7.6解决：01、华为云mirrors https://mirrors.huaweicloud.com/cd /etc/yum.repos.d && rm -rf * //清理已经存在的yum源wget -O /etc/yum.re...
2019-09-06 20:37:00
2780
转载 统一批处理流处理——Flink批流一体实现原理
实现批处理的技术许许多多，从各种关系型数据库的sql处理，到大数据领域的MapReduce，Hive，Spark等等。这些都是处理有限数据流的经典方式。而Flink专注的是无限流处理，那么他是怎么做到批处理的呢？无限流处理：输入数据没有尽头；数据处理从当前或者过去的某一个时间 点开始，持续不停地进行另一种处理形式叫作有限流处理，即从某一个时间点开始处理数据，然后在另一个时间点结束...
2019-09-06 10:34:00
1433
转载 shell 操作钉钉机器人实现告警提醒
我们知道，之前的运维告警多通过mail 等方式通知到相应的人员，难以实现随时随地的查看。随着手机APP的发展，很多告警开始发送到IM软件上去。目前比较常用的是发送到微信和钉钉上，今天我们将重点放在钉钉上。群机器人是钉钉群的高级扩展功能，群机器人可以将第三方服务的信息聚合到群聊中，实现自动化的信息同步。借助钉钉机器人，通过官方提供的API，可以很方便的post数据到相应的接收人 。群机器人...
2019-09-06 00:00:00
1340
转载 Flink,Storm,SparkStreaming性能对比
Yahoo 的 Storm 团队曾发表了一篇博客文章 ，并在其中展示了 Storm、Flink 和 Spark Streaming 的性能测试结果。该测试对于业界而言极 具价值，因为它是流处理领域的第一个基于真实应用程序的基准测试。该应用程序从 Kafka 消费广告曝光消息，从 Redis 查找每个广告对应的广 告宣传活动，并按照广告宣传活动分组，以 10 秒为窗口计算广告浏览量。...
2019-09-05 10:28:00
117
转载 洛谷P4139 上帝与集合的正确用法 欧拉定理
洛谷P4139 上帝与集合的正确用法标签欧拉定理前言我的csdn和博客园是同步的，欢迎来访danzh-博客园~简明题意求\[2^{2^{2...}}\%p\]其中2表示无限次幂。p<=1e7思路无限次幂这里是不是有点不清楚？我们设\(f(p)\)表示2的无限次幂模p的结果.由欧拉定理，我们可以把原式写成：\[2^{f(phi(p))+p}\%p\...
2019-09-04 16:55:00
75
转载 Learning hard 学习笔记
第一章 你真的了解C#吗1.什么是C#，微软公司，面向对象，运行于.NET Framework之上，2.C#能编写哪些应用程序，Windows应用桌面程序，Web应用程序，Web服务，3.什么是.NET Framework，全面的类库，内存管理，通用类型系统，开发结构和技术，语言互操作性，4..NET Framework组成，公共语言运行时（CLR）和类库...
2019-09-04 15:47:00
449
转载 查看linux所有被占用的端口
netstat -tulnp-t(tcp)只显示tcp相关的-u(udp)只显示udp相关的-l(listening)只显示监听服务的端口-n(numeric)不解析名称,能用数字表示的就不用别名(例如:localhost会转成127.0.0.1)-p(programs)显示端口的PID和程序名称可以通过netstat -tulnp | gr...
2019-09-04 14:39:00
1742
转载 最简单流处理引擎——Kafka Streams简介
Kafka在0.10.0.0版本以前的定位是分布式，分区化的，带备份机制的日志提交服务。而kafka在这之前也没有提供数据处理的顾服务。大家的流处理计算主要是还是依赖于Storm，Spark Streaming，Flink等流式处理框架。Storm，Spark Streaming，Flink流处理的三驾马车各有各的优势.Storm低延迟，并且在市场中占有一定的地位，目前很多公司仍...
2019-09-04 11:14:00
318
转载 超越Storm，SparkStreaming——Flink如何实现有状态的计算
流式计算分为无状态和有状态两种情况。无状态计算观察每个独立的事件，Storm就是无状态的计算框架，每一条消息来了以后和前后都没有关系，一条是一条。比如我们接收电力系统传感器的数据，当电压超过240v就报警，这就是无状态的数据。但是如果我们需要同时判断多个电压，比如三相电路，我们判断三相电都高于某个值，那么就需要将状态保存，计算。因为这三条记录是分别发送过来的。Storm需要自己实现...
2019-09-03 17:47:00
87
转载 2019ICPC 南京网赛 F. Greedy Sequence 难想的暴力
2019ICPC 南京网赛 F. Greedy Sequence标签难想的暴力前言我的csdn和博客园是同步的，欢迎来访danzh-博客园~这题读题好费劲...简明题意读题太费劲了。给定序列a[]，现在需要你构造n个序列:\(s_1-s_n\)每个序列\(s_i[1]=i\)，然后对于每个s序列，相邻的两个数在a[]序列中的下标差不超过k。现在每个序列需要字典...
2019-09-03 16:26:00
77
转载 2019ICPC 南京网赛 H. Holy Grail 最短路
2019ICPC 南京网赛 H. Holy Grail标签最短路前言我的csdn和博客园是同步的，欢迎来访danzh-博客园~简明题意给定一张有向图，现在有6组询问，每次询问给定边u,v，问使得原图不形成负环的最小边权。思路其实跟负环没什么关系。给定了u，v，直接输出v，u的最短路就可以了（负的）。然后每次输出后，更新一下原图就行。由于存在负边权，所以应该用...
2019-09-03 16:05:00
78
转载 8月26日笔记 下
一、js用来作什么1、行为交互2、数据交互3、逻辑交互二、js的引用三种方式：1、行间js <div onclick="alert("我爱js")"></div>2、内部js <script>//这里放置js代码</sctript>3、外部js <script src="main.js"></script>三...
2019-09-03 15:05:00
76
转载 8月26日笔记
第一阶段：1、走入js2、玩转属性3、if语句和布尔值4、for和this4、ecma数据类型以及转换6、流程控制7、函数8、定时器和日起对象9、数组和字符串10、排序算法11、动画专题12、第一阶段实战 win7系统日历全实现第一阶段是4周 8月26号开课第二阶段1、ecma62、dom3、bom4、event7、拖放和fileReader8、音频和视频9、第二阶段百度云盘2周...
2019-09-03 14:06:00
89
转载 free -m 内存
查看内存及交换swap分区大小及使用率man freeNAME free - Display amount of free and used memory in the systemSYNOPSIS free [-b | -k | -m] [-o] [-s delay ] [-t] [-l] [-V]DESCRIPTI...
2019-09-02 22:34:00
151
转载 可以穿梭时空的实时计算框架——Flink对时间的处理
Flink对于流处理架构的意义十分重要，Kafka让消息具有了持久化的能力，而处理数据，甚至穿越时间的能力都要靠Flink来完成。在Streaming-大数据的未来一文中我们知道，对于流式处理最重要的两件事，正确性，时间推理工具。而Flink对两者都有非常好的支持。Flink对于正确性的保证对于连续的事件流数据，由于我们处理时可能有事件暂未到达，可能导致数据的正确性受到影响，现在...
2019-09-02 12:35:00
364
转载 ubuntu下安装mysql
sudo apt-get install mysql-server有些人执行完上面的命令后，mysql默认是没有密码的，可以直接mysql -uroot -p，然后让你enter password，回车进入mysql；如果登录不进去，可以先切换成root（sudo su），直接执行mysql命令登录进去。此时mysql只能本机登录，如果需要让其主机连接本mysql，需做以下操...
2019-09-02 10:53:00
68
转载 Ubuntu给apt-get设置代理
编辑文件：/etc/apt/apt.conf在您的apt.conf文件中加入下面这行（根据你的实际情况替换yourproxyaddress和proxyport）。Acquire::http::Proxy"http://yourproxyaddress:proxyport";Acquire::https::proxy"http://yourproxyaddress:proxyport...
2019-09-02 10:11:00
133
转载 Chrome 开发工具之 Application
Chrome 开发者工具有 Application 这么一个面板，主要作用是检查 web 应用加载的所有资源，包括 Manifest、Service Workers、Local Storage、Session Storage、IndexedDB、Web SQL(该标准早已废弃，被 IndexedDB 干趴下)、Cookies、Cache Storage、Application Cac...
2019-09-01 23:38:00
409
转载 ubuntu16.04部署vsftpd
问题描述： 之前在centos6/7可以快速构建vsftpd服务，在ubuntu上频繁出错。最后发现是vsftpd版本比较新(新增安全特性导致的)问题解决： 加上对应参数即可解决问题window资源管理器登录ftpftp://user:pass@ip/xxx/ //账户认证登录ftp://ip/xxxftp://anonymous:@ip/xxx ...
2019-08-31 13:08:00
209
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人