昕友软件博客

原创 fiddler高级用法，手动修改替换请求和响应

手动修改fiddle的请求和响应Rules->Custon Rules，或按Ctrl+R键，编辑 CustomRules.js 代码文件，在OnBeforeRequest函数里修改代码：添加请求 header(头)oSession.oRequest["NewHeaderName"] = "New header(头) value";删除响应 header(头)oSess...

原创 sqoop使用详解

import-to-hdfs 关系数据库导出数据到hdfs&hivesqoop用于关系数据库和hadoop家族(hdfs、hive、hbase)之间的ETL数据库导出到hadoop家族：sqoop import hadoop家族导出到数据库：sqoop export下载：http://www.apache.org/dyn/closer.lua/sqoop/1.4.7官方...

原创 线上jvm调试命令小结

进程信息jpsjps -l 输出应用程序main.class的完整package名或者应用程序jar文件完整路径名jps -v 输出传递给JVM的参数查看正在运行的java程序的扩展参数jinfo 16439线程信息 jstack更多https://www.cnblogs.com/duanxz/p/5487576.html查看堆使用情况 ## 常用 ##jmap -heap pi...

原创 搭建自有git服务笔记

服务器中创建空仓库cd /homeuseradd gitpasswd git设置git用户密码为qazwsx12#mkdir /home/gitrootcd /home/gitrootchown -R git:git /home/gitrootgit init --bare ProjectDemo.git成功：Initialized empty Git repository in /...

原创 ClickHouse在CentOS-7 Linux下安装和初体验

安装1、检查系统是否支持clickhouse安装grep -q sse4_2 /proc/cpuinfo && echo “SSE 4.2 supported” || echo “SSE 4.2 not supported.“SSE 4.2 supported” 代表可以安装，ClickHouse需要使用SSE硬件指令集加速，大大加快了CPU寄存器计算效率。2、新建...

原创 OLTP、OLAP列数据库、列族数据库的区别

一句话区别OLTP：基于行存储的关系数据库，写入速度极快，用于数据记录修改场景，MySQL、OracleOLAP：基于列存储，查询速度极快，用于海量数据分析，Clickhouse、Vertica、 Amazon Redshift、 Sybase IQ、 Exasol、 Infobright、 InfiniDB、 LucidDB、 SAP HANA、 Google Dremel列族...

原创 java服务器端Mock服务接口模拟实践入门

mock服务的使用目的在于前端测试、APP开发、前端测试人员在服务还没完备时模拟接口。如图，用户服务、其他服务没交付，账单服务交付了。那么app就通过mock模拟用户服务、其他服务接口。账单服务经mock服务中转，或者直连。分类：客户端mock：mockjs服务端mock：mockserver、mocomockjs http://mockjs.com/mockserve...

原创 Aviator—Java表达式求值引擎的使用

pom<dependency> <groupId>com.googlecode.aviator</groupId> <artifactId>aviator</artifactId> <version>4.2.10</version></dependency>对...

原创 Aviator和MVEL实现表达式求值—Java表达式引擎的使用

pom<dependency> <groupId>com.googlecode.aviator</groupId> <artifactId>aviator</artifactId> <version>4.2.10</version></dependency>&l...

原创 Aviator和MVEL实现Map过滤（通过动态表达式求值)—Java表达式引擎的使用

pom<dependency> <groupId>com.googlecode.aviator</groupId> <artifactId>aviator</artifactId> <version>4.2.10</version></dependency>&l...

原创 云管、SDN、OpenStack组成的虚拟化云计算：创建虚拟机时计算节点的过滤

参考：https://docs.openstack.org/nova/latest/user/filter-scheduler.html

原创 云管、SDN、OpenStack组成的虚拟化云计算：创建虚拟机

虚拟机："server": { "OS-DCF:diskConfig": "AUTO", "OS-EXT-AZ:availability_zone": "nova", "OS-EXT-SRV-ATTR:hypervisor_hostname": "CVK#11", "OS-EXT-SRV-ATTR:instance_...

原创 云管、SDN、OpenStack组成的虚拟化云计算：创建虚拟机[原创]

虚拟机："server": { "OS-DCF:diskConfig": "AUTO", "OS-EXT-AZ:availability_zone": "nova", "OS-EXT-SRV-ATTR:hypervisor_hostname": "CVK#11", "OS-EXT-SRV-ATTR:instance_...

原创 云管、SDN、OpenStack组成的虚拟化云计算：虚拟存储

卷："volume": { "attachments": [], "availability_zone": "nova", "bootable": "false", "consistencygroup_id": null, "created_at": "2018-11-29T06:50:07.77...

原创 云管、SDN、OpenStack组成的虚拟化云计算：网络关系与新建虚拟网络

网络："network": { "admin_state_up": true, "availability_zones": [ "nova" ], "created_at": "2016-03-08T20:19:41", "id": "d32019d3-bc6e-43...

原创 云管、SDN、OpenStack组成的虚拟化云计算：网络关系与新建虚拟网络[原创]

网络："network": { "admin_state_up": true, "availability_zones": [ "nova" ], "created_at": "2016-03-08T20:19:41", "id": "d32019d3-bc6e-4319-9...

原创 云管、SDN、OpenStack组成的虚拟化云计算：主机集群建立过程

最终返回集群（aggregate）实例json集群实例举例：{ "aggregate": { "availability_zone": "a", "created_at": "2019-12-27T23:47:30", "deleted": false, "deleted_at": null, ...

原创 云管、SDN、OpenStack组成的虚拟化云计算：从资源准备到创建虚拟机的全过程[原创]...

原创 gh-ost在线主从同步MySQL下DDL生产表结构修改（初步研究）

参考https://www.cnblogs.com/yangyi402/p/11557878.htmlhttps://github.com/github/gh-osthttps://www.cnblogs.com/zhoujinyi/p/9187421.html主从同步过程省略。启动主从同步show processlist;show master status;记录P...

原创 数据中心SDN网络、VXLAN、虚拟化之间的关系和概念

参考2个专业的资源：http://www.h3c.com/cn/d_201811/1131076_30005_0.htmhttps://support.huawei.com/enterprise/zh/doc/EDOC1100087027传统VLAN网络VLAN概念VLAN（Virtual Local Area Network）即虚拟局域网，是将一个物理的LAN在逻辑上划分成多...

原创 VMM插件和OpenStack nova集成（华三CAS插件处理虚拟化流程及源码分析）

插件组成华三目前依托OpenStack有以下几个插件：l {openstack}_cas_nova-{version}.tar.gz --虚拟化l {openstack}_cas_cinder-{version}.tar.gz --为用户提供统一的卷相关操作的存储接口l {openstack}_cas_neutron-{version}.tar.gz -- 网络相关...

原创 OpenStack的历史版本

OpenStack大概6个月一个版本。SeriesStatusInitial Release DateNext PhaseEOL DateVictoriaDevelopment2020-10-14estimated(schedule)Maintainedestimated 2020-10-14UssuriMa...

原创 我所理解的云计算平台（OpenStack、CloudStack）、VMM、SDN三者关联关系

原创 QEMU-KVM虚拟化：存储

以下命令行亲自执行有效，执行环境：Compiled against library: libvirt 4.5.0Using library: libvirt 4.5.0Using API: QEMU 4.5.0Running hypervisor: QEMU 1.5.3QEMU存储虚拟化结构栈QEMU可以处理几种不同的磁盘映像格式。首选格式为raw或qcow2。Raw是一种非常简...

原创 QEMU-KVM虚拟化：内存调整控制

以下命令行亲自执行有效，执行环境：Compiled against library: libvirt 4.5.0Using library: libvirt 4.5.0Using API: QEMU 4.5.0Running hypervisor: QEMU 1.5.3架构细节可查看：CPU 和内存虚拟化https://www.cnblogs.com/sammyliu/p/4543...

原创 QEMU-KVM虚拟化：CPU管理

以下命令行亲自执行有效，执行环境：Compiled against library: libvirt 4.5.0Using library: libvirt 4.5.0Using API: QEMU 4.5.0Running hypervisor: QEMU 1.5.3架构细节可查看：CPU 和内存虚拟化https://www.cnblogs.com/sammyliu/p/4543...

原创 QEMU-KVM虚拟化

虚拟化的分类服务器虚拟化：虚拟服务器桌面虚拟化：瘦客户机连接 win7 实现普通办公存储虚拟化：　　SAN ( 基于磁盘 )　　NAS ( NFS / Samba )　　GlusterFS应用虚拟化：将办公软件虚拟化，最典型的就是 office网络虚拟化：SDNKernel-based Virtual Machine 的简称，是一个开源的系统虚拟化模块，自 Li...

原创 SDN数据中心基础知识

Unerday&Overlay名词解释 SDN软件定义网络SDN（Software Defined Network）是由美国斯坦福大学CLean State研究组提出的一种新型网络创新架构，可通过软件编程的形式定义和控制网络，其控制平面和转发平面分离及开放性可编程的特点，被认为是网络领域的一场革命，为新型互联网体系结构研究提供了新的实验途径，也极大地推动了下一代互联网的发展 ...

原创 几个不错的openstack资源

OpenStack是什么？它就是一个云计算操作系统，一套IaaS软件。管理“基础设施资源”，主要包括三个方面：计算、存储、网络。说通俗点，就是CPU，硬盘，网卡。入门https://zhuanlan.zhihu.com/p/35598437深入http://www.chenshake.com/tag/openstack/https://lingxiankong.git...

原创 JVM内存溢出异常OOM

栈溢出 StackOverflowErrorJava 里的 StackOverflowError。抛出这个错误表明应用程序因为深递归导致栈被耗尽了。每当java程序启动一个新的线程时，java虚拟机会为他分配一个栈，java栈以帧为单位保持线程运行状态；当线程调用一个方法是，jvm压入一个新的栈帧到这个线程的栈中，只要这个方法还没返回，这个栈帧就存在。 如果方法的嵌套调用层次太多(如递...

原创 JVM内存区域

包含：程序计数器虚拟机栈本地方法栈堆方法区（包含运行时常量池）直接内存线程私有：程序计数器，虚拟机栈，本地方法栈线程共享：堆，方法区程序计数器程序计数器是一块较小的内存空间，可以看作是当前线程执行的字节码行号指示器，JVM 通过改变这个计数器的值，来选取下一条需要执行的字节码指令，分支、循环、跳转、异常处理、线程恢复等基础功能。程序计数器空间是私有的，原因在于 J...

原创 Spring Cloud 使用sleuth&zipkin 链路追踪

微服务系统拆分导致系统调用链路愈发复杂一个前端请求可能最终需要调用很多次后端服务才能完成，当整个请求变慢或不可用时，我们是无法得知该请求是由某个或某些后端服务引起的，这时就需要解决如何快读定位服务故障点，以对症下药。于是就有了分布式系统调用跟踪的诞生。针对微服务化应用链路追踪的问题，Google在2010年发表了论文《Dapper, a Large-Scale Distributed S...

原创 Spring Cloud Gateway&Sentinel网关流量控制

见：https://www.cnblogs.com/starcrm/p/12928808.html

原创 Spring Cloud Nacos分布式配置中心

Nacos 提供用于存储配置和其他元数据的 key/value 存储，为分布式系统中的外部化配置提供服务器端和客户端支持。使用 Spring Cloud Alibaba Nacos Config，您可以在 Nacos Server 集中管理你 Spring Cloud 应用的外部属性配置。Spring Cloud Alibaba Nacos Config 是 Config Ser...

原创 Spring Cloud Nacos&Feign负载均衡

软件方式的负载均衡一般有两种方法1、Nginx、Haproxy分布式服务器网关的负载均衡；2、Ribbon&Feign 结合Nacos本地消费者客户端进程内的负载均衡（即不用先去访问nginx这类的服务器网关），用于Spring Cloud；那么先复习下Nginx负载均衡的算法和配置。1)、轮询（默认）每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉...

原创 Spring Cloud Nacos服务发现

Nacos 提供动态服务发现、服务配置、服务元数据及流量管理。Nacos 的关键特性包括:服务发现和服务健康监测Nacos 支持基于 DNS 和基于 RPC 的服务发现。服务提供者使用原生SDK、OpenAPI、或一个独立的Agent TODO注册 Service 后，服务消费者可以使用DNS TODO或HTTP&API查找和发现服务。Nacos 提供对服务的实时...

原创 RocketMQ事务消息

RocketMQ事务消息（Transactional Message）是指应用本地事务和发送消息操作可以被定义到全局事务中，要么同时成功，要么同时失败。RocketMQ的事务消息提供类似 X/Open XA 的分布事务功能，通过事务消息能达到分布式事务的最终一致。Half Message(半消息)是指暂不能被Consumer消费的消息。Producer 已经把消息成功发送到了 Bro...

原创 RocketMQ消息存储和ack

消息存储架构主要有下面三个跟消息存储相关的文件构成。(1) CommitLog：消息主体以及元数据的存储主体，存储Producer端写入的消息主体内容,消息内容不是定长的。单个文件大小默认1G ，文件名长度为20位，左边补零，剩余为起始偏移量，比如00000000000000000000代表了第一个文件，起始偏移量为0，文件大小为1G=1073741824；当第一个文件写满了，第...

原创 RocketMQ定时（延迟）消息

RocketMQ 不支持任意时间自定义的延迟消息，仅支持内置预设值的延迟时间间隔的延迟消息。预设值的延迟时间间隔为：1s、 5s、 10s、 30s、 1m、 2m、 3m、 4m、 5m、 6m、 7m、 8m、 9m、 10m、 20m、 30m、 1h、 2h延时消息的使用场景比如电商里，提交了一个订单就可以发送一个延时消息，1h后去检查这个订单的状态，如果还是未付款就取...

原创 RocketMQ消息至少一次(At least Once)投递和消费

至少一次(At least Once)指每个消息必须投递一次。Consumer先Pull消息到本地，消费完成后，才向服务器返回ack，如果没有消费一定不会ack消息，所以RocketMQ可以很好的支持此特性。生产者在同步非顺序投递的时候，每次都是轮询到不同的队列： Message message = new Message("topic_family", (" 同...