萝卜吃鱼914的博客

原创 2020年30岁IT人失业的一些感悟，希望对年轻人有帮助

2020.6.6号失业第6天，过去一周通过朋友的内退和自己网上投简历找工作，今天闲赋在家，突然思绪满腹，特意纸上留痕，权当自我安慰吧！首先介绍下自己的经历吧。本人90年，毕业以后一直在内蒙古呼和浩特通信行业三方公司做运营商IT系统，回首再看，过去的自己从青涩到成熟，转眼三十而立之年，因为今年疫情外加运营商行业盈利瓶颈，从19年开始公司就在缩减开支，2020年刚开年，各个省份大区经理互调，紧接着就开始了各个办事处裁人进程。而我呢，因为内蒙项目并没有推起来，虽然系统已经上线一年，只能背井离乡调离内蒙支撑

原创 【读书】postgres数据库学习书籍列表+博客地址

书籍汇总：1、postgres实战2、postgres内核原理分析博客：https://github.com/digoal/blog/blob/master/README.md

原创 oracle之undo的复杂度

在看oracle核心技术书籍，讲到了oracle undo的复杂度，书中讲的内容只是消化了20%，以下是我自己的问题，可能随着时间的推移我会慢慢明白里面的原理，期待这一天早点到来。问题一：一个数据块从a改成了b，b改成了c这个数据怎么保存，保存两条undo记录还是？问题二：undo表空间的数据是怎么管理清理时间的呢？定时清理的规则是？常见的undo表空间不释放的问题深层原理是？...

原创 oracle之redo原理分析by范军

在整理oracle的redo相关机制的时候，有以下问题没想明白！！问题一：多并发下同时访问日志缓存区，虽然有latch机制，但是这个样子会导致latch争抢，还有没有优化的空间呢？问题二：从oracle核心技术书籍中得知oracle10g以后采用private redo buffer机制提高效率，那么除了这个机制以外是不是还可以增加多个日志缓存区呢？如果是，如何用实验验证以上的猜测？如果不...

原创 oracle修改数据过程中改变向量的深入理解

oracle是如何保证数据修改操作的记录的？以及修改操作完毕以后数据库崩溃又是如何保证数据完整的？通过查找oracle相关资料得知改变向量？那么改变向量是什么？通过哪种方式能看到改变向量记录的信息呢？以上的几个问题想要找到答案，前提条件是理解oracle数据更改流程，然后配合oracle官方文档就可以找到答案了！！！改变向量可以理解为日志，说起来日志第一个反应是oracle中有一个redo ...

原创 记一次公网postgresql数据库服务器被入侵为矿机的定位过程

今天中午群里有一个群友反馈pg服务器cpu使用率高达1700%，处于好奇自己就帮着他一起定位了一下问题，以下记录一下定位问题的过程方便以后做复盘管理！现象截图如下：一、查看cpu情况和服务器平均负载情况得知各个cpu的使用率并不是很高呀，为什么执行top命令看到postgresql进程的cpu使用是1700%呢？没有头绪我们继续往下看二、查看一下服务器的负载情况呢有问题了，你服务...

原创 MysqlDBA运维手册之标准化自动化部署mysql

一、服务器标准化二、数据目录标准化三、日志目录标准化四、参数标准化[client]port=3306socket=/u01/my3306/mysql.sock[mysql]pid_file=/u01/my3306/run/mysqld.pid[mysqld]autocommit=1general_log=offexplicit_defaults_for_timesta...

原创 jdb调试服务器端java代码方法

1、 首先启动应用，如果要进行debug，一般都会在应用上配置对应的调试参数，包括调试的端口。java -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005 -jar ~/spring-guide-spring-boot/target/spring-guide-spring-boot-1.0.0-SNAPSHOT.j...

原创 范军Linux优化学习笔记之怎么理解“CPU上下文”

今天我们再接着学习Linux优化吧，我写过一篇文章是介绍Linux平均负载的，平均负载的算法中包含一个等待CPU的进程，那么大家是不是和我一样好奇等待CPU的进程并不是真正用CPU的进程，为什么还会让平均负载升高呢？百度了一下，原来真凶是CPU上下文切换的原因呀，第一次听说CPU上下文切换，本人我好好地恶补了一下这方面的文章，当然主要是看别人的博文啦！！！什么是CPU上下文切换原理看下面这...

原创 范军Linux优化学习笔记之怎么理解“平均负载”

当我们的系统很慢的时候，通常的做法是登陆到服务器上执行top或者uptime查看服务器的运行情况对吧，比如像下面这个样子03:07:33 up 3:24, 3 users, load average: 0.00, 0.01, 0.05但是我想问的是有多少人知道这个命令显示内容的含义呢？反正我是不太清楚的，我只是知道后面三个数字表示的是1分钟，5分钟，15分钟的平均负载情况。既然像我这...

原创 学习postgresql以来阅读的书籍列表的一个整理

PostgreSQL 是一个自由的对象-关系数据库服务器(数据库管理系统)，它在灵活的 BSD-风格许可证下发行。它提供了相对其他开放源代码数据库系统(如 MySQL 和 Firebird)，和对专有系统比如Oracle、Sybase、IBM 的 DB2 和 Microsoft SQL Server的一种选择。PostgreSQL 与 mysql 的比较，有一个说法是：”postgresql 不...

转载 PostgreSQL 9种索引的原理和应用场景

背景PostgreSQL 拥有众多开放特性，例如1、开放的数据类型接口，使得PG支持超级丰富的数据类型，除了传统数据库支持的类型，还支持GIS，JSON，RANGE，IP，ISBN，图像特征值，化学，DNA等等扩展的类型，用户还可以根据实际业务扩展更多的类型。2、开放的操作符接口，使得PG不仅仅支持常见的类型操作符，还支持扩展的操作符，例如 距离符，逻辑并、交、差符号，图像相似符号，几何计算...

转载 整个linux系统的备份和还原的方法

1.备份a)可以直接通过tar对整个文件系统（’/‘）进行备份，但是有几点需要注意：i. 不能备份以下几个文件（目录）当前压缩文件/proc文件夹/lost+found文件夹/mnt文件夹/sys文件夹/media文件夹b)所以，命令为：tar cvpzf backup.tar.gz --exclude=/proc --exclude=/lost+f...

原创 centos配置阿里云yum源

CentOS-Base.repo[base]name=CentOS-releasever−Base−mirrors.aliyun.comfailovermethod=prioritybaseurl=http://mirrors.aliyun.com/centos/releasever - Base - mirrors.aliyun.comfailovermethod=prioritybas...

转载 docker和k8s技能列表

002 - 容器生态系统003 - 容器生态系统 (续)004 - 运行第一个容器005 -【视频】运行第一个容器006 - 容器 What, Why, How007 - Docker 架构详解008 - Docker 组件如何协作？009 - 最小的镜像010 - base 镜像011 - 镜像的分层结构012 - 构建镜像013 - Dockerfile 构建镜像014...

转载 docker限制容器的内存使用

一个 docker host 上会运行若干容器，每个容器都需要 CPU、内存和 IO 资源。对于 KVM，VMware 等虚拟化技术，用户可以控制分配多少 CPU、内存资源给每个虚拟机。对于容器，Docker 也提供了类似的机制避免某个容器因占用太多资源而影响其他容器乃至整个 host 的性能。内存限额与操作系统类似，容器可使用的内存包括两部分：物理内存和 swap。 Docker 通过下面两...

转载 docker使用公共的镜像仓库

导读docker镜像像yum源一样，有公网和私网镜像源，今天讲的是公网镜像源实验从dockershup下载镜像是无需要验证信息的，上传docker镜像需要验证dockerhub用户信息首先得在 Docker Hub 上注册一个账号。在 Docker Host 上登录。修改镜像的 repository 使之与 Docker Hub 账号匹配。Docker Hub 为了区分不同用户的同...

原创 dockerfile常用指令

Dockerfile 是一个文本文件，记录了镜像构建的所有步骤。下面列出了 Dockerfile 中最常用的指令，完整列表和说明可参看官方文档。FROM指定 base 镜像。MAINTAINER设置镜像的作者，可以是任意字符串。COPY将文件从 build context 复制到镜像。COPY 支持两种形式：COPY src destCOPY [“src”, “dest”]注...

原创 docker镜像内部结构分析

导读一直以来我都是使用docker命令pull镜像，那如果我们要制作自己的镜像文件呢？这就需要我们研究下docker image的内部结构实验我们以 CentOS 为例考察 base 镜像包含哪些内容。下载镜像：docker pull centos疑问：平时我们安装一个centos操作系统，最少了2到3G存储，为什么dockers centos镜像只有不到200M呢？答案：查找相关...

原创 【运维】centos和redhat下同步ntp服务器时间

centos下：1、检查是否安装ntprpm -qa|grep ntp2、若未安装则安装ntpyum install ntp3、启动ntp服务systemctl start ntpd.service4、设置开机启动systemctl enable ntpd.service5、修改配置文件，添加阿里云ntp服务器地址vim /etc/ntp.conf以下四行注释掉server...

原创 【翻译】TDengine用户文档翻译

前言TDengine是最近比较轰动的项目，官方主打的方向是物联网大数据，口号是比hadoop快十倍，因为是国人开源的物联网大数据平台，刚好自己也在找hadoop的替代品，所以打算研究一下TDengine，于是特意翻译了TDengine的githup文档，如果有不妥的地方欢迎指正。文档TDengine是一个存储，查询和分析时序数据高可用的平台，他的工作模式有点像关系型数据库，但强烈建议您在体验...

原创 【试验】亲身验证docker从安装到使用-超级详细版本

************************* docker安装详细步骤****************************************备注：Docker 要求 CentOS 系统的内核版本高于 3.10 ，查看本页面的前提条件来验证你的CentOS 版本是否支持 Docker 。通过 uname -r 命令查看你当前的内核版本使用 root 权限登录 Centos...

原创 【实验】Linux下完全卸载oracle单实例（亲身体验完整版）

停止oracle数据库服务停止监听卸载数据库实例因为自己懒得再弄dbca图形化界面啥的，直接采用dbca静默删除数据库实例，命令如下dbca -silent -deleteDatabase -sourcedb orclhq -sid orcl -sysDBAUserName orcl -sysDBAPassword zte[oracle@slave ~]$ dbca -silent ...

转载 2019Java视频教程-玩转oracle

今天分享一套自己无意中收集oracle入门教程视频，内容不错，可以看一看。教程目录：第01讲.数据库基本概念.oracle介绍.各大主流数据库介绍第02讲.oracle安装.配置.启动第03讲.oracle工具.sqlplus常用命令①第04讲.sqlplus常用命令②.oracle用户管理①.表空间第05讲.oracle用户管理综合案例第06讲.oracle用户管理②.oracle...

原创 【实验】oracle sqlload导入接口txt文件数据

导读：对方的接口是ftp上的txt文件，最终我这边采用sqlload导入到表中对方数据如下：–创建表drop table T_NONPON_NE;create table T_NONPON_NE(NENAME VARCHAR2(255),NEOBJECTID VARCHAR2(255),HOSTNAME VARCHAR2(255),NETYPE VARCHAR2(255),...

转载 【转载】Oracle Dimension （Oracle 维）

在数据仓库环境中，我们通常利用物化视图强大的查询重写功能来提升统计查询的性能，但是物化视图的查询重写功能有时候无法智能地判断查询中一些相关联的条件，以至于影响性能。比如我们有一张销售表sales，用于存储订单的详细信息，包含交易日期、顾客编号和销售量。我们创建一张物化视图，按月存储累计销量信息，假如这时候我们要查询按季度或者按年度统计销量信息，Oracle是否能够智能地转换查询重写呢？我们知道交易...

原创 【oracle11g官方文档阅读】Supporting Documentation上篇

官方文档目录截图附上，如果我的内容有错误的地方还希望大家多多指正，谢谢文章目录Concepts概念Administrator's Guide管理员手册Reference参考SQL Language Reference SQL参考Performance Tuning Guide 性能优化向导Error Messages 错误信息Concepts概念Title and Copyright I...

原创 【备忘录】oracle sql优化学习网站

本博客分享自己在学习sql优化中看过的比较好的博客，实话实说落落的博客广告性质 太强，主要是通过他的sql优化经历学习他的优化方法和优化思维，我这边还是会继续收集一些好的sql优化的博客或者是网站Chinar Aliyev`s bloghttps://chinaraliyev.wordpress.com/page/2/落落博客https://blog.csdn.net/robins...

原创 oracle11g官方文档阅读方法

oracle11g的官方文档大的结构包括以下几部分：DBA Essentials2 Day DBA基础的基础，就我自己的经验啊，晚上各种ocp考试的培训教程流出的视频，我基本都是从第一课一直看到结束，最后的感觉是视频只能算是官方文档的调味小菜，只要还是自己要研究明白官方文档，需要视频的同学可以给我留言，我给你百度链接保证是不加密的2 Day + Real Application Clust...

原创 【Oracle11g官方文档阅读】DBA Essentials-中篇

文章目录6 Managing Database Storage Structures7 Administering User Accounts and Security8 Managing Schema Objects6 Managing Database Storage StructuresThis chapter discusses using Oracle Enterprise Mana...

原创 【Oracle11g官方文档阅读】DBA Essentials-上篇

Oracle Database Online Documentation 11g Release 2 (11.2)DBA EssentialsManage all aspects of your Oracle databases with the Enterprise Manager GUI.文章目录2 Day DBAPreface1 Introduction2 Installing Ora...

原创 Hadoop伪分布式部署

vgcreate vghadoop /dev/sdb2lvcreate -L 9G -n lvhadoop vghadooplvdisplaymkfs.ext4 /dev/vghadoop/lvhadoopmount /dev/vghadoop/lvhadoop /hadoop/dev/mapper/vghadoop-lvhadoop: UUID=“c02a8d5a-14c8-478...

原创 【实验】oracle冷备份操作步骤

oracle冷备份就是在数据库关闭的情况下，备份数据文件和控制文件，故障以后拷贝备份文件到指定目录进行恢复，以下是具体的操作步骤1、查看数据库位置，生成拷贝命令cp /u01/app/oracle/oradata/gxlu 备份目录2、查看oracle临时文件目录cp -rf /u01/app/oracle/oradata/gxlu3、查看redo日志文件/u01/app/ora...

原创 【实验】深入研究oracle用户管理

导读：今天上午开启了本地两台虚拟机的oracle，提示正常启动，但是其中一台虚拟机上的oracle 用sys用户连接的时候提示账号密码不对，于是在sqlplus中重置了sys用户的密码，再次登录还是提示用户名密码不对，但是确实是更新过来了sys用户的密码，这就勾起了的兴趣，打算深入的透彻的学习oracle用户管理方法的知识！问题一：我们日常开发中超级管理员权限都是写在一个配置文件中而且是加密...

转载 【转载】发量大、数据量大的互联网业务数据库设计军规

一、基础规范（1）必须使用InnoDB存储引擎解读：支持事务、行级锁、并发性能更好、CPU及内存缓存页优化使得资源利用率更高（2）新库使用utf8mb4字符集解读：万国码，无需转码，无乱码风险，节省空间（3）数据表、数据字段必须加入中文注释解读：N年后谁tm知道这个r1,r2,r3字段是干嘛的（4）禁止使用存储过程、视图、触发器、Event解读：高并发大数据的互联网业务，架构设计思...

原创 【读书】带你一步步理解group by 后使用 rollup 子句的好处

导言因为自己的系统就是一个简单的oltp系统，没有数据仓库相关的功能，今天在剖析一个存储过程的时候定位一个过程中的sql存在性能问题，各种改写以后还是效率很低，于是找oracle是不是有相关的语法，刚好找到了group by rollup ，下面整理一下用法方便以后自己查看。需求如下：–统计每个部门每个职位的工资总和select d.deptno,d.dname,e.job,sum(e.s...

原创 【实验】oracle剖析存储过程性能

导言：在日常oracle开发中有时候一个存储过程执行的时间很长，想要定位存储过程的性能问题时最笨的办法是打开存储过程一行行的肉眼看哪一行sql，可能存在问题。从oracle 8i开始提供了一个profiler工具用于剖析存储过程的性能问题。但是前提是安装了相应的包。安装方法：1、sys用户执行/u01/app/oracle/product/11.2.0/db_1/rdbms/admin/...

原创 【实验】oracle 10046事件的案例详解

alter session set events ‘10046 trace name context forever,level 12’;alter session set events ‘10046 trace name context off’;–跟踪指定用户的sessionselect a.SID,a.SERIAL#,a.USERNAME from v$session a wher...

原创 【读书】oracle函数调用的疑问

问题：上面红色划线的说法是否有误？加有rownum<5的查询条件，函数不应该只调用15次的吗？为什么说函数调用次数是根据表的记录有关的

原创 【读书】oracle详解变量绑定