5 布偶猫爸爸

尚未进行身份认证

暂无相关描述

等级
博文 41
排名 11w+

从零开始的简单网站建设(域名+服务器+前端网站开发+后端逻辑开发+数据库+流媒体实现)二

2019-6-17实现前端网站流畅显示,由于我做的类似于电商网站,图片非常的多,所以不能直接在html中嵌入图片图片,因为在html中嵌入图片就必须要把图片放在和网页所在的同一个服务器上。这样做的缺陷非常大,当用户访问网站的时候,加载html网页和加载网页图片是访问同一个服务器,这样对这一台服务器的数据传输接口压力和流量压力就会非常大。且一般的浏览器同一个域名下,嵌入二级域名是有数量限制的,如...

2019-06-17 14:55:39

从零开始的简单网站建设(域名+服务器+前端网站开发+后端逻辑开发+数据库+流媒体实现)一

最近挺长一段时间都在自己研究网站,个人想做一个宠物用品商城来锻炼下自己的综合开发能力,也顺带给自己找点副业兼职玩玩。所以花了很长时间去研究如何实现。先总结下记录大概涉及的一些点:1、域名及其域名指向服务器IP操作2、服务器主机基本操作和基础使用工具的搭建(nginx、gunicorn、图片服务器搭建、kafka)3、前端web开发(flask+html+css+js+ajx)4...

2019-06-11 16:31:10

Qlik sense开发入门/可视化BI报表开发入门

最近开发公司的BI可视化报表,接触了Qlik报表工具,使用过程中发现网上入门教程很少,因此写一篇入门开发经历。啥也不说,先上一个已经开发完成的需求中的其中一个展示页面截图:如上图,Qlik这个工具直接实现,Qlik是收费可视化BI中排行前三的工具了,能和微软的BI一拼高下,使用感觉还是不错的,几亿的数据分析,我用过最长半个小时就出结果,个人感觉还可以,听说收费很贵,估计小公司...

2019-05-23 10:36:39

多实例MySQL安装踩过的坑

上周在测试机上编译安装了一个MySQL做升级测试,本来测试机上就有个cluster集群的单实例,为了不冲突,所以选择了编译安装。编译安装的好处就是能自己控制软件安装的目录,指定默认配置文件地址等,便于磁盘管理,卸载也很方便,文件夹一删就完事。MySQL编译安装需要在官网上下载source源码包,5.7的源码包大约几十兆大小,不过在编译过程中产生的缓存文件有好几个G,这里一定要留足空间...

2019-05-13 10:42:22

数据库线程、磁盘IO、链接数、隔离级别的理解

非科班出身的朋友在问我说对线程、磁盘IO、连接数、隔离级别没有一个形象化的理解,这里举个例子谈谈自己的理解数据库线程:在MySQL里面我们称线程,在Oracle里面一般我看叫进程,虽然进程比MySQL的线程功能更大一些,但是用法差不多。数据库的线程,一个会话就是一个线程,举个例子,我在navicat链接了MySQL或者PLSQL里面链接Oracle开了一个SQL窗口,那么这就算做一个...

2019-05-07 10:37:48

MySQL dump进行5.6迁移升级到5.7踩过的坑

测试库机器主板出现问题总是重启,于是安排了Oracle和MySQL都迁移到新的机器上,Oracle迁移用Rman导出导入就行了,注意要导出archivelog和controlfile,没啥难度。MySQL老的测试机上用的是5.6版本NDB引擎,新的测试机上搭建的5.7的单节点数据,遇到一些坑,记录下避免以后再犯傻。由于老的机器用的5.6是NDB,新的是单节点的innodb,所以在迁移...

2019-05-06 14:56:55

Oracle系统基础原理和逻辑随笔

Oracle系统基础开篇一句话,数据库都是对日志的关心远超于对磁盘数据的关心,缓存日志纪录的是数据时时的变化情况,对于已经落盘的数据,重要性远没有还在日志中变化的数据来的重要,即便是数据库down了,落盘的数据都能追回,而缓存的数据可能会丢失导致数据无法保证一致性,所以开发数据库要重点关心动态的日志文件。掌握的术语:alterlog警告日志、archivedredolog...

2019-04-28 13:52:11

RMAN Oracle数据库备份

Oracle的数据备份模式分为两种:逻辑备份物理备份逻辑备份呢就是使用dxpdp等自带小工具进行数据导出备份物理备份有两种方式,一是直接拷贝数据,二是用RMAN。所以,按照我理解来看,RMAN是属于物理备份类的。物理备份有点嘛,当然是完整了高效了,缺点嘛也很明显,为了保证事物的一致性物理备份基本上都要求停机操作。线上不可能说没事停个机来进行备份,所以在9g以后的...

2019-04-24 17:23:36

MySQL cluster集群/NDB集群学习

公司主业务用的MySQL集群是官方自带的MySQLCluster,MySQL自带的集群模式,这个集群的模式和MGR、PXC、主从有点不一样。一、存储引擎不是innodb,MySQLCluster用的是NDB引擎二、数据存储方式不同,MySQL的其他集群方式数据是存在磁盘上的,中间数据的缓存用relylog纪录,之后持久化的写入要硬盘而MySQLCluster集群的数据是保存在...

2019-04-24 10:15:10

PL/SQL Oracle中object栏目下文件夹的功能介绍

1,recentobjects你最近访问或是使用过的对象。就是一个记录,相当于的最近访问的内容列表。2,recyclebin(1)、回收站启动和关闭回收站默认是开启的.不过我们可以通过参数recyclebin来关闭和开启.如果只是针对每个session可以通过altersessionsetrecyclebin=off;和altersessionsetrecycle...

2019-04-22 10:49:07

Oracle常用符号、条件纪录

Oracle种有很多标点符号表示一些功能,这些符号用起来很方便,节约了很多SQL的跳转逻辑,这里持续的纪录一些遇到的常用符号,对写SQL语句有一定帮助。常用比较:>、<、>=、<=、<>/!=、这些大于小于,建议能不用就不用,不走索引的,要使用也要放在索引条件之后常用包含:in、notin、exitsnot、exits常用包含...

2019-04-22 10:16:12

Oracle高速导入CSV数据

说着是导入CSV,其实格式不定,文本也可以,只是导入数据几十个G的时候大多数都是用CSV来存的,所以就把名字写成了导入CSV。这里说的是导入数据,之前我也写过导入库、表、schema等方式,对于外来的纯数据,没有怎么纪录过,所以这篇文章主要是针对数据的导入。方式用Oracle自带的SQLloader。命令式sqlldr,这个工具是安装完Oracle就有的,不需要额外下载。效率有多快...

2019-04-19 10:21:11

MySQL压力测试/sysbench使用

今天进行了MySQLpxc集群的压测,一般在做项目的时候DBA需要根据业务自定义数据库使用类型,所以在决定阶段,DBA就要根据对业务的预估进行数据库集群的筛选,同时也要对数据库进行压测。压测的目的是为了测试该机器在哪些条件下数据库压力较大,数据库在该机器的瓶颈大概在哪里。而不是说,我要对比那个数据库性能更好,所谓的性能都是在已经定义好物理机的情况下去找更合适的。所以新的物理机理论上在选择和安...

2019-04-17 17:46:29

Oracle数据导入/导出/整库迁移

之前有朋友问我Oracle有没有像MySQL那样的告诉导入导出功能。当然是有了,这里就简单介绍下该功能的使用。Oracle上进行导入导出的命令是:expdp,可以查找关键字:expdp、datadump、exp等,具体功能原理就不多讲了,网上太多了。这里介绍下快速上手使用和基本功能特点。基本功能:1、高速导入导出文件什么叫高速导入导出,我来给你举个粒子,就在我还在敲这...

2019-04-04 17:25:46

Oracle存储过程4 -- 存过的类比理解

DBA时间做长了,难免会涉及到一些其他的小功能开发,写写python啊、Java啊之类,回过头来,再看下数据库开发,突然觉得存过理解清晰了许多。我是这样类比的,对于业务需求,假设我们使用python开发一个需求,那么在包的下层,肯定是写的业务方法,根据python的方法传参写法:defA(x,y):return总结下来,实现一个方法的开发,格式是声明一个函...

2019-04-04 09:21:30

日志分析系统/监控系统后端实现

公司领导想要看到系统按省份、成功率、业务来分类的时时访问监控图像,虽然说是个没啥用的项目,既然老板发话了,还是去做吧,前端显示页面不是自己开发,前端只需要来数据库抽取我时时计算出的结果展示出来就行了,心里一万只草泥马,那就意味着后端所有斗得自己做了。想了下咋实现呢,监控访问量嘛,最简单通用的方法无非就是读取端口日志,查了下日志,刚好包含了有我所需的字段,所以问题就从0头绪变成了-----日志分...

2019-03-14 17:04:00

centos7.4搭建MySQL-MHA集群

本次测验实现的是centos7.4+MySQL8.0-mha,为啥是8.0,其实和5.7搭建没啥区别,之前用5.7也实现了,后来DBA老大哥说,用8.0来试试吧,8.0有聚合函数,所以我又重新搭成了8.0版本的mha,本身配置并无区别;由于个人测试机有限,本次实现是在docker容器里搭建的,虽说是容器,但从centos7.4基础镜像开始搭建服务,并指定独立IP和端口,实现配置和物理机并无差异...

2019-02-20 13:32:59

centos7搭建aria2+yaaw

aira2下载神器就不多说了,以前都是搭建好后在服务器上操作,比较麻烦,这次我给他搭建了一个yaaw的web页面,实现浏览器操作,方便许多。 主要操作几个点:1、aria2服务安装与配置2、yaaw的web服务安装与配置3、实现浏览器远程连接的nginx服务安装于配置4、浏览器连接的安全访问--通过apache或者nginx设置账户密码登陆连接web服务aria2安装...

2019-02-13 10:45:03

docker容器间实现SSH互通

公司业务上要求增加数据库,当前生产环境用的是MySQL-cluster集群,非常吃内存且它的高并发性能在新的需求上用不到,要求新搭建一套新的MySQL集群,在此之前要求做一份MySQL各个集群性能测试报告,由于我只有一台测试机,所以要实现多个集群的测试,我准备通过docker实现。PXC的dockers集群搭建之前已经纪录过,目前准备搭建MHA,实现MHA的前提是首先要实现节点之间的ssh互通,废...

2019-02-11 17:44:16

docker运行datax实现数据同步方案 -- datax/Oracle-Oracle/MySQL篇

之前已经构建好了datax镜像,只差最后一步,datax运行 datax的使用很简单:pythondatax.py配置文件.json以上命令就可以直接使用datax了,本次就来分解以上命令 首先python打头执行命令,datax.py是datax自带的,该可执行文件再datax的bin目录下,最后加上执行的配置文件配置文件大体结构是:读数据库+各种读取信息...

2019-01-03 11:12:29
奖章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周上午根据用户上周的博文发布情况由系统自动颁发。