星月情缘的博客

转载 MySQL 性能优化 详细总结

MySQL调优对于很多程序员而言，都是一个非常棘手的问题，多数情况都是因为对数据库出现问题的情况和处理思路不清晰。在进行MySQL的优化之前必须要了解的就是MySQL的查询过程，很多的查询优化工作实际上就是遵循一些原则让MySQL的优化器能够按照预想的合理方式运行而已。今天给大家讲解MySQL的优化实战，助你高薪之路顺畅！二、优化的哲学注意：优化有...

转载 MySQL面试题目整理--必问总结

一、为什么用自增列作为主键？1、如果我们定义了主键(PRIMARY KEY)，那么InnoDB会选择主键作为聚集索引。如果没有显式定义主键，则InnoDB会选择第一个不包含有NULL值的唯一索引作为主键索引。如果也没有这样的唯一索引，则InnoDB会选择内置6字节长的ROWID作为隐含的聚集索引(ROWID随着行记录的写入而主键递增，这个ROWID不像ORACLE的ROWID那样可引用...

转载 一位优秀管理者每天、每周、每月的工作安排，你做到了几点

每天必须做的1. 总结自己每一天的任务完成情况。2. 考虑明天应该做的主要工作。3. 了解至少一个部门销售拓展情况或进行相应指导。4. 考虑一个公司的不足之处，并想出准备改善的方法与步骤。5. 了解至少一个部门销售拓展情况或进行相应指导。6. 每天必须看报表。7. 考虑自己一天工作失误的地方。8. 自己一天工作完成的质量与效率是否还能提高。9. 应该批复的...

原创 linux 经典的shell 脚本 --总结

运维中 shell 是最基础也是最实用的工具了，使用的好可以帮助我们解决很多问题。以下是一些总结的shell编程题目。1. 打印1到50之间的随机数，中心周围的正态分布。中间的数字最有可能发生，你越远，它们越少越不常见。 您可以使用以下命令对此进行测试并观察数字分布： for i in `seq 100000`; do echo $[(${RA...

转载 30岁以后：越无能的人，越爱在这几件事上浪费时间-- 职场

五一节了，一年中可以说已经过了一半。时间真的好快，快的不眨眼就明天了。加上有工作任务需要思考，旅游景点人也比较多，就没准备出去，在家里安排好自己的生活，不失也是一种知足。前几天公司搞了个跳蚤市场，把一些闲置又占地方的好物，以低于成本价的价格内部出售，一开市，小同事们纷纷放下手上的工作，一哄而上，希望可以淘到符合心意的宝贝。只有坐我对面行政姐姐淡定如常，我问：姐，不去看...

原创 linux下查看jps 进程出现1518 -- process information unavailable

之前在centos 7上安装过cdh 群集，今天登陆上去查看jps进程发现出现了这样的提示，之前遇到过这个问题，没有及时记录下来解决的步骤。今天再次做个总结归纳。 前面的 1518 是进程ID 分析出现的原因如下： 是因为普通用户启动了对应的程序后，root 用户执行了kill 命令，导致进程出现了这种状态。也就是不同账号之间kill进程时，可能会...

转载 十大经典排序算法(Java版本)

排序算法(Python版本):最常见的排序算法（Python版）,很多读者反馈，需要一份Java版本的，所以才有这篇文章 。排序算法可以分为内部排序和外部排序，内部排序是数据记录在内存中进行排序，而外部排序是因排序的数据很大，一次不能容纳全部的排序记录，在排序过程中需要访问外存。常见的内部排序算法有：插入排序、希尔排序、选择排序、冒泡排序、归并排序、快速排序、堆排序、基数排序等。用一张图...

原创 20道linux 运维面试题目-涉及常用的多数技术

                       运维这个岗位在当下还是很重要，也很受欢迎的。给大家分享一些干货，面试题目，祝大家找到好工作。1.  简述Linux 文件系统通过i 节点把文件的逻辑结构和物理结构转换的工作过程。参考答案：Linux 通过i 节点表将文件的逻辑结构和物理结构进行转换。i 节点是一个64 字节长的表，表中包含了文件的相关信息，其中有文件的大小、文件所有者、...

原创 crontab定时任务自动不能执行，手动可以执行的解决办法-亲测解决

        最近在做ETL任务调度时，使用系统自带的任务调度crontab 发现手动运行脚本可以执行完成，但是自动定时就不能实现，检查shell脚本也没有错误。奇怪哪里导致的问题呢？        后来在网上查询和不断测试，得知和系统的环境变量有关系的。发现脚本中需要添加必要的环境变量才可以使脚本自动执行。     这种情况一般是由于在crontab文件中没有配置环境变量引起的。cro...

原创 kettle 7.1 打开后没有出现资源库的连接按钮解决办法-自己亲测解决

       大家做ETL数据分析处理的话，应该对kettle都不陌生吧，它是一款高效的etl处理工具，kettle 可以创建转换和作业两种任务，转换以.ktr 结尾，作业以.kjb 结尾。 为了管理方便，我们可以把它作为本地文件保存或保存到资源库，其中资源库又分为文件资源库和数据库资源库，其中数据库使用的最多啦。           在linux 环境下做的测试，发现打开kettle后不能找...

原创 Hive 的使用操作方法-表创建，删除，分区的增删，修改表结构，重命名，行列互转和sql查询

Hive 的使用操作方法-表创建，删除，分区的增删，修改表结构，重命名，行列互转和sql查询          做大数据或数据分析的人员应该都非常熟悉Hive吧，它是一款强大的数据分析工具，就是类sql查询语句，可以把复杂的MapReduce任务转换为sql查询，方便了数据分析人员快速定位分析结果。hive是Apache软件基金会的开源的数据分析工具，功能强大，包括直接分析出结果，做ETL中的...

原创 ELK日志收集系统学习错误总结-Error: Expected one of #, input, filter, output at line 10, column 1 (byte 71) after

今天自己搭建了elk 的系统准备学习一下看看，因为它是现在主流的实时数据分析系统。具体的安装过程就再次不做描述了，和多数的linux 安装文件一样的，没多大区别的。安装后测试了一下。居然报错。启动命令:  //bin/logstash   -e  'input {stdin {}} output {stdout {codec =>rubydebug}}'  启动这条命令后...

原创 hadoop shell 常用的命令解释含义

FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中...

原创 hadoop 集群搭建异常, UnknownHostException Name or service not known

       最近在搭建hadoop 集群的过程中， 格式化namenode 时出现了一个错误就是: Re-format filesystem in Storage Directory /home/hadoop/hadoop/tmp/dfs/name ? (Y or N) Y18/05/28 03:56:36 WARN net.DNS: Unable to determine local host...

原创 linux 下添加新磁盘，挂载并分区的操作步骤，详细

                           Linux 系统下添加新磁盘挂载并分区的操作步骤我们经常会遇到磁盘空间不足的情况，常见的处理方案就是。 1. 进行磁盘垃圾清理，无用的历史数据进行清除，腾出空闲的磁盘空间，2.就是添加新磁盘，把不常用的数据移动到新的磁盘中。下面详细说明该如何操作。文章以虚拟机操作为例。实际物理机也是一样的步骤。1. 首先添加一个新的磁盘，大小空间任意指定。添加...

原创 linux shell脚本中需要转义的特殊字符

                                    shell 脚本中的特殊含义(和去除转义)        在linux 的shell编程中，我们会经常用到各种各样的符号，比如 #.!. (), {} / 等等。这些字符在linux 系统中有着特殊的意义，如果我们在使用过程中不去对它做转义，那么结果可能不是我们想要的。        最近在项目中，编写 脚本时发现，! 如果不...

原创 java二分法学习笔记

算法很强大。好的算法可以实现很多功能的自动化，优化代码。现在流行的大数据算法，机器学习算法等都是非常看好的体现。下面简单介绍一下java的2分查找算法实现过程假如有一组数为3，12，24，36，55，68，75，88要查给定的值24.可设三个变量front，mid，end分别指向数据的上界，中间和下界，mid=（front+end）/2.　　1.开始令front=0

原创 spark大数据架构初学入门基础详解

Spark是什么 a) 是一种通用的大数据计算框架b) Spark Core 离线计算        Spark SQL 交互式查询 Spark Streaming 实时流式计算 Spark MLlib 机器学习 Spark GraphX 图计算c) 特点：i. 一站式：一个技术堆栈解决大数据领域的计算问题ii. 基于内存d) Spark2009年诞生于

原创 linux系统下搭建NTP服务器

NTP服务器时用于局域网时间同步的。可以保证局域网所有的服务器与时间服务器保持同步。某些应用对时间的实时性要求比较高。要求必须统一时间，所以时间服务器的配置很重要。互联网的时间服务器有很多。例如免费的有复旦大学的NTP服务器: ntpdate  ntp.fudan.edu.cn.  南京大学时间服务器: ntp.nju.edu.cn等等。NTP的服务监听端口是UDP的123端口。那就需要在

原创 vim编辑器快捷键命令总结

zeppelin查询引擎vi 命令下面列出常用的 vi 命令。文件编辑的命令可以通过添加叹号的命令强制执行（如，:q! 命令强制退出编辑器而不保存文件）。h 或 ← 光标左移一个字符j 或 ↓光标下移一行k 或 ↑ 光标上移一行l (小写字母 L) 或 → 光标右移一个字符H 光标移至屏幕顶行L光标移至屏幕末行G光标移至文件末行w 光标右移一个词b 光标左移一个词0 (数字零) 光标移至行首^ 光标移至当前行第一个非空格字符$ 光标移至当前行行尾Ctrl-B 向...

原创 linux系统时间同步服务配置

1.进入客户端机器Linux系统，我们介绍两种进入Linux系统的方法，并使用shell进行配置：1) 在本机登录提示符下进入Linux系统。采用root用户登陆，输入用户口令。每个Linux系统都有一个根（root）用户，root用户能够运行程序、使用文件、以任何方式改变计算机的设置；2) 使用telnet登陆Linux。使用telnet登陆的时候，不可以直接使用root用户注册，您需要输入系统设定的另一个用户的用户名和口令，进入后，再使用su命令，更改用户名为root用户，然后输入root用户的口令

原创 Linux哪些数据需要备份

在 Linux 系统中也有类似 ghost 的工具（dd 命令就可以实现整盘备份），不过这种备份花费的时间比较长，占用的硬盘空间较大，不太适合经常进行。事实上，全盘备份 Linux 系统并不是一个好的策略，我们仅需要备份系统中的所有重要文件数据即可，不但备份过程迅速，恢复也快。那么，哪些数据是 Linux 服务器中较为重要的、需要定时备份的数据呢？我个人认为，需要备份的文件大致可分为 2 类，分别是系统级配置文件和用户级配置文件。系统级配置文件系统配置文件主要指的是系统全局的一些配置信息，比如.

翻译 工作再忙也别偷这四种懒

职场中，总有人忙到飞起，但实际效果却不尽人意；但也有人，似乎从不加班，却总能抓住每一关键节点，实现职场迁跃。同是职场中人，为何差距这么明显？真相简单又扎心：因为在职场，从不看苦劳，只看功劳。职业成长分阶段，成长之路也存在关键节点，过后很难再弥补。因此，无论再忙，也千万别在工作中偷这4种懒。1、懒于做职业发展规划前段时间，我的一位朋友从外企辞职，跨行跳槽到当地一家教育培训公司。在此之前，她已在外企积累了5年的工作经验，可以独立带领团队开展项目。但最终...

原创 Linux 服务器部署ssl 证书

详细操作过程先安装zlib，见linux下安装zlib安装openssl Building a Web Server, for Linux下载地址Package(Linux source) : openssl-0.9.8c.tar.gz解压文件tar -zxvf openssl-0.9.8c.tar.gzOur ConfigurationInstall to : 默认安装路径 /usr/local/sslModule type : dynamically and sta.

原创 centos6系统下载--国内镜像站点

大家知道,centos6版本的系统在实际生产环境周已经用的很少了,官方也在去年已经停止维护了,很多镜像站也停止了维护.所以很难下载到了, 国内多数镜像站点都不提供下载了, 唯一还比较良心的就是搜狐开源站点.还提供,不过是centos 6.10版本, 下载速度相对国外官网下载要快不少. 再次奉上链接地址. 其他低版本的系统只能从网上网友公开分享出来的网盘里的下载吧.搜狐开源镜像站http://mirrors.sohu.com/centos/6/isos/x86...

原创 如何查看Linux系统是物理机还是虚拟机的方法

很多情况下, 我们不清楚当前的Linux系统到底是物理机还是虚拟机. 这两种不同的机器性能上还是差别很大的.虽然现在流行云服务器的时代了, 不过还是物理机要好用很多. 资源能完全利用起来, 云机器就是扩容很方便容易. 根据需求付费扩容即可. 下面来介绍一下如何判定是什么类型的机器.dmidecode -s system-product-name 也有的系统不支持这个命令, 还可以使用其他的命令也可以看出是什么平台类型lshw -class syst...

原创 17个在 Linux 运维中定要掌握的实用技巧

1、查找当前目录下所有以.tar结尾的文件然后移动到指定目录：find.-name“*.tar”-execmv{}./backup/;注解：find –name 主要用于查找某个文件名字，-exec 、xargs可以用来承接前面的结果，然后将要执行的动作，一般跟find在一起用的很多，find使用我们可以延伸-mtime查找修改时间、-type是指定对象类型（常见包括f代表文件、d代表目录），-size 指定大小，例如经常用到的：查找当前目录30天以前大于100M的LOG文件...

原创 linux 在vmware虚拟机中安装的完整过程--详细

一般玩Linux 我们不具备硬件条件， 在虚拟机中安装是很合适的。 可以虚拟出很多的机器， 只用一台电脑即可。下面演示具体的linux 在虚拟机中安装。安装虚拟机就不做演示了， 一路下一步即可直到安装完成。 安装完成需要激活， vmware 是付费软件。建议大家多多支持正版。 安装过程 （centos 6.5）　　1、载入镜像，选择第一个进行CentOS安装；挂载iso 文件到虚拟机上。 开启电源，出现这个界面， 选择第一项。　　2、载入完毕，弹出提示选择“sk...

原创 tongweb中间件的安装使用

软件 开发中用到的中间件最常见的就是tomcat 比较多，当然也有nginx等，最近公司用的是tongweb , 从没听过啊，中文名是东方通，是中间件的国产版本。使用了几天感觉不太友好。启动慢，比tomcat难使用，反正是体验不太好，但是集成了很多功能，比如ejb, jpa,jdbc，应用容器等，好像是很强大。 我们有个平台就是部署在tongweb中的，但是搞了好几天一直没搞好，对应用部署页没什么经验，比较难操作。慢慢研究学习吧要使用的...

转载 SQL 语法速成手册

本文针对关系型数据库的一般语法。限于篇幅，本文侧重说明用法，不会展开讲解特性、原理。篇幅较长，但内容基本涵盖了SQL语法的大部分内容。一、基本概念数据库术语 数据库（database）- 保存有组织的数据的容器（通常是一个文件或一组文件）。 数据表（table）- 某种特定类型数据的结构化清单。 模式（schema）- 关于数据库和表的布局及特性的信息。模式定义了数据在表中如何存储，包含存储什么样的数据，数据如何分解，各部分信息如何命名等信息。数据库和表都有模式。 ...

转载 SQL优化干货总结

前言BATJTMD等大厂的面试难度越来越高，但无论从大厂还是到小公司，一直未变的一个重点就是对SQL优化经验的考察。一提到数据库，先“说一说你对SQL优化的见解吧？”。目录前言SELECT语句 - 语法顺序：SELECT语句 - 执行顺序：SQL优化策略一、避免不走索引的场景二、SELECT语句其他优化三、增删改 DML 语句优化四、查询条件优化五、建表优化有朋友疑问到，SQL优化真的有这么重要么？如下图所示，SQL优化在提升系统...

原创 centos7升级ssh 到高版本操作

Linux系统 常用远程登录来管理运维机器。远程登录中最重要的服务就是ssh服务，一般低版本的ssh可能会存在漏洞，导致非法黑客入侵提权，增加系统的不安全。因此要确保ssh版本是修复漏洞后的稳定版本。1. 首先查看系统的ssh版本信息命令：ssh -VOpenSSH_8.0p1, OpenSSL 1.1.1c FIPS 28 May 2019这个版本不算太老，不过也建议升级到新版本的。2.可以先在测试环境进行，以防生产环境出现问题升级失败导致无法连接到主机就...

转载 SQL优化总结

前言SELECT语句 - 语法顺序：SELECT语句 - 执行顺序：SQL优化策略一、避免不走索引的场景二、SELECT语句其他优化三、增删改 DML 语句优化四、查询条件优化五、建表优化有朋友疑问到，SQL优化真的有这么重要么？如下图所示，SQL优化在提升系统性能中是：（成本最低 && 优化效果最明显） 的途径。如果你的团队在SQL优化这方面搞得很优秀，对你们整个大型系统可用性方面无疑是一个质的跨越，真的能让你们老板省下不止几沓子钱。 优化成本

原创 awk常用的内置变量

原创 Google Chrome浏览器导入导出书签

Chrome浏览器是开发人员最常用的. 我们也习惯把自己遇到的一些好的内容进行收藏整理. 方便下次使用时快速找到. 不至于浪费很多的时间, 写博客也是可以更好的记录总结我们工作学习中遇到的错误和自己的学习总结, 建议大家养成写博客的习惯, 每一篇都认真记录总结, 让看的人能看懂, 解决掉他们遇到的困惑. 也方便日后自己回顾问题.1. 谷歌浏览器收藏书签和其他多数浏览器一样的, 操作很简单. 按快捷键Ctrl+D 即可.文件夹可以自...

原创 Mysql 官方案例数据库Sakila db下载

摘要： MySQL数据库在互联网行业应用的非常广泛。平时我们在学习时如果在为没有测试数据发愁，MySQL也为广大用户提供了案例数据库，下载地址在官网就有的。MySQL 数据库Sakila 下载地址：https://downloads.mysql.com/docs/sakila-db.zip 希望帮助到有需要的朋友。...

原创 各种数据库的数据类型和使用范围详解介绍

大家都知道数据库中存储的数据有很多中不同的类型。 下面介绍一下几种不同的数据库之间的数据类型。在 MySQL 中，有三种主要的类型：文本、数字和日期/时间类型。Text 类型： 数据类型 描述 CHAR(size) 保存固定长度的字符串（可包含字母、数字以及特殊字符）。在括号中指定字符串的长度。最多 255 个字符。 VARCHAR(size) 保存可变长度的字符串（可包含字母、数字以及特殊字符）。在括号中指定字符串的最大长...

转载 Linux 服务器上快速配置阿里巴巴 OPSX NTP服务

centos 6系统是ntp.conf 文件编辑文件 "/etc/ntp.conf"，根据情况修改文件内容为：互联网上的服务器:driftfile /var/lib/ntp/driftpidfile /var/run/ntpd.pidlogfile /var/log/ntp.logrestrict default kod nomodify notrap nopeer noqueryrestrict -6 default kod nomodify notrap nope...

原创 使用shell 脚本备份数据

做运维的人一般都会用到shell 脚本， 而且是必须会的。 shell 是Linux 系统自带的工具， 可用大大的提高效率。 减少人肉运维。下面就简单介绍一篇 备份数据的例子。#!/bin/bash#auto_backup.shdb_user="dbuser"db_password="123456"db_host="192.168.100.109"ftp_user="ftpuser"ftp_password="111111"ftp_host="192.168.100.103"..

转载 数据库管理员DBA 应该知道的命令， 大有帮助

1 运行SQLPLUS工具sqlplus2 以OS的默认身份连接/ as sysdba3 显示当前用户名show user4 直接进入SQLPLUS命令提示符sqlplus /nolog5 在命令提示符以OS身份连接connect / as sysdba6 以SYSTEM的身份连接connect system/xxxxxxx@服务名7 显示当然用户有哪些表select * from tab;8 显示有用户名和帐户的状态select username,account_status