迷途小码-CSDN博客

原创 MegaCli修复Unconfigured(good), Spun Up外来磁盘

1.检查/opt/MegaRAID/MegaCli/MegaCli64 -PDList -aALL -NoLog|grep "Firmware state"Firmware state: Online, Spun UpFirmware state: Online, Spun UpFirmware state: Online, Spun UpFirmware state: Online, Spun UpFirmware state: Online, Spun UpFirmware state

2022-01-11 11:28:13 3232

原创 shell编程之sed

一、sed (Stream Editor)1、定位行：sed -n '12,~3p' pass #从第12行开始，直到下一个3的倍数行（12-15行）sed -n '12,+4p' pass #从第12行开始，连续4行（12-16行）sed -n '12~3p' pass #从第12行开始，间隔3行输出一次（12，15，18，21...）sed -n '10,$p' pass #从第10行至结尾sed -n '4!p' pass #除去第4行2、正则：’/正则式/’sed -n '

2021-04-27 18:35:29 352

原创 Excel - 判断一个单元格是否属于一个集合

Excel - 判断一个单元格是否属于一个集合需求需要针对excel中的记录行，通过某列去匹配一个集合，找出符合条件的记录行。解决MATCH用法[示例下载地址]1使用如下公式#判断M列是否属于sheet SF2中B2～B42中#如果未匹配，填不包含#如果匹配，填匹配到的元素在集合中的序号=IFERROR(MATCH(M4,'SF2'!$B$2:'SF2'!$B$42,0...

2021-04-27 17:47:56 7985

原创 AWS SAA C01考试高分通过指南

由于工作需要，要考aws saa认证。经过一个多月的准备，前天终于如愿通过aws saa c01，花了200大洋买了一份题库，并在网上查了aws相关概念，感觉题库题量还可以，但是给出的答案不准确，经过自己的一番资料查找，把题库中认为错误的答案逐一修正了，然后前天考完通过，昨天查分数940分（满分1000），还是很开心的，经过微软、谷歌、亚马逊等一系列考试之后，发现一份高质量的题库对通过的帮助是很大...

2020-04-23 21:22:18 4474 5

原创解决克隆虚拟机后网卡设备无法识别启动问题的方法

一、故障问题从vmware workstation中克隆(clone)了一个CentOS 6的虚拟机，启动之后发现网卡没有启动。于是重启一下network服务，发现提示错误信息“Device eth0 does not seem to be present, delaying initialization.”二、解决方法1）、删除/etc/udev/rules.d/70

2020-04-01 09:41:30 501

原创 ios获取屏幕分辨率

1、得到当前屏幕的尺寸：CGRectrect_screen = [[UIScreenmainScreen]bounds]; CGSizesize_screen = rect_screen.size;2、获得scale：CGFloat scale_screen = [UIScreen mainScreen].scale;

2020-04-01 09:40:42 1431

原创 linux umount 时出现device is busy 的处理方法--fuser

* 查询:fuser -m /media/share* 显示: /media/share: 25023c就代表是 process 25023(pid) 有使用到此目录

2020-04-01 09:38:42 335

原创 Excel - sum函数示例

统计各表相同位置的和=sum('第一个工作表名:最后一个工作表名'!A1)=sum('*'!a1) 这个公式也就是你想要的所有表的a1相加

2020-04-01 09:36:45 500

原创关于length specifier

size_t定义了一个unsigned integer，但是具体所占用字节数依赖系统位数，如何才能可移植地打印size_t？答案是：%zu格式化字符串。示例：size_t val = get_the_value();printf("%zu",val);z是长度指定符（length specifier），表示参数长度是size_t的长度。英文说明：z --- A ...

2020-04-01 09:34:13 295

原创 mysql timestamp使用示例

select unix_timestamp() select unix_timestamp('1970-01-01 22:10:10') select from_unixtime()

2020-03-25 11:44:48 585

转载大数据端口一览

组件节点默认端口配置用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口，用于数据传输 HDFS ...

2020-03-25 11:15:14 421

原创 shell value too great for base

示例：tar_file_month=`date +%m`rsync -auzq --exclude="2012_0[1-9]" --exclude="2012_1[0-2]" --exclude="2013_0[1-"$(($tar_file_month-1))"]"当月是8月，tar_file_month变成了08，下面执行 $(($tar_file_month-1))的时候，变成...

2020-03-25 10:42:41 261

原创 ping - connect: No buffer space available

修复这个问题需要增加ARP表空间。查看系统参数命令：sysctl -p永久修复方法:修改/etc/sysctl.conf增加如下行:net.ipv4.neigh.default.gc_thresh3 = 4096net.ipv4.neigh.default.gc_thresh2 = 2048net.ipv4.neigh.default.gc_thresh1 = 1...

2020-03-25 10:37:25 1649

原创 kipmi0 cpu 100%

解决办法：echo 100 > /sys/module/ipmi_si/parameters/kipmid_max_busy_us

2020-03-25 10:33:18 325

原创 java.lang.ClassCastException: org.apache.hadoop.conf.Configuration cannot be cast to org.apache.hado

Exception in thread "main" java.lang.ClassCastException: org.apache.hadoop.conf.Configuration cannot be cast to org.apache.hadoop.yarn.conf.YarnConfiguration at org.apache.spark.deploy.yarn.Applicat...

2020-03-24 09:38:42 1910

翻译 Java代码中创建子进程并添加JVM参数

class JavaProcess { private JavaProcess() { } public static int exec(Class clazz, List<String> jvmArgs, List<String> args) throws IOException, InterruptedException { Str...

2020-03-17 16:33:08 701

翻译 Clear Dead Region Servers in HBase UI

HBase有时候仍然会把退役的regionserver作为dead regionserver展示在UI上。因为这台regionserver的WAL (Write-Ahead Log)在HDFS上还存在splitting状态的日志，因此从HBase的角度，这台机器并未退役。解决方法：1.找到这台dead regionserver在HDFS上的WALs splitting文件并删除（通常目录...

2020-02-25 10:15:13 1393

转载 CentOS 升级 gcc 和 g++ 的方法

CentOS 系统自带的 gcc 或者 g++ 的版本是：g++ (GCC) 4.4.6. GCC 版本太旧，导致了很多使用上的不便，如：无法使用g++ -std=c++11 命令来编译 C++11、无法使用Vim的很多插件（YouCompleteMe等）。因此，有必要对它进行升级。对 GCC 升级无法直接使用：yum update gcc以下是升级的详细过程。1.使用 redha...

2020-02-13 14:21:14 671

原创 Yum更新（http://mirrors.163.com/.help/centos.html）

1.mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup2.下载repo文件3.更新缓存yum clean allyum makecache

2020-02-13 14:20:05 698

原创 Linker error: undefined reference to symbol 'pthread_rwlock_trywrlock@@GLIBC_2.2.5'

编译时使用 -pthread 而不是 libpthread。

2020-02-13 14:19:04 2507

原创 shmget: Invalid argument error

EINVAL A new segment was to be created and size < SHMMIN or size > SHMMAX, or no new segment was to be created, a segment with given key existed, but size is greater than the size of that segmen...

2020-02-13 14:09:11 364

原创关于GZIPInputStream的bug

http://cin-ie.iteye.com/blog/859822关于GZIPInputStream的bug，在jdk的最新版本上竟然还没解决这个问题。用到gzip的需要注意了：http://bugs.sun.com/bugdatabase/view_bug.do?bug_id=4691425问题描述：在使用GZIPInputStream对gizp文件进行读取...

2020-02-13 14:05:47 849

原创 OutOfMemoryError unable to create new native thread

需调整以下参数Java虚拟机本身：-Xms，-Xmx，-Xss；系统限制：/proc/sys/kernel/pid_max，/proc/sys/kernel/thread-max，max_user_process（ulimit -u），/proc/sys/vm/max_map_count...

2020-02-13 13:58:43 189

转载 Java 服务 CPU 100%的排查过程

（1）通过top命令，知道CPU最高的进程top（2）具体查看java中哪个线程一直在占用cpu时间(这里我的java进程号是: 8752)#java进程ID进行CPU占用排查（sort -rn 以数值的方式进行逆序排列）ps -mp 8752 -o THREAD,tid,time | sort -rn | more （3）根据2中查找到的CPU最高的排序中的结果，找出几个占...

2020-01-10 18:04:02 253

转载最后一个 block 没有足够的副本数，文件关闭失败

堆栈信息：java.io.IOException: Unable to close file because the last block does not have enough number of replicas. at org.apache.hadoop.hdfs.DFSOutputStream.completeFile(DFSOutputStream.java:2528...

2019-11-18 10:06:14 3758 9

转载 Scala:根据key分组取top n

package com.dk.spark.algo.topnimport com.dk.spark.context.SparkContextManagerimport org.apache.spark.rdd.RDD/** * Created by Divakant Pandey on 5/29/17. */object TopNByKeys { val N = 2 ...

2019-11-18 10:02:25 654

转载 Scala:通过key或者value排序Map(sortBy, sortWith)

sort the map by key, from low to high, usingsortBy:scala> import scala.collection.immutable.ListMapimport scala.collection.immutable.ListMapscala> ListMap(grades.toSeq.sortBy(_._1):_*)r...

2019-11-18 09:48:28 2032

转载 Scala: 合并两个Map

Solution1: foldLeftscala> val merged = (m1 /: m2) { case (map, (k,v)) => map + ( k -> (v + map.getOrElse(k, 0)) ) }merged: scala.collection.immutable.Map[Int,Int] = Map(1...

2019-11-17 21:15:37 322

原创 wget下载ftp地址密码里有@符号如何解决

直接执行wget命令，如果ftp链接中的用户名/密码有@，那么会和关键字@冲突，需要显示指定用户名和密码，如下：#wget --ftp-user=USER --ftp-password=PASS ftp://1.1.1.1/awget [email protected] --ftp-password=111 ftp://1.1.1.1:21/20160104.log...

2019-11-07 16:24:57 3567

原创 Starting sshd:/var/empty/sshd must be owned by root and not group or world-writable

这个是权限的问题可采取以下两步解决chown-Rroot.root/var/empty/sshdchmod 744 /var/empty/sshdservice sshd restart就可以解决上述的问题

2019-11-07 16:19:15 475

原创用户登陆Bash环境加载顺序

用户登录后加载profile和bashrc的流程如下:/etc/profile-------->/etc/profile.d/*.sh $HOME/.bash_profile-------->$HOME/.bashrc---------->/etc/bashrc说明:bash首先执行/etc/profile脚本,/etc/profile脚本先依次执行/etc/prof...

2019-11-07 16:13:13 291

原创 JMX参数配置

JMX Prometheus Exporter配置示例：export DN_OPTS="-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=true -Dcom.sun.mana...

2019-10-31 10:15:50 2873

转载 Java中进制转换

为了显示一个byte型的单字节十六进制(两位十六进制表示)的编码，请使用：Integer.toHexString((byteVar & 0x000000FF) | 0xFFFFFF00).substring(6)byteVar & 0x000000FF的作用是，如果byteVar 是负数，则会清除前面24个零，正的byte整型不受影响。(...) | 0xFFFFFF00...

2019-10-20 14:35:54 372

转载 Maximum length of the textual representation of an IPv6 address

45 characters.You might expect an address to be0000:0000:0000:0000:0000:0000:0000:00008 * 4 + 7 = 398 groups of 4 digits with 7:between them.But if you have anIPv4-mapped IPv6 address...

2019-07-25 15:33:12 157

转载 Sublime Text3 Package Control 在菜单栏中不显示

refer: https://www.cnblogs.com/qiaojie/p/5903848.html前言今天打开Sublime 想要通过 `Package Control` 装个东西，一看 `Package Control` 不见了。解决问题在 `C:\Users\*****\AppData\Roaming\Sublime Text 3\Packages\User` 目录...

2018-09-18 10:11:30 2187

转载 macOS 中Boost的安装和使用

refer: https://futucocoa.github.io/2017-01-06-macOSBoostInstallGuide/Boost是一个功能强大、构造精巧、跨平台、开源并且完全免费的C++程序库，有着“C++‘准’标准库”的美誉，值得每位C++程序员学习使用。1 安装Boost1.1 使用源码安装下载Boost源码解压放在任意目录，例如/usr/local/boost_1_...

2018-05-15 15:39:53 15454

转载你应该知道的 iTerm2 使用方法--MAC终端工具

refer: http://wulfric.me/2015/08/iterm2/iTerm2iTerm2 是 MAC 下最好的终端工具。可以简单的认为，iTerm2 是配置完毕开箱即用的 tmux。但 tmux 有以下一些缺点：查找 terminal 的输出历史内容需要切换到 vim 模式。在该模式下复制使用的是 vim 的查找，增加了认知负担；和各种工具兼容性比较差，尤其是 vim 和 ...

2018-05-11 11:10:02 2877

转载 RedHat As4.4 yum config

公司用的机器还在跑RHEL4(RedHat Enterprise Linux AS 4.8)，没有yum安装软件真是费时间啊，于是上网找了半天yum安装方法，终于成功。分享一下：核心：wget http://yum.baseurl.org/download/2.0/yum-2.0.8-1.src.rpm rpmbuild --rebuildyum-2.0.8-1.src.rpm

2017-11-27 18:50:10 565

转载 Spark任务提交jar包依赖解决方案

方法一：spark-submit –jars根据spark官网，在提交任务的时候指定–jars，用逗号分开。这样做的缺点是每次都要指定jar包，如果jar包少的话可以这么做，但是如果多的话会很麻烦。方法二：extraClassPath提交时在spark-default中设定参数，将所有需要的jar包考到一个文件里，然后在参数中指定该目录就可以了，较上一个方便很多

2017-10-26 15:57:31 2191

转载 Centos6配置国内yum源

refer: http://blog.chinaunix.net/uid-23683795-id-3477603.html1，进入yum源配置目录cd /etc/yum.repos.d2，备份系统自带的yum源mv CentOS-Base.repo CentOS-Base.repo.bk下载163网易的yum源：wget http://mirrors.163.com

2017-07-20 09:24:07 2020