- 博客(66)
- 资源 (12)
- 收藏
- 关注
RSS订阅转载 JVM的XMS和XMX参数设置为相同值有什么好处？
最近正在重新学习JVM的内存结构及相关优化内容，无意中看到IDEA的VM配置（安装时默认配置）中有如下的配置：# custom IntelliJ IDEA VM options-Xms2048m-Xmx2048m看到Xms和Xmx的一样，是不是稍微有些奇怪？这里就写篇文章分析一下，JVM的Xms和Xmx参数设置为相同的值有什么好处？首先来了解一下相关参数的概念及功能。Xms和Xmx参数定义在启动Java应用程序时，我们通常可以通过参数Xms和Xmx来配置JVM的堆信息。不配置虽然会有默认值，但
2021-04-15 17:22:25
737
转载 【Spark】sparkSQL中cache的若干问题
摘要sparkSQL在使用cache缓存的时候，有时候缓存可能不起作用，可能会发出缓存是假的吧的感慨。现在我们就把这个问题说道说道。问题场景描述当我们通过spark进行统计和处理数据时，发现他是延迟计算的，如果一个应用中出现多个action,而这多个action处理同一个数据源数据时，数据源用时间来过滤数据时，由于有多个action操作，遇到每个action就是一个job，每一个action都会执行数据源获取数据的操作，由于两个action之间的操作存在时间差，这两个action获取的数据有可
2020-07-07 11:49:58
1972
3
转载 【Spark】sparkSQL的整体实现框架
1、sql语句的模块解析 当我们写一个查询语句时，一般包含三个部分，select部分，from数据源部分，where限制条件部分，这三部分的内容在sql中有专门的名称：当我们写sql时，如上图所示，在进行逻辑解析时会把sql分成三个部分，project，DataSource，Filter模块，当生成执行部分时又把他们称为:Result模块、DataSource模块和Opertion模块。那么在关系数据库中，当我们写完一个查询语句进行执行时，发生的过程如下图所示：整个执行流程是..
2020-07-07 11:39:25
262
原创 【SQL】累计统计运算
表名：table_test_v1字段说明：id-唯一标识；date_id-日期；earnings-收益数据如下：需求：计算往年累计收益方法一：select b.date_id as '年份',sum(a.earnings) as '累计收益'from table_test_v1 a,table_test_v1 bwhere a.date_id<=b.date_idgroup by b.date_idorder by b.date_id;方法二：sel...
2020-05-18 15:02:56
2307
原创 【算法】100人没人100元赠送，最后分布
描述：有100人，开始每人100元赠送规则：每人拿一元赠送给其他人请问随着赠送次数增加，请问分布图的变化？代码模拟：public static void main(String[] args) { int persons = 100; int[] person = new int[persons];; for (int i = 0; i < persons;
2017-07-25 17:38:43
579
转载 【Shell】 Linux下启动java程序的通用脚本sh
之前看到的脚本，现在找不到文章的出处，对作者标识感谢！#!/bin/sh#该脚本为Linux下启动java程序的通用脚本。即可以作为开机自启动service脚本被调用，#也可以作为启动java程序的独立脚本来使用。##Author: tudaxia.com, Date: 2011/6/7##警告!!!：该脚本stop部分使用系统kill命令来强制终止指定的java程序进程。
2017-07-11 15:51:51
3045
原创 【Hive】Hive参数
Hive 参数hive.exec.max.created.files•说明：所有hive运行的map与reduce任务可以产生的文件的和•默认值:100000 hive.exec.dynamic.partition•说明：是否为自动分区•默认值：falsehive.mapred.reduce.tasks.speculative.execution•说明：是否打开推测
2017-07-04 17:39:05
354
原创 【名企面试】百度2015校招笔试题(头巾问题)
有三个白人被一个印第安人反对部落俘虏了。部落的首领愿意把他们放了，所以他把他们领到一根没有亮光的帐篷里。他给了每人一条头巾（他有5条头巾，3白2红，所以有2条是没有用到的）。然后他们排着队出去。这样，每个人都可以看到前面人的头巾颜色，但是看不到自己头巾的颜色。第一个走出去的看不到任何头巾第二个可以看到第一个人的头巾第三个人可以看到前面两个人的头巾
2017-01-01 23:50:45
671
原创 【Sqlserver】sql server获取时间的方法
select CONVERT(varchar(30) , getdate()) select CONVERT(varchar(30) , getdate(), 102 )select CONVERT(varchar(30) , getdate(), 101 )select CONVERT(varchar(30) , getdate(), 103 )select CONVERT(varcha
2016-12-21 12:58:04
584
原创 【异常问题】Hive中SQL执行mapreduce.task.timeout超时问题
【异常描述】Task with the most failures(4): -----Task ID:task_1479051658015_121922_r_000000URL:http://hnn01.ns4f.hi.ipm.nokia.com:8088/taskdetails.jsp?jobid=job_1479051658015_121922&tipid=task_14790
2016-12-14 12:07:21
11191
转载 【Java技术点】JAVA操作Excel文件
JAVA EXCEL API:是一开放源码项目，通过它Java开发人员可以读取Excel文件的内容、创建新的Excel文件、更新已经存在的Excel文件。使用该API非Windows操作系统也可以通过纯Java应用来处理Excel数据表。因为它是使用Java编写的，所以我们在Web应用中可以通过JSP、Servlet来调用API实现对Excel数据表的访问。下载：Java Exce
2016-12-13 15:20:38
367
原创 【Sqlserver】sql server-cube
CUBE运算符生成的结果集是多维数据集,多维数据集是事实数据的扩展,事实数据即记录个别时间的数据,扩展建立在用户准备分析的列上,这些列被称为维,多维数据集是一个结果集,其中包含各纬度所有可能的交叉表格.CUBE运算符是在Select语句的group by子句中指定的,group by应指定维度列和关键字with cube,结果集将包括维度列中各值的所有可能组合.示例1.Sq
2016-11-17 15:10:19
466
转载 【Python】详解Python的装饰器
Python中的装饰器是你进入Python大门的一道坎，不管你跨不跨过去它都在那里。为什么需要装饰器我们假设你的程序实现了say_hello()和say_goodbye()两个函数。def say_hello(): print "hello!" def say_goodbye(): print "hello!" # bug hereif __na
2016-11-07 15:20:55
320
原创 【通讯术语】MSIN
MSIN[词语解释]1. Mobile Subscriber Indentification Number -- 移动通信的用户识别号码在某一PLMN内MS唯一的识别码。编码格式为：H1 H2 H3 S XXXXXX MSIN是国际移动用户识别码（IMSI）组成部分。 IMSI共有15位，其结构如下： MCC+MNC+MSIN MCC：Mobile Coun
2016-11-02 12:34:58
1934
原创 【通讯术语】IMSI
IMSI[词语解释]国际移动客户识别码IMSI=MCC+MNC+MSIN(采用E.212建议)MCC=移动国家号码，中国为460。MNC=移动网号。中国移动为00，中国联通为01。MSIN=移动客户识别码。 国际移动用户识别码（IMSI） International Mobile Subscriber Identity 国际上为唯一识别一个移动用户所分配的号
2016-11-02 11:57:13
519
转载 【Python】Python Assert 为何不尽如人意
Python中的断言用起来非常简单，你可以在assert后面跟上任意判断条件，如果断言失败则会抛出异常。>>> assert 1 + 1 == 2>>> assert isinstance('Hello', str)>>> assert isinstance('Hello', int)Traceback (most recent call last): File "", line
2016-11-01 11:35:07
12394
转载 【Sqlserver】SQL Server 不可见字符处理
问题描述：在表列里有肉眼不可见字符，导致一些更新或插入失败。 几年前第一次碰见这种问题是在读取考勤机人员信息时碰见的，折腾了一点时间，现在又碰到了还有点新发现就顺便一起记录下。如下图所示 golds字段 看上去5个字符，长度则为44 ，可判断有特殊字符存在此列中。基础知识准备贴几个常用函数1、获取字符的ASCII码 ASC
2016-11-01 11:31:21
2770
原创 【Shell】脚本中删除和替换文件中某一行的方法
sed是一个很好的文件处理工具，本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作，下面先了解一下sed的用法sed命令行格式为： sed [-nefri] ‘command’ 输入文本 常用选项： -n∶使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN的资料
2016-10-25 10:03:53
50576
转载 【Linux】rm -rf 血的教训
rm -rf 慎用命令敲得多了，常在河边走，难免会湿鞋昨天，一个手误，敲错了命令，把原本想要留的文件夹给rm -rf掉了几天心血全木有了，靠，死的心都有了经百度，google以及尝试无果，哎，这个以后再研究怎么找回吧几点教训：1.rm 特别是rm -rf之前，小心，三思，或者直接将命令改写掉2.做好备份，有便捷的备份脚本3.做好定时备
2016-09-18 10:18:57
6025
原创 【Shell】linux中shell变量$#,$@,$0,$1,$2的含义解释
linux中shell变量$#,$@,$0,$1,$2的含义解释: 变量说明: $$ Shell本身的PID（ProcessID） $! Shell最后运行的后台Process的PID $? 最后运行的命令的结束代码（返回值） $- 使用Set命令设定的Flag一览 $* 所有参数列表。如"$*"用「"」括起来的情况、以"$1 $2 … $n"的形式输出所有参数。 $@
2016-09-06 17:19:38
729
原创 【JavaScript】 ip字符与数字转换
IpToInt/IntToIp function ipToNumber(ip) { var numbers = ip.split("."); return parseInt(numbers[0])*256*256*256 + parseInt(numbers[1])*256*256 + parseInt(numbers[2])*256 +
2016-09-02 12:07:07
1498
5
原创 【Storm】Storm UI 说明
Storm UI本文主要解释下storm ui上各项属性的含义。1. mainpage首页主要分为3块:a. Cluster SummaryNimbus uptime: nimbus的启动时间Supervisors: storm集群中supervisor的数目used slots: 使用了的slots数free slots: 剩余的slots数total
2016-08-24 10:14:03
770
原创 【Sqlserver】各种数据库的锁表和解锁操作
SqlServer 查询被锁住的表和解锁表--1.查看被锁表：SELECT request_session_id as spid,OBJECT_NAME(resource_associated_entity_id) as tableName FROM sys.dm_tran_locks WHERE resource_type='OBJECT'--spid 锁表进程 ；tableNa
2016-08-23 15:52:58
11485
原创 【技术术语】Sun HotSpot VM
Java HotSpot VM 简介Java HotSpot 虚拟机（VM）是 Java 2 Platform, Standard Edition （J2SE）软件的一项核心技术，并且广泛的被一些「整合开发环境（IDEs）」还有「Application Server」所使用，包括有 Forte for Java 、Borland JBuilder 、WebGain VisualCafe 、
2016-08-22 17:13:47
665
1
原创 【Hadoop】Hive优化之——控制hive任务中的map数和reduce数
一、控制hive任务中的map数: 1.通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过setdfs.block.size;命令查看到，该参数不能自定义修改)；2.举例： a) 假设input目录下有1个文件a,大小为780M,那么
2016-08-19 16:27:39
612
原创 【通讯术语】VoLTE
VoLTE[词语解释]VoLTE即Voice over LTE，它是一种IP数据传输技术，无需2G/3G网，全部业务承载于4G网络上，可实现数据与语音业务在同一网络下的统一。VoLTE是基于IMS语音业务。IMS由于支持多种接入和丰富的多媒体业务，成为全IP时代的核心网标准架构。经历了过去几年的发展成熟后，如今IMS已经跨越裂谷，成为固定话音领域VoBB、PSTN网改的主流选择，而
2016-08-15 10:18:35
1235
原创 【通讯术语】AAA
AAA[词语解释]AAA Authentication, Authorization and Accounting 验证、授权和帐户Authentication, Authorization and Accounting -- 验证、授权和帐户 认证(Authentication)：验证用户的身份与可使用的网络服务； 授权(Authorization)：依据认证结果开放网
2016-07-27 15:39:20
868
原创 【通讯术语】RADIUS
RADIUS[词语解释]RADIUS:Remote Authentication Dial In User Service，远程用户拨号认证系统由RFC2865，RFC2866定义，是目前应用最广泛的AAA协议。RADIUS协议最初是由Livingston公司提出的，原先的目的是为拨号用户进行认证和计费。后来经过多次改进，形成了一项通用的认证计费协议。创立于1966年M
2016-07-27 15:35:21
405
原创 【通讯术语】NAT
NAT[词语解释]NAT Network Access Table 网络存取表NAT Network Attached Table 网络连接表NAT Network Address Translation 网络地址转换网络地址转换(NAT)概述网络地址转换(NAT,Network Address Traslation)被广泛应用于各种类型Internet接入方式和备种类
2016-07-27 11:53:28
531
原创 【Shell】shell带有返回值的函数
shell中函数调用方式有两种方式1：函数的所有标准输出都传递给主程序的标量value_name=`function_name [arg1 arg2 ......]`Demo：#!/bin/bash#定义一个函数fun_countfiles1fun_countfiles1(){ let "filenum=0" let "dirnum=0" for i in $( ls
2016-07-14 14:32:35
906
原创 【Shell】shell study 日期格式和数字运算
日期格式：#!/bin/bash#declare d="2016-05-06 00:00:00"#d1=$(date -d "$d" +%s);#echo $d1#d2=$(date +%Y%m%d%H%M%S -d @$d1)#echo $d2#当前时间 年月日时分秒#declare currentSecond=$(date +%Y%m%d%H%M%S)
2016-07-07 11:16:14
1134
原创 【Shell】删除指定时间之前的文件
工作需求，要求删除六小时之前的所有备份数据，以免把硬盘整爆下面给出点第一版：#!/bin/bash##create log dirPathdeclare logDirPath="/home/ipm/shell/log"if [ ! -d ${logDirPath} ];then mkdir ${logDirPath}fideclare logFilePath=${logDir
2016-07-07 11:00:38
7406
原创 【Linux】深入理解Linux修改hostname
实验环境：Red Hat Enterprise 6.5。修改hostname有几种方式1：hostname DB-Server --运行后立即生效（新会话生效），但是在系统重启后会丢失所做的修改2：echo DB-Server > /proc/sys/kernel/hostname--运行后立即生效（新会话生效），但是在系统重启后会丢失所做的修改3：sysctl kernel
2016-05-19 14:33:37
316
转载 【Java技术点】java实现map和object互转的三种方法
/** * 使用org.apache.commons.beanutils进行转换 */ class A { public static Object mapToObject(Map map, Class beanClass) throws Exception { if (map == null) return
2016-05-04 15:06:15
540
转载 【Django 】Django开发
Django 基础教程 Django 是由 Python 开发的一个免费的开源网站框架，可以用于快速搭建高性能，优雅的网站！ 你一定可以学会，Django 很简单！本教程一直在更新，从开始写到现在大概写了一年多了，现在也一直在坚持写，每一篇教程都可能随时更新，可以在网站首页看到最近更新的情况。我阅读学习了全部的 Django英文的官方文档，觉得国内比较好的Django学习资源不多，
2015-12-12 02:20:46
557
原创 【Kafka】Kafka在Linux下安装和测试
1.下载kafka进入kafka官网：http://kafka.apache.org/downloads.html选择Binary downloads下载【注：Source download需要编译才能使用】以下用kafka_2.10-0.9.0.0.tgz版本2.解压tar -xzvfkafka_2.10-0.9.0.0.tgzcdkafka_2.10-0.9.0
2015-12-02 15:39:36
7211
原创 【Linux】VMware安装Linux系统后设置局域网其他电脑也能访问
1.前言在局域网的一台电脑上安装了VMware，并且安装了Suse版本的Linux系统，现在想通过局域网的其他电脑访问该虚拟机上的服务2.简介VMWare提供了三种工作模式，它们是bridged(桥接模式)、NAT(网络地址转换模式)和host-only(主机模式)。要想在网络管理和维护中合理应用它们，你就应该先了解一下这三种工作模式。2.1.bridged(桥接模式)
2015-11-24 17:33:55
14464
3
原创 【Linux】SUSE Linux64下安装JDK和apache-tomcat
1.准备：下载JD和Tomcatjdk-7u79-linux-x64.tar.gzapache-tomcat-7.0.65.tar.gz
2015-11-23 15:42:19
7689
转载 【Linux】Linux下JDK合理的安装位置
1 Linux 目录结构即使这是个菜鸟级的问题，也经常难住老鸟。我就见过很资深的程序员把JDK不合适地安装到/home目录下。虽然不一定有最正确的安装位置，但一定有不适当的安装位置。为了确定我们到底应该把JDK安装在哪里，首先要了解一下Unix/Linux的目录结构。/bin 用来贮存用户命令。/usr/bin 也被用来贮存用户命令。/sbin 许多系统命令（例如 shutdown）的贮
2015-11-23 14:40:01
1177
原创 【Quartz】Quartz将Job保存在数据库中所需表的说明
QRTZ_CALENDARS 以 Blob 类型存储 Quartz 的 Calendar 信息 QRTZ_CRON_TRIGGERS 存储 Cron Trigger，包括 Cron表达式和时区信息 QRTZ_FIRED_TRIGGERS 存储与已触发的 Trigger 相关的状态信息，以及相联 Job的执行信息 QRTZ_PAUSED_TRIGGER_GRPS 存储已暂停的 Trigger
2015-11-12 16:08:31
4220
linux下vi的基本操作
2015-11-23
jd-eclipse-site-1.0.0-RC2
2015-11-13
Quartz_Job_Scheduling_Framework_CN_V1.0.0
2015-11-13
通过JACOB实现Java与COM组件的互操作
2014-06-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人