- 博客(24)
- 收藏
- 关注
RSS订阅原创 ubuntu使用教程
ubuntu使用教程一、 Ubuntu简介Ubuntu（乌班图）是一个基于Debian的以桌面应用为主的Linux操作系统，据说其名称来自非洲南部祖鲁语或科萨语的“ubuntu”一词，意思是“人性”、“我的存在是因为大家的存在”，是非洲传统的一种价值观。Ubuntu的目标在于为一般用户提供一个最新同时又相当稳定，主要以自由软件建构而成的操作系统。Ubuntu目前具有庞大的社区力量支持，用户可...
2020-01-15 17:53:05
74067
原创 python基础教程
Python教程一、简介1.1 python语言介绍python的创始人：Guido Van RossumPython下载地址：https://www.python.org/Python文档下载地址：https://www.python.org/doc/Pycharm下载地址：https://www.runoob.com/w3cnote/pycharm-windows-install....
2020-01-14 14:49:04
2342
原创 spark精华面试题
spark精华面试题1、driver的功能是什么？1）一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的人口点；2）功能：负责向集群申请资源，向master注册信息，负责了作业的调度，，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。...
2020-01-10 10:53:37
231
原创 ASCII（American Standard Code for Information Interchange，美国标准信息交换代码）
ASCII（American Standard Code for Information Interchange，美国标准信息交换代码）ASCII（American Standard Code for Information Interchange，美国标准信息交换代码）是基于拉丁字母的一套电脑编码系统，主要用于显示现代英语和其他西欧语言，其最多只能用 8 位来表示（一个字节），即：2**8 =...
2020-01-07 16:48:42
3171
原创 Ubuntu安装步骤
Ubuntu安装步骤一、新建虚拟机成功二、添加ubuntu.IOS镜像三、启动虚拟机四、开始安装4.1 install ubuntu4.2 continue4.3 选择“Normal installation”选项，并取消“Download updates while installing ubuntu”选项，然后点击“countinue”按钮4.4 选中“Erase dis...
2020-01-03 17:57:15
2563
原创 oracle 12C 《服务器、客户端安装》
1、下载database和clientdatabase和client下载地址http://www.oracle.com/technetwork/cn/database/enterprise-edition/downloads/index.html2、两个解压到同一个目录3、管理员身份安装服务端的database的setup.exe4、服务器安装步骤（orcl和oracle均更...
2019-12-06 14:48:26
4709
原创 hive 自定义UDF操作步骤
hive 自定义UDF操作步骤需要自定义类，然后继承UDF 然后在方法envluate()方法里面实现具体的业务逻辑，打包上传到linux(以免出错打包成RunningJar)创建临时函数：1.add jar /udf/xxx.jar2.Create temporary function mytest as ‘包名.类名’3.显示UDF函数 show functions like my...
2019-11-10 18:00:50
260
原创 spark精华面试题
spark精华面试题1、driver的功能是什么？1）一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的人口点；2）功能：负责向集群申请资源，向master注册信息，负责了作业的调度，，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。...
2019-11-05 14:07:36
162
原创 rowkey设计原则和方法
rowkey设计原则和方法rowkey设计首先应当遵循三大原则：rowkey长度原则rowkey是一个二进制码流，可以为任意字符串，最大长度为64kb，实际应用中一般为10-100bytes，它以byte[]形式保存，一般设定成定长。一般越短越好，不要超过16个字节，注意原因如下：1、目前操作系统都是64位系统，内存8字节对齐，控制在16字节，8字节的整数倍利用了操作系统的最佳特性。2...
2019-10-31 16:12:14
498
原创 BigDecimal的运算——加减乘除
BigDecimal的运算——加减乘除1、初始化（尽量用字符串的形式初始化） BigDecimal num12 = new BigDecimal("0.005"); BigDecimal num22 = new BigDecimal("1000000"); BigDecimal num32 = new BigDecimal("-1000000");2、加法 add()...
2019-10-30 14:56:24
435
原创 linux后台执行命令：&和nohup
linux后台执行命令：&和nohup当我们在终端或控制台工作时，可能不希望由于运行一个作业而占住了屏幕，因为可能还有更重要的事情要做，比如阅读电子邮件。对于密集访问磁盘的进程，我们更希望它能够在每天的非负荷高峰时间段运行(例如凌晨)。为了使这些进程能够在后台运行，也就是说不在终端屏幕上运行，有几种选择方法可供使用。&当在前台运行某个作业时，终端被该作业占据；可以在命令后面加...
2019-10-24 14:38:14
105
原创 linux设置开机启动
linux设置开机启动1、新建一个批处理文件xxxx.sh，内容模板如下cd 要启动的程序路径./程序名2、修改批处理文件的权限 chmod 777 xxxx.sh3、vim /etc/rc.local 增加启动项/home/xxxx.sh >> /home/xxxx.out &4、执行命令：ll /etc/rc3.d/正常情况，这里会有S99local...
2019-10-24 14:18:54
268
原创 log4j.properties
#log4j.rootLogger=warn,a1#lot4j.appender.a1.Target=System.out#log4j.appender.a1=org.apache.log4j.ConsoleAppender#log4j.appender.a1.layout=org.apache.log4j.PatternLayout#log4j.appender.a1.layout.Co...
2019-10-24 10:14:14
85
原创 MySQL优化
MySQL优化1、索引优化索引本身就很大，索引往往以文件的形式存储在磁盘上（1）性能下降的原因 1)查询语句写的烂 2)索引失效 3)关联查询太多的join 7种join 4)服务器调优设置(缓冲、线程等)（2）概念：索引就是帮助MySQL高效的获取数据的数据结构（3）优势：降低数据库的IO成本，通过索引列数据排序，降低数据排序的成本，降低了CPU的消耗（4）劣势：索...
2019-10-24 10:06:24
82
原创 sqoop数据迁移
sqoop数据迁移查看所有的数据库sqoop list-databases -connect jdbc:mysql://hadoop1:3306 -username root -password root查看text库中所有表sqoop list-tables -connect jdbc:mysql://hadoop1:3306/test -username root -password...
2019-10-24 10:04:53
83
原创 you-get安装及使用
you-get安装及使用1、安装python下载地址：https://www.python.org/downloads/配置环境变量：我的电脑 --> 属性 --> 高级系统设置 --> 环境变量 --> PATH --> 加入python的bin路径2、安装ffmpeg -versionhttps://ffmpeg.org/download.html配置...
2019-10-24 10:02:58
1033
原创 maven打包插件
maven打包插件<build> <pluginManagement> <plugins> <!-- 编译scala的插件 --> <plugin> <groupId>net.alchim31.maven</groupId> <artifactId>scala-ma...
2019-10-24 10:02:06
201
原创 CPU、内存、磁盘、IO流查询
CPU、内存、磁盘、IO流查询查看CPU信息总核数 = 物理CPU个数 X 每颗物理CPU的核数总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数查看物理CPU个数cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l查看每个物理CPU中core的个数(即核数)cat /proc/cpuinfo| g...
2019-10-24 09:57:31
254
原创 hive四种导入方式
hive四种导入方式建表语句create table test(name string,friends array,children map<string, int>,address struct<street:string, city:string>)row format delimited fields terminated by ‘,’collect...
2019-10-24 09:56:11
185
原创 count(*) 和 count(1)和count(列名)区别
count(*) 和 count(1)和count(列名)区别执行效果上：count(*)包括了所有的列，相当于行数，在统计结果的时候，不会忽略列值为NULLcount(1)包括了忽略所有列，用1代表代码行，在统计结果的时候，不会忽略列值为NULLcount(列名)只包括列名那一列，在统计结果的时候，会忽略列值为空（这里的空不是只空字符串或者0，而是表示null）的计数，即某个字段值为NU...
2019-10-24 09:54:59
147
原创 MongoDB、Redis、elasticSearch、hbase的对比
MongoDB、Redis、elasticSearch、hbase的对比MongoDB优点：最大的特点是表结构灵活可变，字段类型可以随时修改。插入数据时，不必考虑表结构的限制不需要定义表结构这个特点给表结构的修改带来了极大的方便缺点给多表查询、复杂事务等高级操作带来了阻碍适用场景MongoDB很适合那些表结构经常改变，数据的逻辑结构没又没那么复杂不需要多表查询操作，数据量又比...
2019-10-24 09:54:13
635
原创 数据库基本操作
数据库基本操作创建新表CREATE TABLE usertbl(name VARCHAR(20), signupdate DATE);插入数据INSERT INTO usertbl(name, signupdate) VALUES('张三', '2013-12-22');选择记录SELECT * FROM user_tbl;更新数据UPDATE user_tbl set na...
2019-10-24 09:52:07
149
原创 Linux 下清理系统缓存并释放内存
Linux 下清理系统缓存并释放内存缓存数据存放位置当在Linux下频繁存取文件后，物理内存会很快被用光，当程序结束后，内存不会被正常释放，而是一直作为caching因此我们很有必要手动清理系统缓存释放内存。1、我们在清理缓存前应该先sync下sync因为系统在操作的过程当中，会把你的操作到的文件资料先保存到buffer中去，因为怕你在操作的过程中因为断电等原因遗失数据，所以在你操作...
2019-10-23 15:34:53
2755
原创 linux服务器查看进程、线程数量
linux服务器查看进程、线程数量查看进程总数ps -ef | wc -l查看某个服务的进程数eg：http服务：ps -ef | grep httpd | wc -l查看物理cpu个数grep 'physical id' /proc/cpuinfo | sort -u查看核心数量grep 'core id' /proc/cpuinfo | sort -u | wc -l...
2019-10-23 09:08:06
40813
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人