- 博客(32)
- 收藏
- 关注
RSS订阅原创 ORACLE 创建job定时执行带参数的存储过程/无参数的存储过程
6、每星期六和日早上6点10分 ''TRUNC(LEAST(NEXT_DAY(SYSDATE, ''''SATURDAY"), NEXT_DAY(SYSDATE, "SUNDAY"))) + （6×60+10）/（24×60）''INTERVAL => 'trunc(sysdate,''mi'')+1/(24*60)' /*每隔1分钟执行一次*/);3、每星期二中午12点 ''NEXT_DAY(TRUNC(SYSDATE ), ''''TUESDAY'''' ) + 12/24''
2023-12-28 16:40:47
1029
原创 为什么样本方差（sample variance）的分母是 n-1？
通常用 moments 方法估計。如果用的是 ML 方法，請不要多想不是你們想的那樣， 方差的 estimator 的期望一樣是有 bias 的，有興趣的同學可以自己用。链接：https://www.zhihu.com/question/20099757/answer/13971886。商业转载请联系作者获得授权，非商业转载请注明出处。而 (n-1)/n * σ²。
2023-11-11 23:34:33
94
原创 正则表达式-hive sql中的$1和$2
例如，“Windows(?=95|98|NT|2000)”能匹配“Windows2000”中的“Windows”，但不能匹配“Windows3.1”中的“Windows”。例如“Windows(?速记理解：开始 "tel:普通文本"[0-9数字]{1至3位}"-普通文本"[0数字][0-9数字]{2至3位}"-普通文本"[0-9数字]{8至11位} 结束"原始正则："^tel:[0-9]{1,3}-[0][0-9]{2,3}-[0-9]{8,11}$"基础语法 "^([]{})([]{})([]{})$"
2023-11-10 16:37:06
180
转载 Notepad++实用技巧—加密个人文档
NotePad++对文本文件使用插件可以加密。菜单 插件、NppCrypt、Decrypt、输入密码，文档即可还原。
2023-08-08 18:17:32
907
原创 R语言用Shiny包快速搭建交互网页应用
Shiny包的特点在于不需要了解网页语言，可以用纯R来搭建。生成的网页应用是动态交互，而且是即时更新的。Shiny还提供了现成组件方便快速在网页上展示数据、图表和模型，的确是非常的炫。1） 不需要安装任何程序， 携带数据， 只要有网的地方， 你就能演示。（远程）2） 只要安装一次， 可以多人使用， 可以让别人试用。（多用户）3） 不用担心软件或者代码泄密， 可以控制用户使用时间和权限。（服务）4） 通过交互式操作，在数据分析中减少重复的工作如调整参数等。（交互）
2023-08-01 16:41:50
466
原创 mysql创建update时间自动捕捉字段
LAST_UPDATE_TIME TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP NULL COMMENT '最后修改时间',纯mysql建表，可以创建update时间自动捕捉字段，如上图。由于太简单就不写测试过程和脚本了。
2023-07-05 11:20:11
35
转载 mysql数据转字符集（详解mysql字符集转换方法）
这些字符集的区别在于它们使用的字符编码不同，而字符编码是将字符映射到二进制编码的过程。ASCII 字符集将每个字符映射到一个 7 位的二进制编码，UTF-8 字符集则使用变长编码，将不同长度的字符映射到不同长度的二进制编码。本文将详细介绍 MySQL 数据转字符集的方法，帮助读者更好地理解 MySQL 字符集的转换。eg： select concat(column_name, '统计日期', ''';ALTER TABLE 语句可以修改表的字符集，从而将表中的数据转换为指定的字符集。
2023-07-05 11:12:05
1558
转载 HBase Shell 十大花式玩儿法
文章来自：HBase Shell 十大花式玩儿法 - 知乎前言：工欲善其事必先利其器，今天给大家介绍一下HBase Shell十大花式利器，在日常运维工作中，可以试着用起来。1. 交互模式也就是我们最常用到的Shell命令行的方式。$ hbase shellhbase(main):001:0> list2. 非交互模式$ echo "describe 'test1'" | hbase shell -n# 结果输出到文件$ echo "describe..
2021-11-25 20:58:54
332
转载 rest api介绍（通俗易懂）
一、rest api 是前后端分离最佳实践，是开发的一套标准或者说是一套规范，不是框架。好处：1、轻量，直接通过http，不需要额外的协议，通常有post/get/put/deletec操作。2、面向资源，一目了然，具有自解释性3、数据描述简单，一般通过json或者xml做数据通讯rest的概括二、REST全称即Representational State Transfer的缩写。我对这个词组的翻译是"表现层状态转化"。三、资源（Resources）REST的名称"表现层状态转化
2021-07-22 17:57:48
4218
转载 MariaDB TRIGGER
MariaDB TRIGGER在MariaDB中只有DELETE,INSERT,UPDATE支持trigger,并且只支持Table, 不支持View创建trigger(jlive)[crashcourse]>CREATE TRIGGERnewproductAFTER INSERT ONproductsFOR EACH ROW BEGIN END;Query OK, 0 rows affected (0.00 sec)删除trigger(jlive)...
2021-07-10 10:50:50
142
转载 Apache Hudi使用简介
数据实时处理和实时的数据实时分为处理的实时和数据的实时。即席分析是要求对数据实时的处理，马上要得到对应的结果。Flink、Spark Streaming是用来对实时数据的实时处理，数据要求实时，处理也要迅速。数据不实时，处理也不及时的场景则是我们的数仓T+1数据。而本文探讨的Apache Hudi，对应的场景是数据的实时，而非处理的实时。它旨在将Mysql中的数据以近实时的方式映射到大数据平台，比如Hive中。业务场景和技术选型传统的离线数仓，通常数据是T+1的，不能满足对当日数据分析
2021-07-05 17:02:06
1473
原创 dos格式转换成linux格式
dos格式文件传输到linux系统时,会在每行的结尾多一个^M,当然也有可能看不到，我们可以将dos文件转换为unix文件格式。1、转换方法vi dos.txt:set fileformat=unix:w2、用命令:set ff可以看到dos或unix的字样.3、set ff=unix把它强制为unix格式的, 然后存盘退出, 即可.4、也可以用sed 这样的工具来做:sed ‘s/^M//’ filename > tmp_filename其中^M是同时Ctrl+V
2021-05-12 16:20:57
1447
转载 linux字符串转数字
转载：https://www.cnblogs.com/baofengc/p/9042128.html方法一：echo "96.56"| awk '{print int($0)}'输出结果96方法二：A="2"B="51"let "C=A+B"echo $C方法三：转载：https://blog.csdn.net/whish1994/article/details/78379659原型： value=$((n#${key}Xm))value:自定义变量...
2021-05-11 11:04:30
3767
转载 Spark：常用transformation及action，spark算子详解
Spark：常用transformation及action，spark算子详解一、常用transformation介绍操作 介绍 map 将RDD中的每个元素传入自定义函数，获取一个新的元素，然后用新的元素组成新的RDD filter 对RDD中每个元素进行判断，如果返回true则保留，返回false则剔除 flatMap 与map类似，但是对每个元素都可以返回一个或多个新元素 groupByKey 根据key进行分组，每个key对应一个Iterable
2021-03-02 20:55:26
637
转载 Linux curl命令详解
curl是一个非常实用的、用来与服务器之间传输数据的工具；支持的协议包括 (DICT, FILE, FTP, FTPS, GOPHER, HTTP, HTTPS, IMAP, IMAPS, LDAP, LDAPS, POP3, POP3S, RTMP, RTSP, SCP, SFTP, SMTP, SMTPS, TELNET and TFTP)，curl设计为无用户交互下完成工作； curl提供了一大堆非常有用的功能，包括代理访问、用户认证、ftp上传下载、HTTP POST、SSL连接、cook
2021-03-02 16:34:31
303
1
转载 Hbase存储及元数据meta
Hbase的列族式存储列族就是多个数据列的组合，列族式可以说是表的schema的一部分，而列不是。Hbase可以说是列簇数据库，在创建表的时候要指定列族，而不需要指定具体的列。Hbase Table组成：Table = rowkey + family + column + timestamp + value数据存储模式：(Table, rowkey , family , column , timestamp) -> ValueHbase数据存储原型HBase 是一个稀疏的、分布式、
2021-01-19 22:20:29
5446
1
转载 通俗的语言解释REST，以及RESTful？
作者：覃超链接：https://www.zhihu.com/question/28557115/answer/48094438来源：知乎@Ivony老师的一句话概括很精辟：URL定位资源，用HTTP动词（GET,POST,DELETE,DETC）描述操作。--- 简洁版 ---0. REST不是"rest"这个单词，而是几个单词缩写。但即使那几个单词说出来，也无法理解在说什么 -_-!! （不是要贬低人，是我自己也理解困难）；1. REST描述的是在网络中client和server..
2021-01-06 20:21:17
197
转载 ls大目录卡死及ls参数详解
ls -f最快(至少目前可以打开300+M的目录,文件量有400万+),源码中还没有找到ls的极限是多少.$ time ls | wc -l1158565real 0m15.768suser 0m14.772ssys 0m1.069s$ time ls -f | wc -l1158569real 0m1.157suser 0m0.551ssys 0m0.707s$ time ls -U | wc -l1158570real ...
2021-01-06 14:21:42
510
转载 ls文件名在lftp中不起作用(ls filename does not work in lftp)
原文I created an lftp script to upload single files to a web hosting provider.The use case is that I call it from the repository root, so the relative path is the same here and in the remote server.#!/bin/bashDIRNAME=$(dirname $1)FILENAME=$(basename
2021-01-06 11:05:47
1032
转载 Linux实验 ssh配置详解
一、ssh详解1、什么是ssh简单来说，ssh是一种网络协议，用于计算机之间的加密登录。如果一个用户从本地计算机，使用ssh协议登录另一台远程计算机，我们就可以认为，这种登录是安全的，即使被中途截获，密码也不会泄露。需要指出的是，ssh只有一种协议，存在多种实现，既有商业实现，也有开源实现。2、基本用法（1）使用某个用户（例如user）登录远程主机host命令：ssh user@host（2）如果本地用户名和远程用户名一致，则登录时可以省略用户名...
2021-01-06 09:54:40
962
转载 在Linux上设置SSH密码以进行无密码登录（转）
ssh（secure shell）广泛用于远程登录Linux服务器。当我们使用ssh登录到远程系统时，它会提示输入密码，然后只允许我们登录到服务器。为了解决这个问题，我们可以选择使用公钥/私钥概念。其中远程服务器允许其他系统基于密钥进行ssh。步骤1：生成ssh密钥对首先，需要生成一个密钥对（rsa或dsa），可以使用“-t”命令行开关指定选项rsa或dsa密钥。如果不传递-t参数，它将默认创建RSA密钥。 1 $ ssh-keygen -t rsa
2021-01-05 16:53:50
280
转载 JSON从入门到精通
一、基础入门1、什么是jsonJSON:一种与开发语言无关的、轻量级的数据存储格式，全称JavaScript Object Notation，一种数据格式的标准规范，起初来源于JavaScript这门语言，后来随着使用的广泛，几乎每门开发语言都有处理JSON的API。优点：易于人的阅读和编写，易于程序解析与生产。JSON样例：首先一个花括号{}，整个代表一个对象，同时里面是一种Key-Value的存储形式，它还有不同的数据类型来区分2、数据类型表示数据结构：Object、A.
2020-12-31 14:11:20
607
转载 使用hive连接hbase
前提说明：一个hive表指向一个hbase表，一对一，不能多对一； 但一个hbase表可以对应多个hive表；建立外部表CREATE EXTERNAL TABLE test_hbase(key string, mid string,gender string,ct string,cy string,pr string,city string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SE
2020-12-26 23:19:18
918
转载 sqoop一些语法
sqoop一些语法参数详细资料 观看这个博客http://shiyanjun.cn/archives/624.htmlSqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出，其中主要使用了import和export这两个工具。这两个工具非常强大，提供了很多选项帮助我们完成数据的迁移和同步。比如，下面两个潜在的需求：业务数据存放在关系数据库中，如果数据量达到一定规模后需要对其进行分析或同统计，单纯使用关系数据库可能会成为瓶颈，这时可以将数据从业务数据库数据导入（import）到
2020-12-18 16:56:01
378
转载 HDFS常用文件操作命令
hadoop HDFS常用文件操作命令命令基本格式: 1 hadoop fs-cmd < args > 1. ls 列出hdfs文件系统根目录下的目录和文件 1 hadoop fs-ls/dir 1 hadoop fs-ls-R/dir--列出hdfs文件系统所有的目录和文件 2.puthadoop f...
2020-11-04 17:14:18
1082
转载 Elasticsearch简介与实战
全文搜索引擎 Elasticsearch 入门教程来源：http://www.ruanyifeng.com/blog/2017/08/elasticsearch.html作者： 阮一峰日期： 2017年8月17日全文搜索属于最常见的需求，开源的 Elasticsearch （以下简称 Elastic）是目前全文搜索引擎的首选。它可以快速地储存、搜索和分析海量数据。维基百科、Stack Overflow、Github 都采用它。Elastic 的底层是开源库 Lucene。但是，你没法直接用 Lu
2020-10-21 11:43:40
181
转载 sql脚本语言中的循环语句介绍
sql脚本语言中的循环语句介绍–sql脚本语言的循环介绍：–1.goto循环点。declarex number;beginx:=0;–变量初始化；<<repeat_loop>>–设置循环点。x:=x+1;dbms_output.put_line(x);–循环体if x<9 then --进入循环的条件。goto repeat_loop; --用goto关键字引导进入循环。end if;end;–2.for循环。declar
2020-08-21 10:55:07
2967
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人