- 博客(36)
- 收藏
- 关注
RSS订阅原创 [python]python对接api数据源解析json内容写入到mysql表中
python对接api数据源解析json内容写入到mysql表中
2022-10-17 20:15:14
1635
2
原创 【Hadoop】hive中的动态分区
set hive.exec.dynamici.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;set mapreduce.map.java.opts="-Xmx9725955249";insert overwrite 目标表 partition(ds)selectZQJC,ZQDM,GZRQ,LTCS,DCQ_N,RJGJQJ,RJYJLX,GZJJ,GJSYL,GJXZJQ,GJTX,GJ...
2021-11-23 13:48:12
989
原创 【数据仓库】数据仓库常见的一些面试题
建设数据仓库的八个步骤1.系统分析，确定主题操作出现的频率，即业务部门每隔多长时间做一次查询分析。在系统中需要保存多久的数据，是一年、两年还是五年、十年。用户查询数据的主要方式，如在时间维度上是按照自然年，还是财政年。用户所能接受的响应时间是多长、是几秒钟，还是几小时。由于双方在理解上的差异，确定问题和了解问题可能是一个需要多次往复的过程，信息部门的人员可能需要做一些原型演示给业务部门的人员看，以最终确定系统将要实现的功能确实是业务部门所需要的。2.选择满足数据仓库系统要求的..
2021-10-12 13:02:44
782
原创 [python]用python批量生成execl文件的mysql和hive的建表语句
用python批量生成execl文件的mysql和hive的建表语句，百度网盘链接如下，希望对大家有帮助；生成mysql语句：链接：https://pan.baidu.com/s/1mrG8o_5lWy0ZGpM8h9t8Jg提取码：y17n生成hive语句：链接：https://pan.baidu.com/s/1dPiXMd5bGEGrb9V0jvlefg提取码：j74y...
2021-10-12 12:53:11
211
原创 [阿里云产品]dataphin学习笔记
由于文档的内容太多，我就以文档的形式让大家下载学习，dataphin学习笔记内容如下面截图，希望对大家有用；百度网盘链接：链接：https://pan.baidu.com/s/1R5EWzT1Ka2ktOuXKDiPuhg提取码：egmi
2021-10-12 12:38:44
516
1
转载 【业务知识】金融、银行业务知识点（转载）
开户开户就是指客户在银行开设账户的简称。网上开户，是指投资者凭有效的数字证书登录证券公司网上开户系统、签署开户相关协议后，证券公司按规定程序为投资者办理开户。网上开户一般包括身份认证、安装数字证书、风险测评、开户协议阅读、股东账户资金账户开设、回访、投资者教育几个步骤。一级户和二级户对企业来说：银行的企业帐户分为：一级户即基本户、二级户即一般户、临时帐户、专用帐户等。集团账户是一...
2019-09-18 14:07:20
3465
原创 【Shell】清理指定日期之前文件夹的脚本
#!/bin/bash#=====================================================#日期：2019-09-04#功能：清理指定日期之前文件夹的脚本#调用方法： sh clear_dir.sh YYYYMMDD#调用说明： sh clear_dir.sh 日期#========================================...
2019-09-16 17:36:03
1124
原创 【Hadoop】hive中beeline的使用方法
例子：1.连接hive数据库，设置查询结果最大宽度20000beeline -u jdbc:hive2://10.11.0.160:10000/edw -n uaedw -p uaedw123 --maxWidth=200002.连接hive数据库，执行release20190822.sql内容beeline -u "${jdbc_conn_str}" -n ${user_name...
2019-08-19 17:28:30
14102
原创 【Hadoop】hive中常用语句（持续更新）
--查看函数功能desc function sum--查看hadoop执行计划Explainselect * from MID.V_FS_NLC_LC08_PRODUCT;--查看hadoop详细执行计划explain extendedselect * from MID.V_FS_NLC_LC08_PRODUCT;--查看hadoop的建表语句SHOW CREATE...
2019-08-19 15:25:33
603
原创 【Shell】批量创建日期文件夹
#!/bin/bash##############################################################################批量创建日期文件夹#调用方法：sh createdatedir.sh ip port username password srcname begndt overdt#例：sh createdatedir.sh 10...
2019-07-09 15:37:34
1753
原创 【Shell】批量文件上传
#!/bin/bash#############################################################################批量文件上传#调用方法：sh upload_file_all.sh etl_date source_system odm_tab_name#######################################...
2019-07-05 09:57:32
1043
原创 【Shell】从大数据hdfs路径下载文件或者文件夹到本地Linux目录
#!/bin/bash#=====================================================#日期：2019-06-17#功能：下载hdfs文件到本地脚本#调用方法： sh getfromfstolocal.sh YYYYMMDD SRC username HDFS_PATH#调用说明： sh getfromfstolocal.sh 日期 源系统 ...
2019-06-17 16:38:36
7105
原创 【软件】搜索某文件夹下某字段的工具
链接：https://pan.baidu.com/s/1GQq1UUBHNNa_pFR6fJ2lrA提取码：fivr复制这段内容后打开百度网盘手机App，操作更方便哦
2019-06-14 08:52:19
792
原创 【业务】数据仓库和银行相关业务知识点汇总 （持续更新）
数据库三范式原则：1NF:字段不可分; 2NF:有主键，非主键字段依赖主键; 3NF:非主键字段不能相互依赖;解释:1NF:原子性 字段不可再分,否则就不是关系数据库;2NF:唯一性 一个表只说明一个事物;3NF:每列都与主键有直接关系，不存在传递依赖;数据仓库(Data Warehouse)是一个面向主题的(SubjectOri2ented) 、集成的( Integrate )...
2019-06-11 17:53:20
3095
1
原创 【Shell】从本地服务器上传文件到远程服务器的shell脚本
#!/bin/bash###############################################文件上传#作者：jasenhua#日期：2019-05-29#调用方法：sh upload_file.sh yyyymmdd CLS TXT_FILE_PATH OK_FILE_PATH LOG_PATH#调用示例：sh upload_file.sh 20190524 ...
2019-05-29 11:59:33
4778
7
原创 【Shell】从远程服务器下载文件到本地服务器的shell脚本
#!/bin/bash#=====================================================#作者：jasenhua#日期：2019-05-29#功能：下载文件脚本#调用方法： sh download_file.sh YYYYMMDD source_system ok_file txt_file#=====================...
2019-05-29 11:53:53
8083
5
原创 【问题】出现Xftp无法连接的原因及破解版XshellXftp软件
1.点击xftp软件按钮，输入主机，协议默认ftp,输入用户名，密码，点击确定2.会出现下图的错误3.点击属性按钮，将协议换成sftp,点击确定，重新连接4.此时就可以连接成功了造成这种问题的是原因，是ftp和sftp协议之间的区别。1.SFTP使用加密传输认证信息和传输数据，更安全，但更安全带来副作用就是的效率比FTP要低些2.FTP要安装，SFTP...
2019-05-13 10:53:32
7469
原创 【资料】SQL.Cookbook(中文版)文档下载
链接：https://pan.baidu.com/s/1YHRLPhNFcFIWq3xLr_w6dA提取码：6yam
2019-05-13 09:06:08
2997
5
原创 【资料】数据仓库工具箱：维度建模的完全指南（第二版）.
链接：https://pan.baidu.com/s/1e2jwWKerCsnFyLmegaqOcg提取码：hc28
2019-05-13 09:05:56
1377
2
原创 【资料】unix操作系统常用命令文档
链接：https://pan.baidu.com/s/1VGf8Yd-LnXUe-ZnPIY-t3Q提取码：u07u
2019-05-13 09:05:50
252
原创 【资料】Shell脚本学习指南
链接：https://pan.baidu.com/s/1bEi25KxGCjaOz1HMJ94HnQ提取码：u0jr
2019-05-13 09:05:36
1539
3
原创 【资料】linux 个人珍藏
链接：https://pan.baidu.com/s/1opmG-I4wFNCVCcFquiq4bg提取码：h74n
2019-05-13 09:05:29
265
原创 【业务】GB4754T-2017国民经济行业分类
链接：https://pan.baidu.com/s/17iUdUPrqaDcMOGppn28grw提取码：1reu
2019-05-13 09:05:08
2809
原创 【学习】Cognos超详细中文教程
链接：https://pan.baidu.com/s/1fcg_GtM6q-qgXwTurUYLkw提取码：xzgs
2019-05-13 09:04:42
9479
4
原创 【业务】中国银行业务知识汇编全稿
链接：https://pan.baidu.com/s/1KJlgxe3t3RtOI71h03Lyaw提取码：g8w1
2019-05-10 16:36:47
2118
原创 【软件】pycharm-community和python-3.6.3软件下载
pycharm-community下载链接：https://pan.baidu.com/s/1hziSS4XX9Kx-2oqo01nGog提取码：yhmopython-3.6.3下载链接：https://pan.baidu.com/s/1Ubituchew8helbAekEDXXw提取码：vlnp...
2019-05-10 16:21:10
1513
原创 【软件】64位SVN下载
链接：https://pan.baidu.com/s/1MOpJhXhii0SjjxOgjP1EeQ提取码：96mm复制这段内容后打开百度网盘手机App，操作更方便哦
2019-05-10 16:15:56
1650
原创 【软件】JDK8.0和waterdrop软件下载，及注意事项
链接：https://pan.baidu.com/s/1GCiCUmC3tNX0NgnbA9vb_Q提取码：7mgk
2019-05-10 16:13:14
1416
原创 【软件】最新版本eclipse及execl转xml的Java包，execl转xml的操作步骤
链接：https://pan.baidu.com/s/1zi1tp5s0UKEXI8qU6W7qpw提取码：6xy7execl转xml的操作步骤：1.打开eclipse,点击import按钮，选择general文件夹下面的projects from Folder or Archive2.点击next，选择20161109_tools文件夹，导入3.选择src包下的tan...
2019-05-10 16:08:24
412
原创 【资料】DB2error编码对应含义
链接：https://pan.baidu.com/s/17Ugl1O1x303uu2Jw-9OrLw提取码：5so2
2019-05-10 16:00:36
188
原创 【学习】推荐证券软件开发学习的网站及书籍
业务知识：1.各交易所官网：1.1深交所：1.1.1业务规则：http://www.szse.cn/main/rule/1.1.2技术接口：http://www.szse.cn/main/rule/jysywzn/tech/1.2上交所：1.2.1业务规则：http://www.sse.c...
2019-05-07 17:26:18
608
原创 【软件】SecureCRT8.3.0软件及注册码
百度网盘下载地址：https://pan.baidu.com/s/1kWoceOJ激活步骤如下：1）准备工作：安装好SecureCRT软件，下载并得到该注册机。2）保持SecureCRT软件关闭，同时也要关闭杀毒软件（运行的话会提示你正在运行的，关闭就好）。3）将注册机拷贝到你的CRT软件的安装的目录下；4）点击【Patch】按钮，会让你选择文件 ...
2019-05-07 16:57:22
17615
1
转载 数据仓库和数据集市的区别【转载】
数据仓库与数据集市看了很多数据仓库方面的资料，都涉及到了“数据集市”这一说法，刚开始对数据仓库和数据集市的区别也理解得比较肤浅，现在做个深入的归纳和总结，主要从如下几个方面进行阐述：（1） 基本概念（2） 为什么提出数据集市（3） 数据仓库设计方法论（4） 数据集市和数据仓库的区别（5） 仓库建模与集市建模（6） 案例分析：电信CRM数据仓库Bill Inm
2018-01-09 10:49:30
13163
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人