- 博客(230)
- 资源 (16)
- 收藏
- 关注
RSS订阅原创 test java对excel读写处理
/ System.out.println("开始");// System.out.println("结束");//创建string数组存放结果。// 打开 Excel 文件。// //创建流。// //关闭流。
2023-12-04 14:30:00
472
原创 【无标题】
order_actually_amount-order_origin_amount-order_send_amount-order_affiliate_amount-order_gift_amount-order_capital_amount as order_residue_amount -- 订单-现金(不含运费)WAIT_BUYER_RETURN_GOODS，卖家已经同意退款，等待买家退货；WAIT_SELLER_CONFIRM_GOO',BUYER_RETURNED_GOODS，买家退货',
2023-09-26 16:23:42
205
4
原创 jsonarray打jar包处理.sql
from},},},},],}' AS doc)from (select dt,itemfrom (select dt,item,from (selectdt。
2023-09-26 14:50:12
268
原创 09261
order_status` bigint COMMENT '订单状态\r\n待付款 1\r\n交易关闭 2\r\n已付款 3\r\n待审核 4\r\n待发货 5\r\n待收货 6\r\n已签收 7\r\n延长售后 8\r\n交易完成(已签收未关闭售后入口) 9\r\n交易完成(已签收且已关闭售后入口) 10\r\n拦截失败-11\r\n退款中-12\r\n退款成功-13\r\n商品入库失败-14',WAIT_SELLER_CONFIRM_GOO',BUYER_RETURNED_GOODS，买家退货',
2023-09-26 14:45:49
172
原创 【无标题】
order_status` bigint COMMENT '订单状态\r\n待付款 1\r\n交易关闭 2\r\n已付款 3\r\n待审核 4\r\n待发货 5\r\n待收货 6\r\n已签收 7\r\n延长售后 8\r\n交易完成(已签收未关闭售后入口) 9\r\n交易完成(已签收且已关闭售后入口) 10\r\n拦截失败-11\r\n退款中-12\r\n退款成功-13\r\n商品入库失败-14',9："待YNAP确认"',
2023-09-26 14:45:01
287
1
原创 【无标题】
INSERT INTO user_profile VALUES(2,3214,'male',null,'复旦大学',4.0,15,5,25);INSERT INTO user_profile VALUES(4,2315,'female',23,'浙江大学',3.6,5,1,2);INSERT INTO user_profile VALUES(1,2138,'male',21,'北京大学',3.4,7,2,12);
2023-09-26 14:31:14
83
原创 09262023
order_status bigint COMMENT '订单状态\r\n待付款 1\r\n交易关闭 2\r\n已付款 3\r\n待审核 4\r\n待发货 5\r\n待收货 6\r\n已签收 7\r\n延长售后 8\r\n交易完成(已签收未关闭售后入口) 9\r\n交易完成(已签收且已关闭售后入口) 10\r\n拦截失败-11\r\n退款中-12\r\n退款成功-13\r\n商品入库失败-14',
2023-09-26 14:29:21
688
原创 mysql远程连接 Communications link failure失败问题
95: 2022-10-09 12:39:36 ERROR common_util.py common_util 导入数据失败。导致emr上多次重试提交到了没权限的服务器上 导致延迟几个小时 没成功，多次重试。需要把几台服务器的权限都加上。本地三台服务器 ， 跑python导数脚本 结果 只有1台有权限， 另外两台不能连接这个mysql实例。这种情况 link communication 失败问题 很有可能是。
2022-10-20 17:36:28
1191
原创 flume kafka sys_setup.sh 常用命令
1.启动kafkahadoop-zkServerkafka-server-start.sh /opt/soft/kafka200/config/server.properties//查看数据量 mac:0:28kafka-run-class.sh \kafka.tools.GetOffsetShell \--broker-list 192.168.10.136:9092 \--topic event_attendees --time -1kafka-consumer-grou...
2021-12-31 13:44:17
1467
原创 1226 练习
第一题上传hdfs dfs -mkdir /app/data/allprovinceshdfs dfs -put /opt/1226/products.txt /app/data/allprovinces/hdfs dfs -put /opt/1226/allprovinces.txt /app/data/allprovinces/hdfs dfs -mv /app/data/allprovinces/products.txt /app/dat...
2021-12-26 16:01:40
1156
原创 1226 exam hive sparksql spark rdd spark dataframe 简单操作
1hdfs dfs -mkdir /app/data/allprovinceshdfs dfs -put /opt/1226/products.txt /app/data/allprovinces/hdfs dfs -put /opt/1226/allprovinces.txt /app/data/allprovinces/hdfs dfs -mkdirhdfs dfs -mv/app/data/allprovinces/products.txt/app/data/eve...
2021-12-26 15:22:27
796
原创 azkaban配置 在linux上面的配置 以及改国内源 anaconda3 5.3.1的安装 pip centos 换源
[root@hadooptest ~]# cd /opt/[root@hadooptest opt]# tar -zxf azkaban-executor-server-2.5.0.tar.gz[root@hadooptest opt]# tar -zxf azkaban-sql-script-2.5.0.tar.gz[root@hadooptest opt]# tar -zxf azkaban-web-server-2.5.0.tar.gz[root@hadooptest opt]# mv...
2021-12-06 01:58:34
1773
原创 anaconda Python如何配置换源 下载pyspark
需要 手动改linux python版本写python3 脚本命令 执行安全linux下安装anaconda3 5.3.1用豆瓣源 下载pyspark改python3 anaconda3 3.5.1源cd /optsh Anaconda3-5.3.1-Linux-x86_64.sh全程回车 和yescentos中安装anaconda_bug的博客-CSDN博客vim /etc/profil...
2021-12-03 08:51:24
414
原创 项目实战 航班飞行网图分析
训练的技能点Spark GraphX API Spark GraphX PageRank Spark GraphX Pregel需求概述 探索航班飞行网图数据 构建航班飞行网图 使用Spark GraphX完成下列任务 统计航班飞行网图中机场的数量 统计航班飞行网图中航线的数量 计算最长的飞行航线（Point to Point） 找出最繁忙的机场 找出最重要的飞行航线（PageRank） 找出最便宜的飞行航线（SSSP）下载数据（USA Flight Dataset） https://d
2021-10-29 19:41:14
1057
原创 脚本mysql java 虚拟机基本信息 hadoop hive zeppelin 阿里源 静态地址 hosts文件
#修改系统名字 同时修改hosts文件#修改IP静态地址#关闭防火墙#修改yum源为阿里源#检查文件的文件夹是否存在 不存在就创建一个#安装mysql5.7#用expect配置全自动ssh免密#安装hadoop#配置4个site.xml和一个evn.sh#安装hive#!/bin/bash#修改系统名字 同时修改hosts文件modify_sysname(){ hostnamectl set-hostname $1 #先获取hosts文件中对应的内容 如果没发现对应的.
2021-10-29 16:30:59
762
原创 shell脚本中 运行时候遇到-bash ./sys_setup.sh #!/bin/bash No such file or directory
这个问题源于encoding不对 可以使用notepad 进行操作 改成utf-8 而不是UTF-8-BOM！！！
2021-09-28 09:36:12
187
原创 关于linux shell中 出现不下心把etc /profile中的东西搞坏了 vi ip a vim yum 所有的操作 都显示command not found 原因
很简单就是 /etc/profile文件中内容被写坏了 要改这时候vi操作用不了这样写 which vi得到/usr/bin/vi然后 cd /usr/bin然后./vi /etc/profile 去改 只能这么做！！！！
2021-09-28 09:33:45
162
原创 关于shell脚本 中source /etc/profile 这条命令不运行 解决方法
./sys_setup.sh 5 myh 192.168.100.129这种方法运行会导致 source命令 运行不了所以运行脚本应该用这条 用source来运行source hello.sh
2021-09-28 09:31:44
1142
原创 SSM spring springmvc mybatis 如何整合 实现一个简单demo 用idea的方法 连接mysql和oracle数据库 具体操作
效果图这个demo用了 两种一个是连接 mysql 还有一个是 连接oracle创建工程使用maven中的 webapp代码InitCtrlpackage com.myh.ssm.controller;import com.myh.ssm.entity.Bank;import com.myh.ssm.services.BankService;import org.springframework.web.bind.annotation.Re...
2021-09-27 20:53:00
261
原创 sublime配置 下载 秘钥 以及sftp 连接linux centos 远程的方法 远程操作文档增删改查 utf-8格式修改 unix格式
下载文件地址！！hi，这是我用百度网盘分享的文件~复制这段内容打开「百度网盘」APP即可获取。链接：https://pan.baidu.com/s/1CzP87lvKpeQxxJjBhnxQbg提取码：Ny26--来自百度网盘超级会员V1的分享下载完sublime先enter lisence 给到—– BEGIN LICENSE —–Michael BarnesSingle User LicenseEA7E-8213858A353C...
2021-09-23 20:14:28
309
原创 sh脚本 linux 先开启hadoop cdh 服务 然后启动hive 然后启动 zeppelin的 脚本 代码
#! /bin/bashmy_start(){ if [ $1 == "start" ];then #start hadoop sh /opt/soft/hadoop260/sbin/start-dfs.sh sh /opt/soft/hadoop260/sbin/start-yarn.sh #start hive nohup /opt/soft/hive110/bin/hive --service hiveserver2 & #start zepplin sh...
2021-09-22 01:17:13
115
原创 hadoop中mapreduce具体操作代码 reduce join partion wordcount wc actcount actcount2 common mapjoin mpcombine
maven导入的包<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.11</version> <scope>test</scope> </dependency>
2021-09-17 02:13:24
126
原创 文件分割方式 模仿hadoop手写一个工作原理 模仿hadoop filesplit任意切片
1分成两部分 用randomaccessfilepackage org.example;import java.io.RandomAccessFile;import java.util.HashMap;import java.util.Map;public class App { public static void main(String[] args) throws Exception { //读文件 //一行一行分割字符串 /.
2021-09-16 00:38:16
132
原创 CDH安装完成后 给CDH设置免密登录 秘钥
先开启hadoop文件下 start-all.shjps看到[root@myh hadoop]# jps23931 ResourceManager23612 DataNode24364 Jps23485 NameNode24221 NodeManager23775 SecondaryNameNode[root@myh hadoop]# ssh-keygen -t rsa -P ''无密码Enter file in which to save the key (/r.
2021-09-10 01:13:45
678
原创 centos上安装cdh2.6的方法
确保已经装好jdk并且配置好先创文件夹解压（最后一句话是去皮）cd /opt/soft/hadoop260/etc/hadoop改配置文件vim core-site.xmlconfiguration里面加入 <property> <name>fs.defaultFS</name> <value>hdfs://192.16...
2021-09-09 00:57:58
66
原创 centos一键安装脚本 涉及主机名 ip地址 jdk mysql安装
#!/bin/bash#修改系统名称 同时修改hosts文件modify_sysname(){ hostnamectl set-hostname $1 #先获取hosts文件中对应的内容如果没发现对应的内容才能添加这个地址 cfg=`cat /etc/hosts | grep $2 | grep -wF $1` if [ "$cfg" == "" ];then #根据IP地址修改hosts文件 echo "$2 $1" >> /etc/hosts fi}#修改I.
2021-09-08 10:01:41
100
原创 903spring springmvc mybatis整合 springboot ssm
这是控制器 也就是servletspring早于mybatis要将spring 和 mybatis 整合到一起spring和mybatis的搭桥 不可以缺导入spring transaction 就不用 手动commit了ref是引用别人的类 把类对象引入value 是字符串属性 塞入字符串就好省略这些步骤spring间接管理mybatis中小型项目用快捷工具一搞大型项目还是要用...
2021-09-04 01:03:39
104
原创 903前端埋点 springboot
显示用户偏好效果 ajax代码效果 accessrandomfile创建springboot工程spring: datasource: driver-class-name: oracle.jdbc.driver.OracleDriver url: jdbc:oracle:thin:@192.168.100.151:1521:orcl username: cm password: okmybatis: mapper-locations: cla
2021-09-04 00:47:51
150
原创 windows 杀掉进程 端口
2、查找所有运行的端口输入命令：netstat -ano该命令列出所有端口的使用情况。在列表中我们观察被占用的端口，比如是 1224，首先找到它。3、查看被占用端口对应的 PID输入命令：netstat -aon|findstr "8081"回车执行该命令，最后一位数字就是 PID, 这里是 9088。4、查看指定 PID 的进程继续输入命令：tasklist|findstr "9088"回车执行该命令。查看是哪个进程或者程序占用了 8081
2021-08-25 09:26:43
1829
原创 datagrip 为什么output 看不到东西的原因？！
最近用datagrip 连接oracle 遇到一些很坑的问题。一开始默认output 是看不到结果的DBMS_OUTPUT.PUT_LINE(pcc);类似这样的输出语句 看不到 要的输出行一般是把代码给你看下有两个地方要改的第一进去后勾上然后应用 确认就行了还有一个问题！第二（检查了大概一星期才找到） 之前都是用的plsql这里找到console ctrl+f8一定要勾上这一个 允许使用db...
2021-08-24 01:01:41
2581
1
原创 sql删除 表中重复语句
delete from S1_COURSEwhere cno in( select CNO from S1_COURSE group by CNO having count(CNO)>1 );操作以后select * from S1_COURSE;
2021-08-15 17:21:21
63
原创 truncate table(截断表)和delete区别
truncate table(截断表) 是清空一个表，是一个DDL语言，效率高，它与delete有如下区别。delete是DML语言;delete时会触发与表相关的触发器，而truncate不会;delete可以有删除条件，truncate没有。在Oracle中如果删除了表中的某一条数据，还可以通过回滚操作(rollback)进行回滚，假如想清空一张表的数据，但是又不想使其能进行回滚操作，就可以立刻释放资源，这时就需要使用截断表了。它的主要功能就是彻底删除数据，使其不能进行回滚。这里我打个比方大家
2021-08-14 00:51:02
2407
原创 centos 下 vim没装好没法用的问题vim: error while loading shared libraries: /lib64/libgpm.so.2: file too short解决
装了 vim 结果不能用 用就是没反应vim: error while loading shared libraries: /lib64/libgpm.so.2: file too short解决过程如下：1、先搜索了一下该软件是哪个包提供的[root@localhost ~]# yum provides *libgpm.so.22、将该软件包重新安装了一下[root@localhost ~]# yum reinstall -y gpm-libs然后vim就可用..
2021-08-10 21:45:53
529
原创 centos yum更换国内源
Linux yum更换国内源备份cd /etc/yum.repos.d/mv CentOS-Base.repo CentOS-Base.repo_bak2 网易yum源：wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.163.com/.help/CentOS7-Base-163.repoyum clean allyum makecache3阿里云yum源：wget -O /etc/yum.repos.d/Ce
2021-08-10 10:05:58
96
原创 mysql练习
-- MySQL 如何实现upsert的功能/*可以在INSERT INTO…..后面加上 ON DUPLICATE KEY UPDATE方法来实现。如果您指定了ON DUPLICATE KEY UPDATE，并且插入行后会导致在一个UNIQUE索引或PRIMARY KEY中出现重复值，则执行旧行UPDATE。例如，如果列a被定义为UNIQUE，并且包含值1，则以下两个语句具有相同的效果：*/-- INSERT INTO testupsert (`a`, `b`, `c`) VALUES (1.
2021-08-08 17:11:23
220
03.国赛辅导：数学规划模型.vep
2019-07-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人