程序猿小柒-CSDN博客

原创 NC77调整数组顺序使奇数位于偶数前面

方法一：public static int[] reOrderArray(int[] array) { // write code here int[] arr = new int[array.length]; int j = 0; for (int i = 0; i < array.length; i++) { if (array[i] % 2 == 1) { arr[j++]

2021-12-17 15:47:57 396

一. 概述大数据生态圈大多数技术都是master-slave架构，Spark、Storm、Flink无一例外都是这种架构，Spark是目前批计算的主流，Flink目前逐渐取代Storm成为了流式计算的主流，Storm逐渐被市场淘汰，但是不得不说Storm也是一个非常优秀的流式计算框架，其实时性非常好。在分布式计算框架中，角色即进程，任务通常是以线程的形式跑在计算层的JVM进程中，但是每个框架中是有差异的，以下针对Spark/Storm/Flink三大主流计算框架进行对比。二.横向对比在生产中，.

2021-11-19 12:01:15 5114

原创 mysql求一列的中位数

mysql如何求一列的中位数select avg(ttt.show_raw)from (select t.show_raw, @row_number:=@row_number+1 as rank from (select show_raw from test.show_table where date='2021-09-17' order by show_raw asc)t ,(select @row_number:=0)tt)ttt where ttt.rank

2021-10-12 15:09:42 239

原创 mysql实现开窗函数

mysql实现hive row_number()函数分组按照app字段分组,show_raw排序：select app, show_raw, rank from ( select report.app, report.show_raw, if(@str1=report.app,@row_number:=@row_number+1,@row_number:=1) as rank, @str1:=report.app from (select

2021-10-12 15:04:50 265

原创 Spark调度系统流程

Spark调度系统包含3个核心组件，分别是DAGScheduler、TaskScheduler和SchedulerBackend。这3个组件都运行在Driver进程中，它们通力合作将用戶构建的DAG转化为分布式任务，再把这些任务分发给集群中的Executors去执行。...

2021-09-29 15:08:32 154

原创选择排序算法

选择排序：思想：（1）首先从原始数组中选择1个最小的数据，将其和位于第1个位置的数据交换。（2）接着从剩下的n-1个数据中选择次小的1个元素，将其和第2个位置的数据交换（3）然后，这样不断重复，直到最后两个数据完成交换。最后，便完成了对原始数组的从小到大的排序。代码：public static int[] selectSort(int[] nums) { for (int i = 0; i < nums.length - 1; i++) {

2021-06-11 19:55:21 99

原创冒泡排序算法

冒泡排序算法：a.注意：等值不进行交换，最理想的情况。b.方法：比较两个相邻的元素，小的在左，大的在右侧c.思想：依次比较相邻的两个数，将小的数放在左面，比较大的数放在右面（1）第一次比较：首先比较第一和第二个数，将小数放在前面，将大数放在后面（2）比较第二和第三个数，将小的放在前面，大的放在后面（3）如此继续，直到比较到最后的两个数，将小的放在前面，大的放在后面，重复步骤，直至全部排序完成（4）在上面一趟比较完成后，最后一个数一定是数组中最大的一个数，所以在比较第二趟

2021-06-11 17:17:23 54

原创 Elasticsearch

Elasticsearch简介ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。我们建立一个网站或应用程序，并要添加搜索功能，令我们受打击的是：搜索工作是很难的。我们希望我们的搜索解决方案要快，我们希望有一个零配置和一个完全免费的搜

2021-03-05 11:19:13 113

原创 Amazon S3中的数据同步至hive分区表中

Amazon S3中的数据同步至hive分区表中本篇主要讲解利用spark程序将appflyer采集的数据同步hdfs再同步到hive表中，从而对数据进行分析计算；。编写Spark代码①val spark = SparkSession.builder() //.master("local[*]") .config("spark.eventL...

2020-04-08 18:14:44 498

原创在linux服务器上配置python+selenium+google+chromedriver环境实现自动化测试

1.Python安装sudo rz -be +Python-3.6.5.tgz #上传python包到服务器tar -xvzf Python-3.6.5.tgz #解压文件cd Python-3.6.5/ #进入目录sudo yum -y install gcc #安装gcc等sudo yum install openssl-de...

2020-03-30 18:38:18 586

qq_14815605的博客