坚持才会胜利

原创 华为云计算招聘，欢迎加入，一起共事，挑战技术难题

原创 瞌睡(java版)

1.题目描述小易觉得高数课太无聊了，决定睡觉。不过他对课上的一些内容挺感兴趣，所以希望你在老师讲到有趣的部分的时候叫醒他一下。你知道了小易对一堂课每分钟知识点的感兴趣程度，并以分数量化，以及他在这堂课上每分钟是否会睡着，你可以叫醒他一次，这会使得他在接下来的k分钟内保持清醒。你需要选择一种方案最大化小易这堂课听到的知识点分值。输入描述:第一行 n, k (1 <= n, k <=...

原创 俄罗斯方块(java)

1.题目描述小易有一个古老的游戏机，上面有着经典的游戏俄罗斯方块。因为它比较古老，所以规则和一般的俄罗斯方块不同。荧幕上一共有 n 列，每次都会有一个 1 x 1 的方块随机落下，在同一列中，后落下的方块会叠在先前的方块之上，当一整行方块都被占满时，这一行会被消去，并得到1分。有一天，小易又开了一局游戏，当玩到第 m 个方块落下时他觉得太无聊就关掉了，小易希望你告诉他这局游戏他获得的分数。...

原创 牛牛的闹钟(java)

1.题目描述牛牛总是睡过头，所以他定了很多闹钟，只有在闹钟响的时候他才会醒过来并且决定起不起床。从他起床算起他需要X分钟到达教室，上课时间为当天的A时B分，请问他最晚可以什么时间起床输入描述:每个输入包含一个测试用例。每个测试用例的第一行包含一个正整数，表示闹钟的数量N(N<=100)。接下来的N行每行包含两个整数，表示这个闹钟响起的时间为Hi(0<=A<24)时Mi(...

原创 数对（java）

1.题目描述牛牛以前在老师那里得到了一个正整数数对(x, y), 牛牛忘记他们具体是多少了。但是牛牛记得老师告诉过他x和y均不大于n, 并且x除以y的余数大于等于k。牛牛希望你能帮他计算一共有多少个可能的数对。输入描述:输入包括两个正整数n,k(1 <= n <= 10^5, 0 <= k <= n - 1)。输出描述:对于每个测试用例, 输出一个正整数表示可...

原创 迷路的牛牛（java）

1.题目描述牛牛去犇犇老师家补课，出门的时候面向北方，但是现在他迷路了。虽然他手里有一张地图，但是他需要知道自己面向哪个方向，请你帮帮他。输入描述:每个输入包含一个测试用例。每个测试用例的第一行包含一个正整数，表示转方向的次数N(N<=1000)。接下来的一行包含一个长度为N的字符串，由L和R组成，L表示向左转，R表示向右转。输出描述:输出牛牛最后面向的方向，N表示北，S表...

原创 安置路灯（java）

1.题目描述小Q正在给一条长度为n的道路设计路灯安置方案。为了让问题更简单,小Q把道路视为n个方格,需要照亮的地方用’.'表示, 不需要照亮的障碍物格子用’X’表示。小Q现在要在道路上设置一些路灯, 对于安置在pos位置的路灯, 这盏路灯可以照亮pos - 1, pos, pos + 1这三个位置。小Q希望能安置尽量少的路灯照亮所有’.'区域, 希望你能帮他计算一下最少需要多少盏路灯。输...

原创 牛牛找工作（java）

1.题目输入描述:每个输入包含一个测试用例。每个测试用例的第一行包含两个正整数，分别表示工作的数量N(N<=100000)和小伙伴的数量M(M<=100000)。接下来的N行每行包含两个正整数，分别表示该项工作的难度Di(Di<=1000000000)和报酬Pi(Pi<=1000000000)。接下来的一行包含M个正整数，分别表示M个小伙伴的能力值Ai(Ai&lt...

原创 被3整除（java版）

题目描述小Q得到一个神奇的数列: 1, 12, 123,…12345678910,1234567891011…。并且小Q对于能否被3整除这个性质很感兴趣。小Q现在希望你能帮他计算一下从数列的第l个到第r个(包含端点)有多少个数可以被3整除。输入描述:输入包括两个整数l和r(1 <= l <= r <= 1e9), 表示要求解的区间两端。输出描述:输出一个整数, 表示...

原创 hive安装完成后show databases报错

hive完成安装后，使用mysql命令show databases报错FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.Ses...

转载 Hadoop、Hbase、Hive和zookeeper版本

本文转载自：https://blog.csdn.net/u014333671/article/details/81196341Hadoop平台中各个组件的版本匹配非常重要！不是所有组件都下载最新版本就好，版本不匹配和引发各种问题。Hadoop和Hbase的匹配关系可以查看Hbase官方文档，搜索‘Hadoop version support matrix’：http://hbase.apac...

原创 struct streaming自定义MysqlSink组件

1.项目所用jar包<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql-kafka-0-10_2.11</artifactId> <version>${spark.version}</versi...

转载 Struct Streaming的流-流连接

流 - 流连接的案例：广告货币化想象一下，您有两个流 - 一个广告展示流（即，向用户显示广告时）和另一个广告点击流（即，当用户点击显示的广告时）。要通过广告获利，您必须匹配导致点击的广告展示。换句话说，您需要根据公共密钥加入这些流，公共密钥是两个流的事件中存在的每个广告的唯一标识符。在高级别，问题如下所示。虽然这在概念上是一个简单的想法，但仍有一些核心技术挑战需要克服。使用缓冲处理延迟/延...

原创 运行struct streaming报错

运行struct streaming报错Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve 'timewindow(timestamp, 10000000, 5000000, 0)' due to data type mismatch: argument 1 requires time...

原创 Struct streaming +kafka 时间窗操作

import java.sql.Timestampimport org.apache.spark.sql.streaming.OutputModeimport org.apache.spark.sql.{DataFrame, Dataset, SparkSession}object StructStreamingWindows { def main(args: Array[String...

原创 Hadoop启动报错 Caused by: java.net.BindException: Address already in use: bind

启动Hadoop Namenode 失败，提示端口号被占用解决方法：修改core-site.xml&lt;property&gt; &lt;name&gt;fs.defaultFS&lt;/name&gt; &lt;value&gt;hdfs://localhost:9000&lt;/value&gt; &lt;/property&gt; 将9...

原创 windows ping不通虚拟机ip地址

1.检查虚拟机设置点击编辑–&gt;虚拟网络设置，查看子网与虚拟机子网是否一个桥段2.windows 与 liunx ping www.baidu.com 看看是否能ping通，ping不通就是网络设置有问题3.修改网卡设置ok！！...

原创 安装spark集群

1.下载spark1.1进入Apache spark 下载页面 https://archive.apache.org/dist/spark/选择需要的版本号以2.2.0为例，由于已经安装过hadoop、所以我们下载hadoop-2.6版本的spark1.2需要安装的环境JDK 1.8.0hadoop 2.6.0scala 2.11.0spark 2.2.0注意：从2.0版开始...

原创 修改移植后liunx网卡配置

1、 首先进入原系统，使用命令查看网卡信息ifconfig会发现找不到eth0网卡信息2.修改配置vi /etc/sysconfig/network-scripts/ifcfg-eth0修改配置信息：将onboot改为yes3.修改配置网卡vi /etc/udev/rules.d/70-persistent-net.rules将前边的网卡注释掉，更改最后一个网卡为eth0r...

原创 安装Scala环境

一、win7环境安装1.安装jdk下载jdk，网盘地址：链接：https://pan.baidu.com/s/1KSwEl4JkhjNllMp28mqMqQ提取码：jqvp直接双击，安装到想要的环境目录2.修改环境变量2.1新建系统变量 JAVA_HOME 输入jdk安装目录2.2 修改PATH修改PATH：%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;...

原创 解决IDEA安装插件Plugin 'Scala' is incompatible with this installation

今天从硬盘安装idea -Scala插件时，报如下错误：Plugin 'Scala' is incompatible with this installation这个问题主要是因为idea版本与插件版本不一致导致。1.查看idea版本关闭所有工程，进入初始界面看到我们所安装的idea的版本信息2.查看插件信息这里就很明显了，插件版本太新，导致idea并不能成功安装3.替换...

原创 聚类外部评价指标（F-Measure、Entropy、Purity）及matlab实现

本文参考：1.https://www.cnblogs.com/zhangduo/p/4504879.html2.https://blog.csdn.net/vernice/article/details/46467449?utm_source=blogxgwz8一、简介介绍聚类中的外部评价指标如下图：其中上图中的Ni（i=1…k）表示所使用方法聚类之后K类具有的个数，Nj表示K类中的标...

原创 聚类分析（三） 层次聚类及matlab程序

1.层次聚类介绍2.matlab程序

原创 利用虚拟机快速搭建大数据学习平台

1.环境准备win7、wmware、centos镜像2.虚拟机镜像配置及其选择3.安装centos

原创 聚类分析（二）k-means及matlab程序

1.介绍k-means是一种常见的基于划分的聚类算法。划分方法的基本思想是：给定一个有N个元组或者记录的数据集，将数据集依据样本之间的距离进行迭代分裂，划分为K个簇，其中每个簇至少包含一条实验数据。2.k-means原理分析2.1工作原理（1）首先，k-means方法从数据集中随机选择K个数据中心点，每个点代表初始的聚类中心（2）计算剩余各个样本到每个聚类中心的距离，将每个样本距离第i个...

原创 安装redis（win7+集群安装）

一、安装win7版本1.下载redisgithub下载地址：https://github.com/MicrosoftArchive/redis/releases网盘下载地址：链接：https://pan.baidu.com/s/15NtjKtc_5t37azTTmQqsvQ 提取码：p8le2.将文件进行解压解压完成后的文件如下图所示：3.（1）点击文件夹内redis-serve...

原创 kafka_2.11-1.1.0生产者消费者

1.idea新建maven项目，导入配置文件pom.xml&lt;?xml version="1.0" encoding="UTF-8"?&gt;&lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...

原创 解决idea远程连接kafka问题

使用win7用idea进行kafka进行生产者消费者远程连接时出现[kafka-producer-network-thread | producer-1] WARN org.apache.kafka.clients.NetworkClient - [Producer clientId=producer-1] Connection to node -3 could not be establis...

原创 解决jdk安装后出现 Error: could not open `E:\jdk\lib\amd64\jvm.cfg'

win7重新安装jdk后出现运行javac正常运行java出现Error: could not open `E:\jdk\lib\amd64\jvm.cfg'1.首先查看环境变量配置是否正确将PATH中JAVA_HOME/bin移动到最前边2.找到C:\Program Files (x86)\Common Files\Oracle\Java有个\javapath_target_40...

原创 kafka常用命令

1.启动kafka集群在每台机器上启动bin/kafka-server-start.sh config/server.properties2.查看当前服务器中的所有topicbin/kafka-topics.sh --list --zookeeper zk01:21813.创建topicbin/kafka-topics.sh --create --zookeeper mini1...

原创 Strom核心组件与编程模型

1.Strom介绍Storm用来实时处理数据，特点：低延迟、高可用、分布式、可扩展、数据不丢失。提供简单容易理解的接口，便于开发2.strom与hadoop的区别 Storm用于实时计算，Hadoop用于离线计算。 Storm处理的数据保存在内存中，源源不断；Hadoop处理的数据保存在文件系统中，一批一批。 Storm的数据通过网络传输进来；Hadoop的数据保存在磁盘中。 ...

原创 聚类程序（汇总）k-means、层次聚类、神经网络聚类、高斯混合聚类等

利用不同方法对数据进行聚类，参考至：周志华 机器学习%% 利用不同方法对债券样本进行聚类 %说明 %分别采用不同的方法，对数据进行聚类 %可以选择的pdist/clustering距离 % methods = {'euclidean'; 'seuclidean'; 'cityblock'; 'chebychev'; ... ...

转载 Flume安装

1.flume介绍 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中 一般的采集需求，通过对flume的简单配置即可实现 Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常...

原创 Java学生管理系统

1.准备环境win7 eclipse sql2008sever连接数据库需要jar包，上篇文章已写2.定义模块（1）StuManage：主界面（2）StuModel：数据模型（3）StuAddDialog：添加学生信息模块（4）StuUpDialog：修改学生信息模块3. 模块源码StuManage源码：package cn.test.StuManager;import ...

原创 双系统中两个虚拟机使用相同镜像

VMware虚拟机安装好CentOS6.5系统后，纯净的系统多克隆几份出来方便后期做试验。克隆步骤很简单，克隆后出现的问题是克隆后的网卡MAC地址和原系统MAC地址一样，在局域网内会有冲突，需要更改克隆后的MAC地址。 解释一下：实际上克隆后的系统有两个网卡eth0和 eth1，实际起作用的是eth1，eth0是克隆过来的。克隆系统会重新生成一个mac地址，因为系统会在eth0加1变成eth1。...

原创 启动storm自动化脚本

#!/bin/bashecho "-----------正在启动zookeeper-----"for hostname in mini1 mini2 mini3do ssh $hostname "source /etc/profile;/home/hadoop/apps/zookeeper/zookeeper-3.4.10/bin/zkServer.sh start" echo ...

原创 storm1.0.2 storm.yaml配置

# Licensed to the Apache Software Foundation (ASF) under one# or more contributor license agreements. See the NOTICE file# distributed with this work for additional information# regarding copyrigh...

原创 安装storm1.0.2

机器情况：在mini1、mini2、mini3机器的/home/hadoop/apps目录下分别下载storm安装包 　本博文情况是　　mini1　　　　　　nimbus 　　mini2　　　　　　 nimbus　　　　supervisor 　　mini3　　　　　　 supervisor 1、apache-storm-1.0.2.tar.gz的下载http://arch...

原创 windows jdk1.8连接本地sql sever 2008

1.sql sever2008 安装、 参考百度教程安装sql server 2008 下载软件地址：链接：https://pan.baidu.com/s/1o3SmW2LqVrtRZHOnr7FB5w 密码：ky5q 所需要jar包同样放置于该文件夹下。 2.配置sql sever 打开Sql Server Configure Manager 3.配置ｓｑｌ登陆为混合模式 　　...

原创 安装hbase

1.hbase安装注意事项 hbase开始安装前确保安装了zookeeper、java、hadoop 以及hadoop版本号对应的hbse版本。以免发生不兼容现象。安装时一定要同步ntp时间 2.ntp同步liunx集群时间 （1）选择其中一台作为基准服务器，安装ntp 机器mini1，mini2，mini3yum install ntp （2）服务器配置 mini1上调整时...