qq_38980688-CSDN博客

原创 hadoop3.1.1 优化之slowstart（源码分析）

本文探讨的参数是：mapreduce.job.reduce.slowstart.completedmaps关于此参数的介绍hadoop 3.1.1中mapred-default.xml中关于此参数的介绍如下：mapreduce.job.reduce.slowstart.completedmaps 0.05 （默认值） Fraction of the number of maps in the job which should be complete befor

2020-05-22 00:22:23 547

原创 kafka作为flink输入源及输出源

flink的代码如下：（主要是接收kafka来的数据，然后做一些转换后，输出到kafka）import java.util.Propertiesimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.functions.source....

2020-04-06 22:57:52 996

原创 Kafka单机版环境搭建及使用教程

官网下载kafka 其中2.11代表的是scala的版本信息单机版环境搭建 kafka里自带了一个zookeeper，可以不需要再去下载zookeeper。在启动kafka前，需要先启动zookeeper。（1）首先去修改config目录下的zookeeper.properties其中dataDir是快照存放地址，clientPort是客户端连接zookeep...

2020-03-29 18:36:14 2005 2

原创【Memcached】初理解

Memcached最初是为LiveJournal服务的，是为了缓解数据库压力而构建的一个分布式内存缓存系统。在日常生活中，我们访问的网站的所有数据基本上都是保存在数据库中的，频繁的获取数据库的数据会让数据库的性能降低，无法同时服务更多的用户。大家都知道，当有一个request过来后，web服务器并从db中存取相关数据，但db存取的花费是相当高昂的。特别是每次都取相同的数据，等于是让数...

2020-03-12 21:07:05 262

原创 Hadoop Rpc解析

hadoop Rpc概述Hadoop的RPC使用了两种RPC引擎：WritableRpcEngine和ProtobufRpcEngine。RPC的包格式如下所示：由两部分组成：RpcRequestHeader和RpcRequest。若是使用ProtobufRpcEngine的引擎，格式如下： 4字节总长度 RpcRequestHeader长度（可变长） ...

2020-03-12 19:42:55 336

原创【腾讯软件测试面试经历】一面、二面、HR终面

此文讲述了我和腾讯蜜汁缘分。我在腾讯截至投递简历的前十几分钟填完了简历，以至于我报错岗位了。我想去的是测试开发，却报成了软件测试。紧接着，我收到了笔试通知。在笔试的模拟测试中，共有2种类型的题目：不定项选择题26分，填空题24分。囊括的知识点很广，有linux,操作系统（页面替换题，进程线程），数据结构，计算机网络。在正式笔试的时候，考的跟模拟题完全不一样！可能因为我是软件测试而不是测...

2019-10-25 13:40:28 61115 22

原创 maven打包spark程序并放到集群上运行（超详细！！！）

PS：此文章的背景要求是已安装好spark standalone模式，maven,和Intellij,scala插件。一、maven的配置文件如下：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="ht...

2019-09-26 21:11:47 4074 1

原创解决VMware运行Ubuntu无法跨系统复制粘贴的问题

sudo apt-get autoremove open-vm-toolssudo apt-get install open-vm-toolssudo apt-get install open-vm-tools-desktop用以上3条命令即可解决。亲测有效。参考：https://blog.csdn.net/nzyalj/article/details/80288340...

2019-07-24 15:10:31 280

原创 keras中保存模型

1.首先要安装h5py库sudo pip install h5py2.在训练完后保存模型,若保存为单一文件使用model.save()，里面包含了模型的结构和权重。model = Sequential() model.add(LSTM(...)) model.compile(...) model.fit(...) # save model model.sav...

2019-03-26 14:07:16 519 3

原创 LSTM在keras中参数return_sequences、return_state的超详细区别(附代码)

一、定义return_sequences:默认为false。当为false时，返回最后一层最后一个步长的hidden state;当为true时，返回最后一层的所有hidden state。return_state:默认false.当为true时，返回最后一层的最后一个步长的输出hidden state和输入cell state。二、实例验证下图的输入是一个步长为3,维度为1的数组...

2019-03-25 15:11:28 6644 3

原创【保研面经】人大信息学院，北航计算机学院，中科大大数据学院，南大计算机系

一、保研前期准备本人是（末流）985软件工程系的一名学生，未参加过任何比赛，保研的时候使用的排名是4/114，六级511，学校保研率是15%。保研前未接触过人工智能相关的知识，纯小白，仅参与过几个web开发的项目。由于自身条件不是很好，所以在夏令营的时候选择的是海投战略。当初投的是：电子科技大学，华东师范大学，南开大学，厦门大学，同济大学，中国人民大学，中国科学技术大学，中山大学，北京航...

2019-02-27 21:38:39 14359 28

原创今日头条【测试开发】一面面经

1.自我介绍2.大学内学的最好的课程--（我说了数据库，这就是绝望的开始（1）用sql语句查询一个成绩表，找出平均分前100名的姓名和学号。(limit 0,100) （2）给定两个表：tableA(a,b,c) 和 tableB（1，2, 3）。左连接 select * from tableA a left join tableB b on a.c = b.3;请问左...

2018-12-27 16:40:27 3149

原创【吴恩达machine learning】第二周作业 Linear Regression

1.warmUpExercise.mfunction A = warmUpExercise()%WARMUPEXERCISE Example function in octave% A = WARMUPEXERCISE() is an example function that returns the 5x5 identity matrixA = [];% ==========...

2018-12-16 00:36:39 355

原创【吴恩达machine learning】第三周作业 Logistic Regression

1.sigmoid.m方案1：矩阵function g = sigmoid(z)%SIGMOID Compute sigmoid function% g = SIGMOID(z) computes the sigmoid of z.% You need to return the following variables correctly g = zeros(size(z)...

2018-12-16 00:16:47 419

原创【吴恩达machine learning】第四周作业 Multi-class Classification and Neural Networks

1.lrCostFunction.mfunction [J, grad] = lrCostFunction(theta, X, y, lambda)%LRCOSTFUNCTION Compute cost and gradient for logistic regression with %regularization% J = LRCOSTFUNCTION(theta, X, y...

2018-12-15 23:41:25 471

原创一波三折的【马拉车算法】

问题描述：Given a string s, find the longest palindromic substring in s. You may assume that the maximum length of s is 1000.给定一个字符串s，找出最长的子串。样例：Input: "babad"Output: "bab"Note: "aba" is also a ...

2018-11-20 00:18:15 154

原创上海交通大学【最小面积子矩阵】

题目描述一个N*M的矩阵，找出这个矩阵中所有元素的和不小于K的面积最小的子矩阵（矩阵中元素个数为矩阵面积）输入描述每个案例第一行三个正整数N,M<=100，表示矩阵大小，和一个整数K接下来N行，每行M个数，表示矩阵每个元素的值输出描述输出最小面积的值。如果出现任意矩阵的和都小于K，直接输出-1。样例输入4 4 101 2 3 45 6 7 89 10 11 1213 14 15 16样例输出...

2018-06-23 23:14:15 407

原创【瓷砖铺放升级版】--dfs解题

题目描述章鱼王的行宫要铺瓷砖了。　行宫中有一长度为 N(N≤30) 的地板，给定三种不同瓷砖：一种长度为1，一种长度为2，另一种长度为3，数目不限。要将这个长度为 N 的地板铺满，并且要求任意两个相邻的瓷砖长度均不等，一共有多少种不同的铺法？在所有的铺设方法中，一共用了长度为1的瓷砖多少块？　　例如，长度为4的地面一共有如下3种铺法，并且，一共用了长度为1的瓷砖4块：　　4=1+2+1　　4=1+...

2018-06-22 01:20:19 586

原创【瓷砖铺放】--基础dfs解题

问题描述　　有一长度为N(1<=Ｎ<=10)的地板，给定三种不同瓷砖：一种长度为1，一种长度为2，一种长度为3，数目不限。要将这个长度为N的地板铺满，一共有多少种不同的铺法？　　例如，长度为4的地面一共有如下7种铺法：　　4=1+1+1+1　　4=2+1+1　　4=1+2+1　　4=1+1+2　　4=2+2 4=1+3 4=3+1　　编程用递归的方法求解上述问题...

2018-06-22 00:51:22 511

原创福州大学【Problem 2285 迷宫寻宝】--bfs解题

题目描述洪尼玛今天准备去寻宝，在一个n*n （n行, n列）的迷宫中，存在着一个入口、一些墙壁以及一个宝藏。由于迷宫是四连通的，即在迷宫中的一个位置，只能走到与它直接相邻的其他四个位置（上、下、左、右）。现洪尼玛在迷宫的入口处，问他最少需要走几步才能拿到宝藏？若永远无法拿到宝藏，则输出-1。输入描述多组测试数据。每组数据输入第一行为正整数n，表示迷宫大小。接下来n行，每行包括n个字符，其中字符'....

2018-06-21 20:36:40 1183

原创清华大学【玛雅人的密码】--bfs解题

题目描述玛雅人有一种密码，如果字符串中出现连续的2012四个数字就能解开密码。给一个长度为N的字符串，（2=<N<=13）该字符串中只含有0,1,2三种数字，问这个字符串要移位几次才能解开密码，每次只能移动相邻的两个数字。例如02120经过一次移位，可以得到20120,01220,02210,02102，其中20120符合要求，因此输出为1.如果无论移位多少次都解不开密码，输出-1。输...

2018-06-21 20:02:03 820 1

原创清华大学【递推数列】

【题目描述】给定a0,a1,以及an=p*a(n-1) + q*a(n-2)中的p,q。这里n >= 2。求第k个数对10000的模。【输入描述】输入包括5个整数：a0、a1、p、q、k。【输出描述】第k个数a(k)对10000的模。【输入】20 1 1 14 5【输出】8359【解题思路】在这道题里，由于题目就是“递推数列”，所以我就很自然而然的使用了递归。递归结束标识就是当自变量变成0...

2018-06-16 10:43:23 627

原创清华大学【手机键盘】

【题目描述】按照手机键盘输入字母的方式，计算所花费的时间如：a,b,c都在“1”键上，输入a只需要按一次，输入c需要连续按三次。如果连续两个字符不在同一个按键上，则可直接按，如：ad需要按两下，kz需要按6下如果连续两字符在同一个按键上，则两个按键之间需要等一段时间，如ac，在按了a之后，需要等一会儿才能按c。现在假设每按一次需要花费一个时间段，等待时间需要花费两个时间段。现在给出一串字...

2018-06-16 09:58:49 265

原创 201803-3【CCF】 URL映射

问题描述 URL 映射是诸如 Django、Ruby on Rails 等网页框架 (web frameworks) 的一个重要组件。对于从浏览器发来的 HTTP 请求，URL 映射模块会解析请求中的 URL 地址，并将其分派给相应的处理代码。现在，请你来实现一个简单的 URL 映射功能。　本题中 URL 映射功能的配置由若干条 URL 映射规则组成。当一个请求到达时，URL 映射功能会将请...

2018-06-13 01:05:58 1392

原创【Jmeter入门】进行一次简单压力测试

1.【打开Jmeter】2.【创建线程组】右键点击测试计划，选择线程组。3.【设置线程组的线程数】线程数在这里设置成了100，代表的是100个用户并发使用。Ramp-Up Period(in seconds)在这里设置成了2，代表的是在2s内达到最大线程数100。循环次数在这里设置成了1，意思是100个用户发送了100个HTTP请求。如果设置成2，就是100个用户发循环两次，发送200个http请...

2018-06-08 15:27:55 411

原创【牛客网】质因数的个数

题目描述求正整数N(N>1)的质因数的个数。相同的质因数需要重复计算。如120=2*2*2*3*5，共有5个质因数。输入描述可能有多组输入数据，每组的测试数据是一个正整数N(1<N<10^9)输出描述对于每组测试数据，输出N的质因数的个数。样例输入120样例输出5解题思路（1）这道题可以直接打印素数表，但是要注意用sqrt(n)来降低复杂度，但是复杂度仍较高。（2）因为任何一个...

2018-06-04 22:28:17 536 1

原创数串

题目描述：设有n个正整数，将他们连接成一排，组成一个最大的多位整数。如:n=3时，3个整数13,312,343,连成的最大整数为34331213。如:n=4时,4个整数7,13,4,246连接成的最大整数为7424613。输入描述：有多组测试数据，每组测试数据包括两行，第一行为整数N(N<=100)，第二行包括N个整数（每个整数都不超过1000，空格分开）。输出描述：每次输出结果输出一个表示...

2018-05-24 23:52:30 365

原创 POJ1002

【题目】企业想拥有令人难忘的电话号码。要一个电话号码让人容易记住，方法之一是号码里面有一个难忘的单词或词组拼写。例如，您可以拨打TUT- GLOP拨打沃特卢大学。有时电话号码只有一部分是单词拼写。当你回到你的酒店，今晚你可以通过拨打310 - GINO吉诺订购比萨饼。另一种方法，设计的电话号码是一个难忘的方式分组数字。你可以通过拨打必胜客" 3个10 "的号码3-10-10-10 来订购比萨.　　...

2018-05-17 21:33:51 455 1

原创词法分析程序——状态图代码化

一、实验目的学习和掌握词法分析程序构造的状态图代码化方法。二、实验任务（1）阅读已有编译器的经典词法分析源程序；（2）用C或JAVA语言编写一门语言的词法分析器。三、实验内容（1）阅读已有编译器的经典词法分析源程序。选择一个编译器，如：TINY或PL/0，其它编译器也可（需自备源代码）。阅读词法分析源程序，理解词法分析程序的构造方法——状态图代码化。尤其要求对...

2018-05-11 14:29:12 8532 5

原创用两个栈实现队列--剑指offer

【题目】用两个栈来实现一个队列，完成队列的Push和Pop操作。队列中的元素为int类型。【解题思路】栈是“后进先出”，队列是“先进先出”。假如一组数据为0 1 2 3 4 5。我们可以先将数据存入stack1中（输出顺序为5 4 3 2 1 0）。然后将stack1输出的值存入stack2中，再输出（输出顺序为0 1 2 3 4 5），实现了队列的功能。【stack常用函数】stack.emp...

2018-05-11 14:02:50 168

原创深入浅出KMP

字符串匹配问题题目：如果文本中有一个长度为n的源字符串s，一个长度为m的匹配字符串d。（m<=n）请求出字符串s是否包含字符串d。暴力解法：思路：将源字符串s固定，将匹配字符串d对齐s的头部，如果s[i]==d[j]，就i++,j++。如果发现不匹配，则将匹配字符串d往右移一位，继续上述操作。如图：可以发现s[0]==d[0],则i++,j++。当s[2]!=d[2]时，则t向右移动一位继...

2018-03-23 10:56:56 382

程序媛媛