自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

zzyzzy12

大数据搬砖狗...

  • 博客(622)
  • 资源 (1)
  • 收藏
  • 关注

原创 梯度下降法解多元线性回归(C++) - CodeFight compute

https://codefights.com/challenge/wSfnufaxWqvauCvPd提供测试题意 :已知有数据集包含多个工程师的信息,而对于每个工程师有engineer -> [y,x1,x2] 表示当其XP的值为x1,解决的题目为x2个时,可以开出y的薪水。请用多元线性回归,给出所查询工程师的薪水。题解:题目比较恶心的是最终参数要保留两位小数,所以并不是最拟合

2017-03-22 21:57:08 3952

原创 Java简单操作mysql数据库代码存档+处理中文乱码问题

首先用的Maven框架,引包: mysql mysql-connector-java 5.1.17 jar compile         存档对mysql的基本读写操作 try { Connect

2016-11-04 14:38:36 822

原创 Spark Streaming 处理中文异常的解决方案

最近用Spark Streaming从Kafka接数据进行处理,是对中文的内容进行计算。发现处理时中文全变成了????????的形式,导致处理的结果和预期的不一样。但把数据放在redis或者放入下游的kafka topic,中文又正常了。为了防止是因为打日志的编码问题导致的判断出错,专门对算法进行了判断,的确就是对?????的东西处理了,而不是原中文字符串。    遇到这种情况,想到的就是编码

2016-10-13 23:42:42 2196

原创 对决策树,随机森林的初步认识

决策树是常用的分类方法,其方法也非常的直观。每一次从父亲到孩子是对某个特征的分裂,对于树中的叶子,要么是已经为纯净的了(所有样本都属于同一类),或者没有特征可以分裂。对于后一种情况的出现,可以考虑将划分为该点样本属于最多的类。而对于一个分类问题可以构造出无限多的决策树,判定一棵决策树的好坏是看这颗决策树的深度越低越好。比如现在一款游戏的运行条件有各种各样的硬件软件需求,如果系统不是win10就无法

2016-10-10 11:27:01 727

转载 Spark Streaming 中使用kafka低级api+zookeeper 保存 offset 并重用 以及 相关代码整合

spark streaming 使用 kafka低级api维护offset在

2016-10-09 15:39:20 5024 2

原创 Scala版SparkStreaming读写kafka,low level api模板代码存档

spark streaming从kafka的某个topic拉取数据,处理完后再放入某个topic中的一个模板,不完整,作为参考,加了部分备注。    SparkStreaming主程序模板package jacob.sparkstreamingimport java.utilimport _root_.kafka.serializer.StringDecoder

2016-10-08 12:51:31 3907 1

原创 用户行为日志的统计,Java mapreduce与Scala spark的代码存档...

原意是想存档一份spark的wordcount的代码,但觉得wordcount能体现出的东西少了一些,再加上写成spark遇到了各种各样的坑,索性就把之前写过的一个用java mapreduce写的用户行为日志统计的代码用scala的spark逻辑上大致实现了一次(不完全一致,有实现的细节差别),以证明初步写成一个spark程序。代码仅供参考map,reduce文件读写过程,由于缺少引用的相关包,

2016-09-18 19:00:15 1449

原创 hadoop由于NodeManager无法启动而导致执行Jar包出现running job卡住的解决方案之一...

菜鸟上手大数据一头雾水...所以先自己用三个虚拟机搭建一个hadoop集群环境了hadoop版本2.7.3JDK版本8u101系统CentOS7基本按照 博文  其中有两个值得注意的地方(或者说勘误一下):   其一第8步的mapred-site.xml应为yarn-site.xml   其二还是第8步中关于yarn.nodemanager.resource.mem

2016-09-04 02:09:11 1893

原创 2016百度之星初赛Astar Round2B - 区间的价值

题意:定义一个区间的价值为区间的最大数*最小数。现给了n(1≤n≤100000)个数,问1~n长度的最大价值分别是多少。题解:    用两个线段树以及快排的思想可以在O(nlog(n))的时间解决该题。    首先用线段树找到一个区间[L,R]的最大值位置为a与最小值位置为b,L,R]中所有包含[a,b]的区间的价值都为A[a]*A[b]。然后对[L,a-1],[a+1,R]重复这

2016-05-23 09:58:25 1541 3

原创 Codejam Qualification Round 2016 - A,B,C题解

A - Counting Sheep题意:给一个数N,问这个数的多少倍后(假设为i),1~iN中0~9就都至少出现一次了。输出iN。题解:除了0不可能外,其他的都可以有,暴力的做就好Code:#include #include using namespace std;int had[10];int main(){ int T,cases,x,y,m; freop

2016-04-10 10:15:49 1435

原创 Google APAC 2016 University Graduates Test Round D

之前的Round A晋级了...但是HR说今年7月因为Codejam的原因面过一次了不给再面了..所以Round C和Round B都没怎么做..这次最后一场Round D还是水了一发...虽然太弱了..水了两题...但还是拿了个通过笔试的邮件...虽然估计还是不会给面...A - Dynamic Grid题意:给了一个n*m的01矩阵...最大100*100...现在有100

2015-11-10 09:33:52 1029

原创 Google APAC 2016 University Graduates Test Round A

今天手感还算不错,出了三个题,也有不顺的时候,要不第四题水个小数据或许可以混进前100。总的来说题目很简单,没有什么复杂的东西。A - Googol String题意:目前只考虑包含'0','1'的字符串,有两个操作Switch与Reverse...其中Switch将其中的'0'变成'1','1'变成'0', Reverse将字符串反转定义:S0=""Sn=Sn-1

2015-08-23 17:48:11 2620 7

原创 Google APAC 2016 University Graduates Test Practice Round APAC test

谷歌校招笔试的练习赛,题目很简单,应该只是用来熟悉环境的题目链接A - Bad Horse 题意 有一些人,并且告诉一些二元关系,表示哪对人是不能属于一个组的,问可不可以将所有人分为两组。 题解 也就是给了一个图判断其可不可以表示为二分图了,根据二分图的性质知道存在奇圈的图就无法表示成,所以根据题意的二元关系作图后,找图中是否存在奇圈即可。Code:#include <io

2015-08-16 16:52:38 1587 1

原创 HDOJ 2222 - Keywords Search 更新AC自动机模板...用类来表示

题意:                   有n(         题解:                   裸AC自动机....空间限制略恶心..直接用指针会好一些....更新模板...Program:#include #include#include#include#define ll long long #define MAXNODE 242005u

2015-04-03 17:19:41 899

原创 HDOJ 1058 - Humble Numbers 更新Treap模板..

题意:              定义质因数只为2,3,5,7为丑数...问第n大丑数是什么(1      题解:              由于大的数乘以2,3,5,7都不可能得到比其小的数...所以用一个总能保持有序的数据结构维护答案...初始为1..然后依次选出当前最小...乘以2,3,5,7后放入..              更新Treap模板....加了个找一个数字是否

2015-04-02 18:33:18 838

原创 HDOJ 5178 - pairs 离散化+树状数组..

题意:                         在一串数中X[1],X[2],.....X[n],问其中有多少对位a,b,满足a                 题解:                         主要思路很太常见,从第一个数开始往后首先询问在其前面的数有多少个各与其可以组成满足条件的对,再将其插入. 用线段树或树状数组维护.由于k很大,所以需要把所有的数离

2015-03-04 21:49:07 849 2

原创 水水微软苏州校招笔试 1月17日 题解..

A.Koch Snowflake         找规律...观察K2,K3可以得出在每个Ki中mod 4为2,3的将是当前最新出来的颜色,所以只需要不断的往前迭代直到当前标号迭代后所对应标号是某个Ki中mod 4为2,3的...#include#include#include#include#include#include#include#include#includ

2015-01-19 08:43:51 2191 3

原创 hiho一下 第二十一周 离散化与线段树回顾

题意:                      yoProgram:#include#include#include#include#include#include#include#define MAXN 400005#define oo 1000000007#define ll long longusing namespace std; int P

2014-11-24 16:04:37 1049

原创 hiho一下 第十七周 最近公共祖先·三 更新RMQ在线解LCA

题意:                       裸LCA              题解:                      RMQ解LCA,其中F[]

2014-10-27 09:05:19 1147

原创 Codeforces 268 B - Two Sets 搜索...

题意:                          裸LCA                 题解:                          tarjan离线解LCA模板...

2014-10-16 19:07:11 1198

原创 Google APAC 2015 RoundC 部分题解.....

A.          题意:          B.C.

2014-10-14 13:06:50 2014 2

原创 hiho一下 第十五周 最近公共祖先·二 - 更新一下tarjan离线LCA模板

题意:                          裸LCA                 题解:                          tarjan离线解LV

2014-10-14 12:41:21 1049

原创 HDOJ 5004 - KAMI 神之折纸 神搜索...

http://blog.csdn.net/alpc_neverfarewell/article/details/39273217Program:

2014-09-23 20:34:11 1047

原创 HDOJ 4970 - Killing Monsters 水水线段树..

Program://#pragma comment(linker, "/STACK:1024000000,1024000000") #include#include#include#include#include#include#define MAXN 100005#define ll long long#define oo 1000000007using namespa

2014-09-10 08:55:03 709

原创 HDOJ 4908 - BestCoder Sequence 简单统计

题意:                          有一列n个数(n                 题解:                          关键是T中的与操作,所知两个数做与操作得到的数不会比这两个数大,所以可以限制了数据的范围,首先用dp[x][y]代表从x开始往后这些数中取一部分做与操作,能得到y的个数.这个过程的复杂度是O(n*1024).再

2014-08-25 11:20:39 727

原创 HDOJ 4901 - The Romantic Hero 简单dp

题意:                          有一列n个数(n                 题解:                          先就把发电站的点放到一个集合中..然后裸的kruskal了...Program:

2014-08-21 11:22:49 700

原创 HDU携程决赛最短路径的代价/USTC 1280 Finding Shortest Path 求最短路边+最小割

Program:

2014-05-14 21:55:01 1975

原创 2014年携程程序设计大赛 预赛第一场 A,B,C

A. B.C.

2014-04-11 09:25:38 1994

原创 Uva 6430 - Points ...简单DP

题意:                       有N(N选了第i个target得分                            1、若其左右没有一个target被选择...得ai分                            2、若其左右中有一个target被选择.,.得bi分                            3、若其左右中无一个tar

2013-12-04 21:49:50 970 3

原创 POJ 1659 - Frogs' Neighborhood , Havel_Hakimi 定理

题意:                        给了一个无向图每个点的度..问是否存在符合条件的简单图(无重边无自环)..输出任意一个符合条件的或者输出不存在..                题解:      Havel_Hakimi 定理模板题                        这个定理就是解决这个问题的..以贪心为核心的算法..做法是每次将所有点按照度从大到

2013-12-02 23:49:35 897

原创 ZOJ 3736 & HDU 4801 - Pocket Cube 打表搜索

题意:                        给了一个2*2的魔方..每步操作可以将任意一面翻转90度..现在问在N(               题解:                        开始自己打了个10行表..好难找错..然后发现..其实只要六个就行了..因为左侧正90转和右侧负90转时一样的..                        论科学打表.

2013-12-02 23:09:04 1667

原创 Uva 6436 - The Busiest City 树形DP

题意:                           一棵树上有至多20000个点...现在问拆掉一个点..可以使得最多的两两不可达..输出最大的两两部可达..                 题解:                           只需统计以某点为根的子树节点数量..就可以推出每个点的答案了..找到最大的就是..而统计每个点做子树根节点数量..就是一个基本的

2013-12-01 23:06:16 1193

原创 Uva 6437 - Power Plant 裸最小生成树

题意:                          一个无向图中(至多100个点),..每条边有其费用...有些点是发电站..现在要求所有的点都可以达到至少一个发电站..所需的最小费用..                 题解:                          先就把发电站的点放到一个集合中..然后裸的kruskal了...Program:#includ

2013-12-01 22:49:11 1581

原创 Uva 6440 - Emergency Handling 多个优先队列维护

题意:                        再一个二维平面内,不断的有射线插入(1               题解:                        突破口在题目给出了斜率范围是[1,100]的整数.. 所以可以构造100个优先队列..优先级是在这个斜率下..y值大...那么每次要么就是往100个中某个优先队列丢入一个线..要么是输出..找出这100个中..栈

2013-12-01 22:40:28 1002

原创 Aizu 1317 - Weaker than Planned 注意DFS时的顺序

题意:                       已知密文和明文的转换时通过二元对应关系来的...如f(A,Z)代表在明文中的A将在密文中以Z代替...并且也代表了明文中的Z在密文中以A代替...                       现在给了一些明文的单词(至多20个)...再给了一串密文..已知这串密文是由上面某些明文的单词变换而组成的..现在问能否唯一确定密文对应的明文...

2013-11-29 12:23:25 927

原创 POJ 1734 - Sightseeing trip 用Floyd找无向图的最小环

题意:                          给了一个无向图,至多100个点..10000条边..可能有重边..并且每条边有权值..现在请找出一个环..其所有边权值之和最小..                 题解:                          想继续用BFS搞..发现写不下去了..                          那么就用Flo

2013-11-26 18:19:44 905

原创 HDOJ 4044 - GeoDefense 树形DP..泛化背包转移..

题意:                       现在有一颗树(点数               题解:                       题意看懂了..基本思路就有了...由于给的可用费用不超过200..而树上最多1000个点..可以用树形dp来做..每个点dp[i][w]..代表点i..用了w费用..能让以其为根的子树防住敌人..处理的时候一些细节要注意...如非叶节点

2013-11-25 22:17:23 840

原创 Uva 12544 - Beehives 找无向图的最小环..BFS..

题意:                           给了一个无向图(至多700个点,两点间无重边),问其中边数最少的环是所少条边                 题解:                          这类问题可以用Floyd做..但是会超时...                          用BFS的方法,思路就是形成了环,则必然是搜索树上有了前向

2013-11-24 11:25:52 2414

原创 HDOJ 4057 - Rescue the Rabbit 简单的AC自动机+状态压缩DP

题意:                         众所周知..DNA序列由"A","G","T","C"组成....                         现在N个DNA序列(每个长度没说..假设都小于1000吧...1                         若一个DNA串包含其中的某些串..那么得分就是包括的串分数之和(一个串不管出现了多少次..只算一次).

2013-11-22 17:16:06 1228

原创 HDOJ 4046 - Panda 树状数组维护

题意:                       给了一列字符串(最长50000)...字符串仅由w,b组成..现在有两个操作..                      0 l r : 询问区间[l,r]有多少个wbw..输出..                      1 x c: 将第x位置变成c(c=w or b)              题解:       

2013-11-22 17:05:32 950

dd_eng神牛谈SAP

dd_eng神牛谈SAP...感觉很精辟啊...适合初学者了解SAP算法...

2011-08-21

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除