- 博客(13)
- 收藏
- 关注
RSS订阅原创 RDD的操作
分类基本算子/操作/方法/APImapfaltMapfilterforeachsaveAsTextFilepackage cn.itcast.coreimport org.apache.commons.lang3.StringUtilsimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}/** * Author itcast * Desc 演示RDD的基本操作 */o
2021-06-08 20:00:53
249
原创 RDD的创建
两种方式：如何将数据封装到RDD集合中，主要有两种方式：并行化本地集合引用加载外部存储系统(入hdfs、hive、hbase、kafka、RElasticsearch)1、多种APIsc.parallelize(本地集合，分区数)sc.makeRDD(本地集合，分区数)//底层使用parallelizesc.textFilee(本地/hdfs文件/文件夹，分区数)//注意不要用它都大量小文件sc.wholeTextFiles(本地/hdfs文件夹，分区数)//专门用来读取小文件的2、获取
2021-06-08 19:20:21
62
原创 RDD的理论详解
1.1 why?为什么需要RDD没有RDD/DataSet之前，做WordCount(大数据计算)可以使用:1、原生集合：java/scala中的list，但是只支持单机版！不支持分布式！如果要做分布式的计算，需要做很多额外工作，线程/进程通信，容错，自动平衡…2、MR：效率低（运行效率低，开发效率低） --早就淘汰所以需要有一个分布式的数据抽象，也就使用该抽象，可以表示分布式的集合，那么基于这个分布式集合进行操作，就可以很方便地完成分布式的WordCount（该分布式集合底层应该改将实现的细节封
2021-06-08 18:37:37
144
原创 yolov1， yolo v2 和yolo v3系列
目标检测模型主要分为two-stage和one-stage， one-stage的代表主要是yolo系列和ssd。简单记录下学习yolo系列的笔记。1 yolo V1yolo v1是2015年的论文 you only look once：unified，real-time object detection 中提出，为one-stage目标检测的开山之作。其网络架构如下：（24个卷积层和两个全连接层，注意最后一个全连接层可以理解为1*4096到1*1470（7*7*30）的线性变换）yolo v1的理
2021-04-26 17:04:08
312
原创 在linux下C++的UTF-8和GB2312之间转换
#include <iconv.h>int UTF8ToGB2312(char* szSrc, size_t iSrcLen, char* szDst, size_t iDstLen){ iconv_t cd = iconv_open("gb2312//IGNORE", "utf-8//IGNORE"); // take care of "//IGNORE", it will ignore those invalid code if(0 == cd
2021-04-20 08:16:29
1360
原创 遍历时const auto& 和auto的区别
auto 和const auto&1、auto即 for(auto x:range) 这样会拷贝一份range元素，而不会改变range中元素；2、当只想读取range中元素时，使用const auto&。如：for(const auto&x:range),它不会进行拷贝，也不会修改range,效率会比用auto快一点 想要拷贝元素：for(auto x:range) 想要修改元素：for(auto &&x:range) 想要只读元素：f
2021-04-14 13:42:30
983
原创 事务的ACID四大特性——面试
原子性（Atomicity）原子性是指一个事务是一个不可分割的工作状态，其中的操作要么都做，要么都不做一致性 （Consistency）一致性是指事务执行前后，数据处于一种合法的状态隔离性 （Isolation）隔离性是指多个事务并发执行的时候，事务内部的操作是与其他事务是隔离的，并发执行的各个事务之间不能互相干扰持久性 （Durability）持久性是指事务一旦提交，它对数据库的改变就应该是永久性的MySQL怎么保证一致性这个问题分为两个层面来说：**从数据库层面，数据库通过原子.
2021-01-04 15:24:31
181
原创 Scala--对象
对象class Person { var age:Short = 90 var name:String = _ def this (n:String, a:Int){ this this.name = n this.age = a }}var p:Person = new Person("一一"，18）流程分析：(面试题)1）加载类的信息（属性信息，方法信息）2）在内存中（堆）开辟空间3）使用父类的构造器（主和辅助）进行初始4）使用主构造器堆属性进行初始化【age:
2020-12-29 15:33:39
159
原创 Scala--函数
函数scala定义函数的标准格式为： def 函数名(参数名1: 参数类型1, 参数名2: 参数类型2) : 返回类型 = {函数体}1) 函数有返回值：def f1() : String={ return "f1"}注：Scala中的函数可以根据函数体最后一行代码自行推断函数返回值类型。那么在这种情况下，return关键字可以省略，既然Scala可以自行推断，所以在省略return关键字的场合，返回值类型也可以省略。如果函数明确使用return关键字，那么函数无法省略返回值类型
2020-12-29 12:20:48
84
原创 希尔密码（加密、解密、破解）
希尔密码的加密、解密与破解简介希尔密码是运用基本矩阵论原理的替换密码，由Lester S. Hill在1929年发明。每个字母当作26进制数字：A=0, B=1, C=2… 一串字母当成n维向量，跟一个n×n的矩阵相乘，再将得出的结果模26。（注意用作加密的矩阵（即密匙）在 必须是可逆的，否则就不可能解码。只有矩阵的行列式和26互质，才是可逆的。）例子用希尔密码对明文串 x = ecnu 进行加密，密钥矩阵:加密密文向量 = 明文向量 * 密钥矩阵 (mod 26)1.先将明文串对应英文字
2020-12-05 00:42:38
20918
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人