- 博客(13)
- 收藏
- 关注
RSS订阅原创 hadoop学习复习提纲
hadoop基础入门主要有运行模式：本地（只配置了hadoop_HOME），伪分布式（集群中只有自己一台，算是一个完整的环境了吧），完全分布式（多台机器组成一个集群）完全分布式的搭建中的一些重要文件：（基础就是ssh和JAVA_HOME）hadoop-env.sh hadoop-site.xmlcore-size.xmlmapred-site.xmlyarn-site.xmlslaves等。格式化namenode和启动hdfs。hdfs优缺点：廉价机上，不适合实时，小文件等块大小：
2020-05-29 19:10:31
314
原创 记一个使用SparkSession的错误（构造sparksession时候的getOrCreate的错误）
首先是错误输出：19/09/20 14:12:40 INFO BlockManagerMaster: Registering BlockManager BlockManagerId(driver, 192.168.101.1, 56307, None)19/09/20 14:12:40 INFO BlockManagerMasterEndpoint: Registering block man...
2019-09-20 19:57:24
7728
3
原创 linux下的C++程序调试过程笔记：CMAKE+GDB
实际需要，在linux上运行大型的C++程序，所以不得不学习一下CMAKE，然后还不得不重新温习一下从源码到可执行程序的整个过程，在这里做一下简单的记录（怪自己太菜总是忘）：一个C/C++从源码到可执行程序：步骤一：源码到目标文件，这个步骤称为编译，cpp文件或者c文件开始，经过编译之后是.o或者是.obj文件，这个过程中是检查语法，变量函数，头文件位置等是否正确，编译的这个阶段，所有的源文...
2019-08-26 19:25:33
2642
原创 第一个文本处理项目总结（关于多音字的常见读音的筛选工作自己的一些总结）
第一个文本处理项目总结（多音字常见读音标注工作）：来公司也有一段时间了，目前也开始被分配些任务了，第一个任务是关于给出多音字和其常见读音的任务，拿到任务时候是这样想到的最难易下手的地方是——什么叫常用，拿来几个例子，和同事一看，这明显是个开放的答案，一些读音根本就是我看来常见他觉得不是常见的，也有不少他看起来是常见我都没见过的。这就需要思考一个标准了，什么是所谓的常见呢，这个指标怎么量化呢？想...
2019-08-24 00:06:43
414
原创 计算广告学习笔记2
第二章 计算广告基础计算广告中的比较重要的问题和解决方案：用户决策的转化漏斗：（一个广告的转化过程）：曝光（物理上的接收）：广告位置天然属性关注：在这里不能打断用户的任务；符合用户需求或者兴趣理解：游戏别总是推给女生之类信息接受（信息接受之后认可）：被用户认可保持：购买：在线广告的结算方式（广告主按照何种方式给钱）：需求方是广告主（卖广告的），供给方是媒体（帮打广告的）C...
2019-08-12 22:40:46
283
原创 计算广告学习笔记1
写在前面：笔记是学习《计算广告》一书的学习笔记，因为最近开始学习广告后台的先关内容，也是刚刚毕业，带我的人广告业务为主，我也是刚刚学习，刚刚进入这个领域，选择的是《计算广告》一书，学习视频在B站有，同时也有网易课堂的教学内容，希望能有所长进。第一章 在线广告综述首先大多数的互联网巨头的收入很大一部分来来自广告。下面是与商业化相关的产品问题：商业模式的探索：流量变现：数据变现：用...
2019-08-11 17:14:55
285
原创 一种Kafka模块的封装-1
最进学习了kafka 的消息队列机制，参考尚硅谷和网上的教程，对kafka的做简单的使用和封装，现在记录如下：kafka是在企业开发中很常见的消息队列实现（消息队列的模式使得通信的双方从关注通信的过程中解放出来，消息队列中的一些常见的好处包括但是不限于：解耦，缓冲，异步通信，容错等等），kafka一般用于缓存数据，这是一个分布式的消息队列。联系生产者（producer）和消费者（consumer...
2019-07-24 08:44:21
1100
原创 SPARK学习笔记总结
Hadoop可以完成项目的功能实现，spark是hadoop的功能优化实现，spark使用的内存基于内存进行计算，一个jar包中有很多任务，特点是：迭代式计算(后一个job依赖前一个job记过)和交互式数据挖掘(shell)。spark被看成是一整套的大数据处理的通用处理引擎，是一套大数据的处理方案一个大的软件栈，在各个方面都可以基于此进行实现spark中的角色：集群中的角色：master...
2019-07-15 22:07:41
216
原创 eclipse+maven+scala+spark项目环境搭建
eclipse+maven+scala+spark项目环境搭建win7自用记录eclipse+maven+scala+spark项目环境搭建java的安装：Maven的安装和设置：对IDE进行修改和安装相应的软件：新建spark项目：hadoop设置运行测试eclipse+maven+scala+spark项目环境搭建几个重要的点：eclipse的安装，maven的配置，版本问题，一些问题尝...
2019-05-28 19:43:16
725
转载 GIT学习笔记
写在前面的几点声明：1.内容来自网上的【尚硅谷】 Git&GitHub 最全教程，从入门到精通课程2.实战部分因为时间问题没具体跟进，只是看的教程内容，理解过程Git学习笔记Git对于SVN来说是分布式的版本控制软件，关于版本控制：版本控制是在已经有的代码模块版本中的代码更改和维护，需要记录历史的状态，在历史状态上进行进一步的更改。同时在多个人共同的开发一个类或者同一个文档的过程中...
2019-04-15 11:59:14
197
转载 C++快速复习3
重载operator=：解决疑惑的实验：#include<iostream>using namespace std;class myclass{public: myclass(int a=0, int b=0)//有参构造函数 { this->a = a; this-&g...
2019-04-12 21:18:26
84
转载 C++快速复习2
const修饰成员函数的几种情况：1.const 在函数的最后，表示该成员函数不具有更改对象成员变量的权限；class Stack{public:void Push(int elem);int Pop(void);int GetCount(void) const; // const 成员函数private:int m_num;int m_data[100]; };int S...
2019-04-11 21:39:30
161
转载 C++快速复习1
C++快速复习类的构造函数知识：本文旨在通过快速的罗列自己曾经的C++代码实现，帮助自己快速复习已经掌握的知识：类的构造函数知识：三种构造函数：1.无参数的构造函数；myclass (){} 调用：myclass M;2.有参数的构造函数；myclass(int a,int b){} 调用： myclass M2(1,3);3.拷贝构造函数；myclass （const myclas...
2019-03-12 11:50:12
211
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人