- 博客(153)
- 收藏
- 关注
RSS订阅
原创 【面经】此处收集各厂 算法岗 面经/经验分享 （持续更新~/已更新2020届）
2019：腾讯机器学习面经2018：招商局 金融科技 NLP算法面经百度算法三面面经科大，百度，华为，阿里，网易，360，银联七家面经百度三面拿到offer百度-机器学习（已offer-手百推荐feed流）秋招面试–百度机器学习面经...
2019-10-03 14:54:36
2343
原创 【Zookeeper】API应用
IDEA环境搭建1．创建一个Maven工程2．添加pom文件 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</vers...
2020-03-10 10:38:36
270
原创 【Zookeeper】shell操作
启动客户端显示所有操作命令查看当前znode中所包含的内容查看当前节点详细数据分别创建2个普通节点获得节点的值创建短暂节点（1）在当前客户端是能查看到的（2）退出当前客户端然后再重启客户端（3）再次查看根目录下短暂节点已经删除创建带序号的节点（1）先创建一个普通的根节点（2）创建带序号的节点如果原来没有序号节...
2020-03-10 10:33:17
284
原创 【zookeeper】分布式部署
上传安装包到/opt/software/目录下解压安装（1）解压Zookeeper安装包到/opt/module/目录下（2）同步/opt/module/zookeeper-3.4.10目录内容到其余两个节点配置服务器编号（1）在/opt/module/zookeeper-3.4.10/这个目录下创建zkData（2）在/opt/module/zookeeper-3...
2020-03-10 10:25:53
202
原创 【Zookeeper】选举机制，节点类型及监听器原理
选举机制1）半数机制：集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器。2）Zookeeper虽然在配置文件中并没有指定Master和Slave。但是，Zookeeper工作时，是有一个节点为Leader，其他则为Follower，Leader是通过内部的选举机制临时产生的。3）以一个简单的例子来说明整个选举的过程。假设有五台服务器组成的Zookeeper集群，...
2020-03-10 10:21:03
196
原创 【Zookeeper】入门概述
Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。特点数据结构应用场景提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等统一命名服务统一配置管理统一集群管理服务器节点动态上下线软负载均衡在zookeeper中记录每台服务器的访问数，让访问最少的服务器去处理最新的客户端请求...
2020-03-10 10:17:18
218
原创 【Hadoop】序列化
序列化指把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输Hadoop序列化特点：1）紧凑：高效使用存储空间2）快速：读写数据的额外开销小3）可扩展：随着通信协议的升级而升级4）互操作：支持多语言的交互自定义实现序列化接口：（1）必须实现Writable接口（2）反序列化时，需要反射调用空参构造函数，所以必须有空参构造public FlowB...
2020-03-10 10:12:21
142
原创 【Hadoop】MapReduce概述
MapReduce定义Mapreduce是一个分布式运算程序的编程思想，是用户开发“基于Hadoop的数据分析应用”的核心框架，其核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上MapReduce优缺点：优点a. MapReduce易于编程它简单的实现一些接口，就可以完成一个分布式程序。b. 良好的扩展性当你的技术资...
2020-03-10 10:10:23
272
1
原创 【Hadoop】给集群配置新节点/退役节点
服役新数据节点环境准备（1）在hadoop133主机上再克隆一台hadoop134主机（2）修改IP地址和主机名称（3）删除原来HDFS文件系统留存的文件（/opt/module/hadoop-2.7.2/data和log）（4）source一下配置文件服役新节点具体步骤(配置前确定其他节点的hosts和slaves里有新节点的映射)（1）直接启动DataNode，即可关联到...
2020-03-02 23:02:02
361
原创 【Hadoop】DataNode工作机制
DataNode工作机制1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删...
2020-03-02 22:54:07
168
原创 【hadoop】NameNode故障处理
NameNode故障后，可以采用如下两种方法恢复数据。方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录kill -9 NameNode进程删除NameNode存储的数据[hadoop@hadoop131 hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*拷贝S...
2020-03-02 22:50:46
558
原创 【Hadoop】NameNode和SecondaryNameNode
NN和2NN工作机制思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsIm...
2020-03-02 22:45:21
228
原创 【Hadoop】HDFS的数据流程
HDFS数据写入流程客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。NameNode返回是否可以上传。客户端请求第一个 Block上传到哪几个DataNode服务器上。NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。客户端通过FSDataOutputStrea...
2020-03-02 09:22:58
257
原创 【Hadoop】HDFS客户端操作
HDFS客户端环境准备1．拷贝文件2．配置HADOOP_HOME环境变量3. 配置Path环境变量4．创建一个Maven工程HdfsClientDemo5．导入相应的依赖坐标+日志添加 <dependencies> <dependency> <groupId>junit</groupId> <artifa...
2020-03-01 20:56:52
256
原创 【Hadoop】HDFS的Shell操作
基本语法：bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令dfs是fs的实现类全部命令：[root@hadoop131 hadoop-2.7.2]# bin/hadoop fsUsage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-c...
2020-03-01 20:43:32
234
原创 【Hadoop】HDFS概述
HDFS 定义HDFS(Hadoop Distributed File System)，它是一个文件系统，用于储存文件，通过目录树来定位文件；其次，它是 分布式 的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 HDFS的使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。HDFS 优缺点优点：1）高容错性数据自动保存多个副本,某个副本丢失以后，它可以自动恢复...
2020-03-01 20:40:17
250
原创 【Hadoop】完全分布式搭建
准备3台客户机（已克隆好并修改好网络配置且配置好jdk与hadoop环境）详见【Hadoop】环境配置【Linux】虚拟机克隆及网络配置免密登陆配置（1）生成公钥和私钥：然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）（2）将公钥拷贝到要免密登录的目标机器上测试：对三台客户机进行同样的配置编写集群分发脚本xsync（1）在/u...
2020-03-01 13:36:24
418
原创 【Hadoop】伪分布式搭建
克隆虚拟机要克隆的虚拟机环境配置见【Hadoop】环境配置配置集群配置：core-site.xml写入：配置hadoop-env.sh配置hdfs-site.xml启动格式化NameNode（第一次 格式化）格式化NameNode，会产生新的集群id,导致NameNode和DataNode的集群id不一致，集群找不到已往数据。所以，格式NameNode时，一定要先删...
2020-03-01 13:07:11
209
原创 【Hadoop】环境配置
CentOS 6.8JDK 1.8Hadoop 2.7.2VM 15.5克隆虚拟机详见【Linux】虚拟机克隆及网络配置前期准备修改映射 vim /etc/hosts修改hadoop用户权限创建software,module文件夹修改文件夹所属者拷贝文件（使用xftp）配置JDK解压文件配置环境变量添加内容：source一下测试：发现...
2020-03-01 12:45:55
219
原创 【Hadoop】入门介绍
Hadoop 优势高可靠性：hadoop底层维护多个数据副本，所以即使hadoop某个计算元素或存储出现故障，也不会导致数据丢失高扩展性：在集群间分配任务数据，可方便扩展节点高效性：在MapReduce思想下，Hadoop是并行工作的，以加快任务处理速度高容错性：能够自动将失败的任务重新分配Hadoop 1.x和Hadoop 2.x 区别在Hadoop 1.x时代，Hadoop中的...
2020-03-01 12:31:41
158
原创 【Linux】组管理和权限管理
文件属性这些字符分别表示：如果没有权限，就会出现减号[ - ]而已。从左至右用0-9这些数字来表示:0首位表示类型在Linux中第一个字符代表这个文件是目录、文件或链接文件等等- 代表文件d 代表目录l 链接文档(link file)；（2）第1-3位确定属主（该文件的所有者）拥有该文件的权限。—User（3）第4-6位确定属组（所有者的同组用户）拥有该文件的权限，—Gr...
2020-02-28 22:59:30
556
原创 【Linux】实用指令
帮助类指令man [指令或文件]help [命令]文件目录类指令pwd显示当前目录的绝对路径ls [选项] [目录或文件]查看当前目录所有内容信息常用选项：-a 显示当前目录所有的文件和目录，包括隐藏文件-l 以列表的方式显示信息cd [参数] [目录]切换目录常用参数：cd ~/cd 回到自己的家目录cd .. 回...
2020-02-28 22:50:45
142
原创 【Linux】指定运行级别及root密码找回
CentOS6.8指定运行级别init [0/1/2/3/5/6]级别配置文件 /etc/inittablinux系统级别0：关机1：单用户（找回丢失密码）2：多用户无网络3：多用户有网络4：保留5：图形界面6：重启例如：应用实例：找回root密码思路：进入到单用户模式，然后修改root密码开启虚拟机，按enter键进入引导界面输入e选择第2行...
2020-02-28 22:03:35
191
原创 【Linux】用户管理
Xshell6CentOs6.8用户管理基本知识linux系统是一个多用户多任务的操作系统，任何一个要使用系统资源的用户，都必须首先向系统管理员申请一个账号，然后以这个账号的身份进入系统Linux的用户需要至少属于一个组用户配置文件，存放用户信息 /etc/passwd组配置文件，存放组信息 /etc/group口令配置文件，存放密码和登录信息，加密 /etc/shadow...
2020-02-28 21:55:17
115
原创 【Linux】虚拟机克隆及网络配置
要克隆的虚拟机在克隆前是需要处于关闭状态VM 15.5CentOS 6.8克隆完成后需要改变其IP地址和hostnamevi /etc/sysconfig/network修改主机名可能不同linux版本不同，修改方法也不同，centos7就是vi /etc/hostname 命令来编辑主机名修改IPvim /etc/udev/rules.d/70-persisten...
2020-02-28 21:43:06
342
原创 寒假总结 2020.02
这个寒假发生了很多事情，由于疫情的爆发，我的很多计划不得不推迟。哎，寒假本计划刷leetcode，结果一道题都没写=_= 。另外我一整个寒假都没写博客，因为家里的网总是时好时坏，所以干脆就把笔记都记在了onenote上，有一说一，onenote挺好用的，要是能配个ipad就更好了哈哈哈哈哈，开学这段时间我会陆续把笔记整理到博客上面寒假看了很多电视剧，真的是比我前几年看的总和还要多XD。也看了一些...
2020-02-18 14:38:47
694
1
原创 Pycharm 配置 gpu版TensorFlow
Pycharm: 2019.3.1Python: 3.7cuda: v10.1cudnn: v7.6.4TensorFlow: 2.0最近重装了系统，打算重新配置tensorflow的环境:D1.cuda 下载本来是直接在官网下载的10.2版本，突然发现cudnn没有支持10.2版本的，就下载了10.1版本,选择自己的系统适合的版本下载网址：https://develop...
2019-12-30 11:45:12
1459
原创 【R语言】学习笔记---字符串处理
字符串文本文件读取使用readLines()读取使用scan()读取其中当参数sep="\n"时，按行读取，what=指定读取数据类型字符串连接使用paste()函数连接字符串字符串拆分使用strsplit()函数进行拆分返回的是一个列表，可以使用unlist()查看字符串搜索使用grep()函数，默认返回索引使用grepl()函数，返回值为逻辑值...
2019-11-26 21:09:28
393
原创 【LeetCode】35. 搜索插入位置 (简单 数组)
题目：java, 遍历搜索class Solution { public int searchInsert(int[] nums, int target) { int i,flag; i=0;flag=nums.length; while(i<nums.length){ if(nums[i]>...
2019-11-26 19:34:16
160
原创 【R语言】学习笔记---数据操作
数据读取数据输出write.table()导出为txt或csv文件也可以使用sink()输出用subset()提取子集mtcars为内置数据集根据条件筛选：数据排序使用sort()对向量进行排序：也可以使用order()对向量进行排序，但是order()返回的是索引使用order()和arrange()对数据框进行排序先按cyl排序，再按mpg排序使...
2019-11-20 11:41:49
402
原创 【R语言】 学习笔记---R语言数据结构
感觉会python学起R来要方便很多向量向量是R语言中存储和管理数据的最基本单位，其他数据结构都是在向量的基础上诞生的，因此也被成为原子向量向量必须由类型相同的元素组成基本向量类型：逻辑型，整数型，实数型，复数型，字符型及字节型赋值符号<-组合函数c()矩阵：创建矩阵：选取矩阵中的某一个元素，（不是从0开始）：选取一行：选取多行：剔除某一行或多行（负索引）：...
2019-11-19 21:11:14
260
原创 超详细 VM 15配置安装 CentOS
创建空白虚拟机1.新建虚拟机2. 新建虚拟机向导3.创建虚拟空白光盘4.选择客户机操作系统我这里准备装的是centos6 64位5.命名虚拟机6.处理器配置，看自己是否是双核、多核7.虚拟机内存我这里简单配置了2G8.网络类型9.默认下一步10.设置虚拟机磁盘大小（以后可以改）完成：这时你就有一个空白的虚拟机了：CentOS 配置1.设...
2019-11-18 16:29:27
553
原创 【LeetCode】27. 移除元素 (简单 数组)
题目：这个题和26题很相似Java代码：class Solution { public int removeElement(int[] nums, int val) { int i=0,j=0; while(j<nums.length){ if(nums[j]!=val){ nums[i]...
2019-11-04 20:06:16
159
原创 【LeetCode】26.删除排序数组中的重复项 (简单 数组)
放两个指针iii,jjj,jjj负责遍历整个数组，iii负责存储不重复的元素例如数组[1,1,2]：012情况112n[i]==n[j]ij112ijj++112n[i]!=n[j]iji++122赋值n[i]=n[j]ij此时i=1，输出长度（i+1）java代码：cl...
2019-11-02 22:45:33
163
原创 python 实现复合梯度公式及复合辛普森公式
1.复合梯形公式2.复合辛普森公式python实现import mathdef fun(x): return math.sin(x)/(x+1e-16) #加上1e-16避免除零错误# 复合梯度def tx(a,b,n): h=(b-a)/n fxi=0 xi=a for i in range(1,n): xi=xi+h...
2019-11-02 21:45:30
3049
1
原创 Kettel连接SQL踩坑记录
这里踩坑记录- 连接报错错误信息：错误连接数据库 [tcc] : org.pentaho.di.core.exception.KettleDatabaseException:Error occurred while trying to connect to the databaseDriver class ‘org.gjt.mm.mysql.Driver’ could not be f...
2019-11-02 16:32:55
300
原创 爬虫--代理池（requests 人人网实战）
IP代理：原因让服务器认为不是同一个客户端的请求不易追踪自己的ip检查可用性使用requests加超时参数，判断ip质量在线代理ip质量检测网站代理池字典形式，一堆ip，随机使用用户代理：代理池使用一堆带有cookie的请求组成用户代理池使用思路实例化session使用session发送请求，登陆网站，将cookie保存在session中再使用session...
2019-10-29 21:25:07
246
原创 Win10下pytorch报错：BrokenPipeError: [Errno 32] Broken pipe
原因：不可使用多线程改正：将torch.utils.data.DataLoader函数中参数num_workers设置为0
2019-10-25 19:34:24
1923
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人