钟日日-CSDN博客

原创 Idea使用Scala启动并编写Spark应用程序

1、打开Idea，选择新建一个项目，点击右侧的选择maven，在左侧勾选，create from archetype选项，在下拉的选项中中悬着scala-archetype-simple选项，点击下一步 2、填写gav三个坐标，这个自己填写就好，可以参考格式以下，点击下一步groupId：com.test.wwwArtifactId : salversion :1.0...

2018-08-10 11:02:12 1441

原创 Spark源码编译

2、在正式的生产环境中，为了能够使服务能够，在hadoop安装目录下编辑pom.xml文件，添加以下依赖<repository><id>cloudera</id><url>https://repository.cloudera.com/artifactory/cloudera-repos/</url></repositor...

2018-08-09 15:22:34 270

原创 Ubuntu安装Mysql并允许远程登录

（1）在平时我们的开发中经常要用到MySQL数据库，接下简单介绍下在Ubuntu16.04系统下如何安装mysql数据库，并进行配置允许远程访问1、首先执行 apt install mysql-server 命令，安装MySQL服务端，安装过程中提示要输入密码，按照提示输入就好2、执行命令apt install mysql-client 命令，安装MySQL客服端，允许客户端连接MyS...

2018-08-08 11:07:55 637

原创 YARN资源调度框架

前言：yarn是hadoop2.x版本以后才有的概念一：RM（resourceManager）+NM（nodeManager）解析：yarn的资源管理通常通过1个RM+N个NM的模式，其中还有一个处理准备状态的RM，如果主的NM挂掉以后，处于准备状态的RM将会启动阶梯主RM的工作，防止错误的发生 RM（resouceManager）负责资源调度，主要有以下功...

2018-08-07 10:41:40 249

原创 HDFS的特点

1、HDFS的优点（1）适合批处理（2）适合处理大量的数据（3）可构建在廉价的机器上 2、HDFS的缺点（1）低延迟的数据访问（2）小文件存储不适合，因为每个文件的元信息都要储存在namenode中，而namenode内存有限（3）不适合流式计算和实时处理 3、什么是mapreduce 起源：源自Googl...

2018-08-07 09:32:05 2042

原创把公网ip通过DNSPOD进行域名解析

在开发过程中，我们常常需要用到域名对我们的服务器进行访问，但通常我们购买一台服务器时只有一个公网的IP地址，我们还要购买一个域名，在购买一个域名后，如何对域名进行解析，解析出我们服务器的IP地址呢，接下来我将介绍一下如何通过DNSPOD对我们购买的域名进行IP地址进行解析1、打开DNSPOD的官网www.dnspod.cn 2、登录DNSPOD的官网后，点击控制台---域名解析，并填入...

2018-08-06 14:19:56 8870

原创 linux下搭建nodejs环境

如果需要在linux系统上安装nodejs，我们常常需要安装一个nodejs的包管理工具nvm，可以通过github找到该工具的安装脚本，并通过改工具安装nodejs，注意我的系统为Ubuntu16.04，登录用户为非root用户，如果你的登录用户是root，这命令前的sudo可以取得 1、更新软件源为最新版本，确保下载内容为最新命令：sudo apt-get update 2...

2018-08-06 10:20:12 762

原创通过Nginx服务器进行请求代理

1、先删除apache，用于部分服务器默认会安装apache，所以可以预先把apache服务先删除，应为apache服务默认监听80端口，放置于Nginx配置相冲突删除操作：1.停止apache服务器命令：sudo service apache stop 2.删除apache开机启动项 ...

2018-07-30 00:13:47 2118

原创什么是CDN部署

1、关于CDN的网络架构说明：CDN网络架构主要分为两大部分，分别是中心和边缘，中心指的是CDN网络管理中心，DNS重定向解析中心，负责全局的负载均衡，设备系统安装在管理中心机房，边缘主要是指异地节点，CDN分发载体，主要由cache和负载均衡器组成当用户访问加入CDN服务的网站时，域名解析请求将最终交给全局负载均衡DNS进行处理，全局负载均衡DNS通过一组预先定义好的策...

2018-07-29 20:04:08 4349

原创前端部分知识汇总，持续更新中

1、在javascript中如何检测一个变量是String类型，请写出函数实现？答：typeof obj ==="string" 或者obj.constructor ==="String"2、请用js去除字符串空格答：(1)去除所有空格str.replace(/\s*/g,"") ，去除两端空格str.replace(/^\s* | \s*$/g,"") ...

2018-07-26 17:36:42 222

原创 ssh实现免密码登录

前言：有时候为了网络安全，我们会把linux的服务器配置改为更加安全的通过ssh密钥匹配实现的免密码登录，接下来我就分享一下我自己实现的免密码登录功能 1、在本地生成ssh密钥命令：ssh-keygen -t rsa -b 3096 -C "邮箱地址" 命令详解：-t 是type的缩写，表示选择的加密算法类型为rsa类型，这个算法是三个美国大学生共同开发的名...

2018-07-23 15:01:11 6185 2

原创（开源）一款可以发文字发图片的实时聊天微信小程序，可以滚动内容到底部

前言：因项目开发需要实现一个在线聊天功能，但发现已有的开源的实时聊天功能，一片空白，勉强有关联的也并不能满足自己的需求，所以便自己动手开发，在其中踩了很多坑，吃了很多苦，为了让跟我有同样需求的小伙伴可以跳过这些坑，所以决定在github上开源该项目，希望能帮到你，github地址https://github.com/zrxisme/wx-chat 功能：目前实现功能，发图片，发文字，可以一...

2018-07-22 22:15:30 2673

原创 linux服务器查看盘符及使用短链接

1、查看盘符分区状况 fdisk -l 即可提示：重装系统时系统盘的内容会被清空，所以如有重装系统的需求时，建议先把重要内容通过传到七牛云或git仓库的方式进行备份，如果不想备份，如果你在购买服务器的时候有挂载数据盘在你的服务器上，可以把重要内容clone到数据盘，重装系统时数据盘的内容不会受影响 2、查看磁盘的使用状态命令：df -h 即可查...

2018-07-22 15:09:54 747

原创通过ssh远程登陆linux服务器

1、如果服务器的厂商是阿里或腾讯等服务器提供商，可以登录购买服务器时的网站，看看云主机的公网IP 2、如果还没安装gitbash，先下载安装gitbash,也可以通过安装github DeskTop的方式获取gitbash,通过百度搜索下载安装即可 3、打开gitbash输入命令 ssh 用户名@ip地址，即可登陆远程服务器例如：ssh zrx@39....

2018-07-22 14:51:02 770

原创如何通过七牛使用免费的ssl证书，从而可以通过https协议访问七牛的资源

目前更加安全的https协议收到很多开发者的推崇，2014年底谷歌浏览器的Google Chromium安全团队提议将所有的HTTP协议网站标注为不安全。现在，Chrome浏览器准备公开执行这一标准了。所以很多使用七牛云的用户现在又多了一项任务，那就是如何为域名协议配置https协议。以下就是我在七牛上配置https服务的一些建议，希望对你有帮助 1、首先打开七牛，选择选择免费版ss...

2018-07-20 14:51:03 1883

原创关于eggjs在Linux上启动时报错的问题及解决办法

之前eggjs2.0出来以后就开始使用eggjs进行后台开发了，由于测试方便，开始时项目部署在阿里云的windows系统下面，使用npm run dev的方式进行启动但是等到项目开发完毕后，我开始部署到生产环境的Linux系统上面，这时候问题出来了，按照eggjs官网上面的介绍，生产环境上面的部署使用npm start的方式启动部署，但是启动一直报以下的错误egg-scripts] W...

2018-07-20 14:16:42 14655 4

原创微信小程序绑定公众号配置跳转链接的问题

之前小哥需要使用微信的公众号绑定小程序的功能，在输入小程序码后，还需要填写一个小程序的跳转链接，当时有点蒙逼，跳转链接是什么鬼？有问题找度娘，但是百度上翻了很久，有很多人提问跳转链接怎么填，但是没有找到答案，于是小哥只能自己不断的测试，经过不断的测试，发现路径的正确路径只要天app.json里面的文件就可以了，例如我那时候填写的是pages/choiceMain/choiceMain ...

2018-07-20 11:44:50 9239 1

原创关于微信小程序提示Error ECONNECT 或者Socket HandUp的原因及解决办法

今日小哥趁着暑假，在外面实习租了个房，用了房里的网线打算对着电脑继续大战的时候，发现提示入标题所示错误，在网上百度和去微信社区找都没找到原因，最后发现原因是计算机网络系统链接的错误，也就是出租屋里网线的锅。解决办法，在发现问题后小哥只能找解决办法，后来买了一台路由器试试看能不能够解决问题，后来没有解决，最后的解决办法是链接手机的热点，才解决了这个问题，如果你也遇到了这个问题，希望对你有帮助...

2018-07-16 00:28:33 5343 1

最近小编在Xampp上部署多个项目的时候遇到一个问题，就是一定要在域名后面加上文件夹的名称，是链接看起来非常长，而且只能使用默认的80端口进行部署，那如果我们想在不同端口上部署不同的项目，是xampp上可以部署多个项目，这要怎么实现呢？请看下面的介绍1、首先在xampp\apache\conf目录下找到httpd.conf目录，然后在默认的端口配置下面添加多一个侦听的端口# Change this...

2018-07-12 23:54:34 1587 1

原创 Nginx更改配置后如何更新配置

在我们日常开发中常常利用到nginx服务器做为代理服务器进行负载均衡配置，然而当我们更改Nginx服务器的配置文件的时候如何使配置文件生效呢？请使用如下命令就可以了 nginx -s reload如果不是root用户记得在前面加上权限 sudo nginx -s reload 就可以更新nginx的配置啦...

2018-07-11 00:02:40 28679

原创如何生成github上的动态gif图

背景：有些小伙伴在浏览全球最大的男性交友社区github的时候通常会发现，有些项目有很多动态的git图展示，通过git图，用户可以非常直观的看到项目的最终效果，通过效果图来吸引用户进行clone或者fork，从而提高项目的知名度，所以以下我将介绍怎么通过LICEcap这款工具进行动态gif展示图的实现介绍：LICEcap是一款支持导出GIF动画图片格式，轻量级，使用非常简单的屏幕录制工具，LICE...

2018-04-09 12:32:23 3003 1

原创关于git push提交的几种错误详解

背景：有些新手在提交本地代码到github或者国内的代码仓库码云的时候通常会报以下错误 $ git push -u origin masterTo gitee.com:zrxisme/testLog.git ! [rejected] master -> master (fetch first)error: failed to push some refs to 'git@git...

2018-04-08 17:53:05 4225 1

qq_41966938的博客