LW_ICE

原创 设计一款全新交互的购物app

设计一款全新交互的购物app，基于全息影像技术实现全新的体验。

原创 mongodb4.4集群搭建

环境CentOS7、MongoDB-4.4.13端口/角色mongosconfigsvrshard1shard2shard3192.168.56.155270172701929017(主节点)29018(仲裁节点)29019(副节点)192.168.56.156270172701929017(副节点)29018(主节点)29019(仲裁节点)192.168.56.157270172701929017(仲裁节点)29018(副节点)29

原创 spark集成hadoop

hadoop环境搭建请参考hadoop3.2.2集群搭建环境centos7、jdk1.8.0_311、scala-2.12.15、zookeeper-3.6.3、hadoop3.2.2、spark-3.2.1-bin-hadoop3.2spark配置配置${SPARK_HOME}/conf/spark-defaults.conf，添加如下内容：spark.serializer org.apache.spark.serializer.KryoSerialize

转载 YARN的ResourceManager故障（一）

cdh6.2仍然无法解决zookeeper注册信息过期造成yarn的主备脑裂问题。yarn无法启动、无法手动切换主备等。解决办法一我们需要删除yarn在ZK上的 rmstore 信息， 之后重启yarn，就可以了。但是在删除zk上 rmstore 信息的时候， 遇到了问题， yarn在注册时候的时候自己添加上ACL。所以我们直接删除是不行的。但我们可以可以重新设置一个ACL（Access Control List），就可以了， 如下：# 连接zookeeper，如果是客户端需添加 -serve.

转载 Pandas API on Upcoming Apache Spark™ 3.2

We’re thrilled to announce that the pandas API will be part of the upcoming Apache Spark™ 3.2 release. pandas is a powerful, flexible library and has grown rapidly to become one of the standard data science libraries. Now pandas users will be able to lever

转载 Adaptive Query Execution: Speeding Up Spark SQL at Runtime

This is a joint engineering effort between the Databricks Apache Spark engineering team — Wenchen Fan, Herman van Hovell and MaryAnn Xue — and the Intel engineering team — Ke Jia, Haifeng Chen and Carson Wang.Over the years, there’s been an extensive an.

转载 Linux问题分析与性能优化

排查顺序整体情况：top/htop/atop命令查看进程/线程、CPU、内存使用情况，CPU使用情况；dstat 2查看CPU、磁盘IO、网络IO、换页、中断、切换，系统I/O状态;vmstat 2查看内存使用情况，内存状态；iostat -d -x 2查看所有磁盘的IO情况，系统I/O状态；iotop查看IO靠前的进程，系统的I/O状态；perf top查看占用CPU最多的函数，CPU使用情况；perf record -ag – sleep 15;perf report查看CPU事件占

原创 JVM学习笔记（一）---- 运行时数据区域

Java虚拟机在执行Java程序的过程中会把它所管理的内存划分为若干个不同的数据区域。这些区域有各自的用途，以及创建和销毁的时间，有的区域随着虚拟机进程的启动而一直存在，有些区域则是依赖用户线程的启动和结束而建立和销毁。根据《Java虚拟机规范》的规定，Java虚拟机所管理的内存将会包括以下几个运行时数据区域，如下图：1 程序计数器程序计数器（Program Counter Register）是一块较小的内存空间，它可以看作是当前线程所执行的字节码的行号指示器。在Java虚拟机的概念模型里，字节码解释

原创 flume环境部署（二）

flume HA部署环境使用的基础环境版本：CentOS7、hadoop-3.2.2、flume-1.9.0、zookeeper-3.6.2、jdk1.8.0hadoop部署请看《hadoop3.2.2集群搭建》虚拟机列表及角色部署主机名IP角色node1192.168.56.114agentnode1192.168.56.115agent, collectornode3192.168.56.116collectorflume配置解压flu

转载 线程与线程池

线程和线程池相关的知识，是Java学习或者面试中一定会遇到的知识点，本篇我们会从线程和进程，并行与并发，单线程和多线程等，一直讲解到线程池，线程池的好处，创建方式，重要的核心参数，几个重要的方法，底层实现，拒绝策略，参数设置，动态调整，线程隔离等等。主要的大纲如下：线程池的好处线程池，使用了池化思想来管理线程，池化技术就是为了最大化效益，最小化用户风险，将资源统一放在一起管理的思想。这种思想在很多地方都有使用到，不仅仅是计算机，比如金融，企业管理，设备管理等。为什么要线程池？如果在并发的场景，编码人

原创 flume环境部署（一）

环境CentOS7、hadoop-3.2.2、flume-1.9.0、zookeeper-3.6.2、jdk1.8.0安装测试使用的软件：[root@node-1 ~]# yum -y install telnet-server[root@node-1 ~]# yum -y install telnet[root@node-1 ~]# systemctl start telnet.socketflume的netcat-logger配置${FLUME_HOME}/conf/flume-env.

原创 flink on yarn集群搭建

环境需求CentOS7.5.1804、jdk1.8.0_181、zookeeper3.6.2、hadoop3.2.2、flink1.12.2关于hadoop的安装细节请查看《hadoop3.2.2集群搭建》集群部署下载flink-1.12.2的安装包，下载地址：https://archive.apache.org/dist/flink/flink-1.12.2/，如下图下载scala-2.12.13的安装包，下载地址：https://scala-lang.org/download/2.12.

原创 开源许可证选择

六种开源许可证之间的区别：

原创 scala学习笔记 - 注解

什么可以被注解在scala中，可以为类、方法、字段、局部变量和参数添加注解，例如：@Entity class Credentials @Test def testSomeFeature() {} @BeanProperty var username = _def doSomething(@NotNull message: String) {}在给主构造器添加注解时，需要将注解放置在构造器之前，并加上一对圆括号（如果注解不带参数的话）。例如：class Credentials @Inj

原创 sparkcore实现word count

spark core几种实现word count的方式（基于spark3.1.2和scala2.12.13）：import org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local[4]").setAppName("WordCount") val sc

原创 scala学习笔记 - 隐式参数

隐式参数函数或方法可以带有一个标记为implicit的参数列表。在这种情况下，编译器将会查找默认值，提供给本次函数调用，以下是一个简单的示例：case class Delimiters(left: String, right: String) def quote(what: String)(implicit delims: Delimiters) delims.left + what + delims.right可以用一个显式的Delimiters对象来调用quote方法，就像这样：quo

原创 scala学习笔记 - 隐式转换

隐式转换在Scala中，隐式转换函数（implicit conversion function）指的是那种以implicit关键字声明的带有单个参数的函数。正如它的名称所表达的那样，这样的函数将被自动应用，将值从一种类型转换为另一种类型。如下，有一个＊方法用来将两个分数相乘，我们想把整数n转换成分数n / 1：implicit def int2Fraction(n: Int) = Fraction(n, 1)这样我们就可以做如下表达式求值：val result = 3 * Fraction(4,

原创 scala学习笔记 - 高级类型(二)

自身类型特质可以要求混入它的类扩展自另一个类型，用自身类型（self type）的声明来定义特质：this: 类型 =>这样的特质只能被混入给定类型的子类当中。在如下示例中，LoggedException特质只能被混人扩展自 Expcetion的类：trait Logged { def log(msg: String) }trait LoggedException extends Logged{ this: Exception => def log(){ lo

原创 scala学习笔记 - 高级类型(一)

单例类型给定任何引用v，你可以得到类型v.type，它有两个可能的值：v和null，这听上去像是一个挺古怪的类型，但它在有些时候很有用。首先，我们来看那种返回this的方法，通过这种方式你可以把方法调用串接起来：class Document { def setTitle(title: String) = { ... ; this } def setAuthor(author: String) = { ... ; this ) ...}然后，你就可以编写如下代码：val s =

原创 scala学习笔记 - 类型参数(二)

多重界定类型变量可以同时有上界和下界。写法为：T >: Lower <: Upper不能同时有多个上界或多个下界；不过，你依然可以要求一个类型实现多个特质，就像这样：T <: Comparable[T] with Serializable with Cloneable可以有多个上下文界定：T : Ordering : ClassTag类型约束类型约束提供给你的是另一个限定类型的方式，总共有三种关系可供使用：T =:= U // T是否等于UT <:<

原创 scala学习笔记 - 类型参数(一)

泛型类类和特质可以带类型参数，Scala中，我们用方括号来定义类型参数，例如：class Pair[T, S](val first: T, val second: S)以上将定义一个带有两个类型参数T和S的类。在类的定义中，你可以用类型参数来定义变量、方法参数、以及返回值的类型。Scala会从构造参数推断出实际类型：val p = new Pair(30, "aaaa") // 这是一个Pair[Int, String]你也可以自己指定类型：val p2 = new Pair[Any, A

原创 scala学习笔记 - 模式匹配和样例类(二)

样例类样例类是一种特殊的类，它们经过优化以被用于模式匹配；在本例中，有两个扩展自常规（非样例）类的样例类：abstract class Amountcase class Dollar(value : Double) extends Amountcase class Currency (value : Double , unit: String) extends Amount你也可以有针对单例的样例对象：case object Nothing extends Amount当我们有一个类型为A

原创 scala学习笔记 - 模式匹配和样例类(一)

认识match var sign = 0 val ch: Char = '-' ch match { case '+' => sign = 1 case '-' => sign = -1 case _ => sign = 0 }与default等效的是捕获所有的case _模式。有这样一个捕获所有的模式是有好处的，否则，如果没有模式能匹配，代码会抛出MatchError。与switch语句不同，Scala模式匹配并不

原创 scala学习笔记 - scala与java集合的互操作

JavaConversions对象提供了用于在Scala和Java集合之间来回转换的一组方法。给目标值显式地指定一个类型来触发转换 例如：import scala col lec ti JavaConversions._val props: scala.collection.mutable.Map[String, String] = System .getProperties()如果你担心那些不需要的隐式转换也被引人的话，只引入需要的即可 例如：import scala.collection.J

原创 scala学习笔记 - 高阶函数

作为值的函数在Scala中，函数是“头等公民”，就和数字一样。你可以在变量中存放函数：scala> import scala.math._import scala.math._scala> val num = 3.14num: Double = 3.14scala> val fun = ceil _fun: Double => Double = <function1>scala> fun(num)res0: Double = 4.0从技术

原创 scala学习笔记 - 特质

特质当接口使用Scala的特质可以像Java的接口那样工作，如下：trait Logger { def log(msg: String) // 定义一个抽象方法}无需使用abstract声明，特质中没有实现的方法默认就是抽象方法。子类可以实现，如下：class ConsoleLogger extends Logger {// override def log(msg: String): Unit = println(msg) // 也可以 def log(msg: String):

原创 scala学习笔记 - 类构造器

scala类的构造器辅助构造器scala的类可以有任意多的辅助构造器。辅助构造器的名称为this。每一个辅助构造器都必须以一个对先前已定义的其他辅助构造器或主构造器的调用开始。如下：class Demo { private var name: String = _ private var age = 0 def this(name: String) { this() // 调用主构造器 this.name = name } def this(name:

原创 scala学习笔记 - 类属性

Scala的类属性Scala类最简单的形式看上去和Java或C++中的很相似：class Demo1 { private var value = 0 // 必须初始化字段 def increment(): Unit = { // 方法默认是共有的 value += 1 } // def current(): Int = value def current: Int = value}调用无参方法（比如current时，可以写上圆括号，也可以写；？一般认为对于改值器方法

转载 Java、golang、rust比较

This is a comparison between Java, Go, and Rust. Not in the sense of a benchmark, but more of a comparison between the output executable file size, memory usage, CPU usage, run-time requirements, and of course a small benchmark to get some requests per s..

转载 第五章 第五节 算法分析与优化（偏斜类（Skewed Classes））

查准率（Precision）与召回率（Recall）从上面的例子我们知道，单纯地使用误差（Error）并不能完善地评价模型好坏，现在引入两个重要的评价指标：（1）查准率（Precision）；（2）召回率（Recall），并定义：阳性（Positive）：表示正样本。当预测和实际都为正样本时，表示真阳性（True Positive）；如果预测为正样本，而实际为负样本，则表示假阳性（Fa...

转载 第五章 第四节 算法分析与优化（机器学习系统设计--垃圾邮件分类）

机器学习系统设计--垃圾邮件分类假定我们现有一封邮件，其内容如下：From: [email protected]: [email protected]: Buy now!Deal of the week!Buy now!Rolex w4ches - $100Med1cine (any kind) - $50Also low co...

转载 第五章 第三节 算法分析与优化（偏差与方差）

总结现在，通过诊断模型是出现了高偏差还是高方差问题，我们对于在陷入不归路的调试中提到算法优化手段有了各自的使用场景：手段 使用场景 采集更多的样本 高方差 降低特征维度 高方差 采集更多的特征 高偏差 进行高次多项式回归 高偏差 降低参数λλ 高方差 增大参数λλ 高偏差 ...

转载 第五章 第二节 算法分析与优化（数据集划分）

转载 第五章 第一节 算法分析与优化（陷入不归路的调试）

陷入不归路的调试在线性回归中，我们使用了如下的代价函数来评估预测误差：想要降低预测误差，即提高预测精度，我们往往会采用这些手段：手段 评价 采集更多的样本 我们认为见多识广会让人变得聪明，但是也会让人变得优柔寡断，或者聪明反被聪明误。 降低特征维度 也许被降掉的维度会是非常有用的知识。 采集更多的特征 增加了计算负担，也可能导致过拟合。 进行...

转载 第四章 第八节 神经网络（神经网络解决逻辑运算问题）

转载 第四章 第七节 神经网络（感知器）

转载 Spark Streaming 实现思路与模块概述

一、基于 Spark 做 Spark Streaming 的思路Spark Streaming 与 Spark Core 的关系可以用下面的经典部件图来表述：在本节，我们先探讨一下基于 Spark Core 的 RDD API，如何对 streaming data 进行处理。理解下面描述的这个思路非常重要，因为基于这个思路详细展开后，就能够充分理解整个 Spark Streaming ...

转载 美团点评移动端基础日志库

背景对于移动应用来说，日志库是必不可少的基础设施，美团点评集团旗下移动应用每天产生的众多种类的日志数据已经达到几十亿量级。为了解决日志模块普遍存在的效率、安全性、丢失日志等问题，Logan基础日志库应运而生。现存问题目前，业内移动端日志库大多都存在以下几个问题：卡顿，影响性能 日志丢失 安全性 日志分散首先，日志模块作为底层的基础库，对上层的性能影响必须尽量小，但是日志的写...

转载 美团数据平台Kerberos优化实战

背景Kerberos 是一种网络认证协议，其设计目标是通过密钥系统为客户端、服务器端的应用程序提供强大的认证服务。作为一种可信任的第三方认证服务，Kerberos是通过传统的密码技术（如：共享密钥）执行认证服务的，被Client和Server同时信任。KDC是对该协议中第三方认证服务的一种具体实现，一直以来都是美团数据平台的核心服务之一，在Hive、HDFS、YARN等开源组件的权限认证方...

原创 CDH6.1.x离线安装

cloudera manager + cdh6.1.x 离线安装