9 Inside_Zhang

尚未进行身份认证

我要认证

Do not go gentle into that good night, Old age should burn and rave at close of day; Rage, rage against the dying of the light.

等级
TA的排名 9

xgboost 可视化与结果分析

xgboost 的可视化,调用 xgb.to_graphviz 或 xgb.plot_tree 接口;1. 指定 fmap(feature map)https://www.kaggle.com/mmueller/xgb-feature-importance-python按照 feature map 的格式,编写 fmap 文件:def ceate_feature_map(feature...

2019-04-04 00:42:56

python 分段拟合(curve fit)

https://stackoverflow.com/questions/29382903/how-to-apply-piecewise-linear-fit-in-python使用 np.piecewise 创建分段函数,使用 scipy.optimize.curve_fit 进行拟合:from scipy import optimizeimport matplotlib.pyplot ...

2019-03-06 22:43:35

优先队列(priority queue)的实现(java,jdk接口)

底层数据结构,最简单的情况为一维数组;两大接口(以大顶堆为例):push首先将要插入的值置于底层数据结构的末尾:heap[size-1] = value不断地将其与其父节点比较,heap[parent] >= heap[pos],break否则交换 heap[parent] 与 heap[pos] 的值,并将 pos = parentpoppos = 0h...

2019-02-24 12:41:28

python 运算符优先级、Chaining comparison operators

1. **>> 2**2**3256>> (2**2)**364>> 2**(2**3)256相同优先级的运算符会优先进行左结合,也即第一个操作数和第二个操作数结合,结果再与第三个操作数结合。对于 ** 是个例外。2. 比较运算符与 Chaining comparison operators>> 1<2==2>1Tr...

2019-02-19 21:56:53

极简代码 —— list 最小最大索引(argmax/argmin)的实现

def argmin(lst): return min(range(len(lst)), key=lst.__getitem__)def argmax(lst): return max(range(len(lst)), key=lst.__getitem__)

2019-02-11 22:59:47

极简算法 —— 判断两字符串是否为相同字母的不同顺序组成

将问题转换为统计各个字母的出现顺序:from collections import CounterCounter(str1) == Counter(str2)

2019-02-11 18:48:30

scala 偏函数与 map/collect

https://fangjian0423.github.io/2015/06/14/scala-partial/https://www.jianshu.com/p/fa2ed7ed391e0. collect 与 map 的区别由于collect方法接收的是一个偏函数类型,所以它并不能接收一个lambda表达式:scala> List(1, 3, 5, "seven").co...

2019-01-30 19:37:35

scala 与 spark 并行化

1. .par普通集合转换为并行集合scala.collection:scala> (1 to 5).foreach(println(_))12345scala> (1 to 5).par.foreach(println(_))13254注意既然是并行化处理,即一个集合不同的元素由不同的线程操作,不同线程执行的顺序是无法保证的;获取线程名:scala>...

2019-01-30 19:06:13

Spark RDD 之间的依赖关系

RDD就是一个不可变的带分区的记录集合,Spark提供了RDD上的两类操作,转换(transformation)和动作(action)。转换是用来定义一个新的RDD,包括map, flatMap, filter, union, sample, join, groupByKey, cogroup, ReduceByKey, cros, sortByKey, mapValues等。动作是返回一个...

2019-01-30 18:26:21

Spark utils —— 设置日志级别

1. 通过 SparkContext 指定日志级别val sc: SparkContext = new SparkContext(sparkConf)sc.setLogLevel("WARN")//sc.setLogLevel("DEBUG")//sc.setLogLevel("ERROR")//sc.setLogLevel("INFO")

2019-01-22 22:14:45

Python 命令的参数

1. -c 执行python语句$ python -c "print('hello')"hello

2019-01-21 22:28:04

pandas 学习 ——Series

1. Series 的获得df.iloc 按行或者按列索引一行,或一列得到的就是一个 Seriespd.Seriesfrom datetime import datetimedates = [datetime(2011, 1, i) for i in [2, 5, 7, 8, 10, 12]]s = pd.Series(np.random.randn(6), index=date...

2019-01-17 22:14:24

Python 爬虫 ——html 页面的认识

1. 页面中的表格<table class="..." id="..."> <thead> <tr> <th>...</th> <th>...</th> </tr> </thead

2019-01-17 18:45:54

Spark 调优 ——cache(persist)与 checkpoint

cache 是对 persist 的进一步调用;1. 为什么要 checkpoint为了保证数据安全性,需要对运行出的中间结果进行 checkpoint最好将结果 checkpoint 到 hdfs,便于集群所有节点进行访问;checkpoint 之前先进行 cache(persist),将数据放在缓存中什么时候 checkpoint:在发生 shuffle 之后做 ch...

2019-01-13 22:07:42

Spark 原理 —— 从 akka 到 spark 集群的启动

1. actor 到 akkaActor 是一种消息并发模型,基于事件模型的并发机制。Scala 的 Actor 类似于 Java 中的多线程编程,不同在于:Scala 的 Actor 设计的初衷在于尽可能地避免锁和共享状态,从而避免多线程并发时出现资源征用的情况;原因在于,Java 中多数使用的是可变状态的对象资源,对这些资源进行共享实现多线程编程的话,需要控制好资源竞争与防止对象状...

2018-11-11 19:14:09

强化学习 —— gym

0. gym 下的数据结构Discrete:gym.spaces.discrete.Discreteenv.action_sample 的返回值就是 Discrete 类型Discrete(n):{0, 1, 2, 3, n-1},表示的是正整数的离散空间;成员函数:sample():离散值空间中进行采样;contains(k):离散值空间中是否包含 k;1. 认识...

2018-11-09 19:37:07

LeetCode 一题多解

1. 括号匹配20. Valid Parentheses堆栈版:class Solution(object): def isValid(self, s): """ :type s: str :rtype: bool """ stack = [] para_map = {')':'('..

2018-11-05 21:54:16

LeetCode 堆栈队列 —— 括号匹配(20、232、155)

1. 堆栈(stack)20,20. Valid Parentheses,括号匹配,堆栈(python 中使用 list 即可实现表示堆栈,list.append:入栈,list.pop():出栈)实现:左括号((、[、{)入栈;右括号()、]、})出栈;遍历全部字符串后,堆栈为空;class Solution(object): def isValid(sel...

2018-11-05 13:03:01

LeetCode —— 链表相关(206、141)

0. 数据结构定义链表节点:class ListNode(object): def __init__(self, x): self.val = x self.next = None1. 链表206,翻转链表,206. Reverse Linked List:def reverseList(head): cur, prev = hea...

2018-11-03 22:29:23

keras + tensorflow —— 函数式 API编程

1. 实现简单的逻辑回归from keras import Inputfrom keras import layersfrom keras.models import Modelx = Input(shape=(32, )) # TensorShape([Dimension(None), Dimension(32)])y = layers.Dense(16, activation='s...

2018-11-03 12:18:41

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024超级勋章
    1024超级勋章
    授予原创文章总数达到1024篇的博主,感谢你对CSDN社区的贡献,CSDN与你一起成长。