- 博客(387)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 在 spark pipeline 中加入已训练模型（以 离散化编码 ValueIndexerModel 为例）
现在有个需求，对于“将职业离散化”这个过程，我已经有了一套标准，该怎么办呢？举个例子，假设有职业列有三个值：`学生`、`工作`以及`未知`。如果将离散化交给 Spark ，那么，我们可能得到 `学生0` `工作1` `未知2` 或者 `学生1` `工作2` `未知0` 等不确定的编码。现在业务上要求必须使用一套确定的编码，该怎么办呢？
2022-02-10 20:03:09
1644
原创 Windows 运行 spark-hadoop 报错 java.io.IOException: (null) entry in command string: null chmod 0644
这个很简单，去 https://github.com/cdarlint/winutils 这里找到你的对应版本，用其中的 bin 代替你本地的 bin 。然后配置环境变量 %HADOOP_HOME% 以及 PATH+=%HADOOP_HOME%/bin 。
2022-02-10 17:15:05
1829
1
原创 为什么在 Windows 下用 Ctrl+Z 退出 Python 而 Linux 下用 Ctrl+D 呢？
当我们想退出 python ，返回我们的 shell 时，你将如何退出？
2021-09-08 14:55:19
695
原创 Spark 自己实现分箱逻辑遇到的坑
说一所小学有好几个班级，现在要 以班级为单位 给孩子们按照身高进行排序，并且记录下来。问题就是，全学校只有一条测身高的尺子，而且因为孩子们过于顽劣等主客观因素，测量身高、按身高排序、登记身高这些过程，必须在一间教室里进行。 没有被轮到测量的班级，就在操场活动。
2021-07-21 09:18:23
652
2
原创 【求助】如何从 Spark 的 DataFrame 中取出具体某一行？我自己的一些思考
如何从 Spark 的 DataFrame 中取出具体某一行？根据阿里专家Spark的DataFrame不是真正的DataFrame-秦续业的文章-知乎的文章：DataFrame 应该有『保证顺序，行列对称』等规律因此「Spark DataFrame 和 Koalas 不是真正的 DataFrame」确实可以运行，但却看到一句话，大意是数据会被放到一个分区来执行，这正是因为数据本身之间并不保证顺序，因此只能把数据收集到一起，排序，再调用 shift。这样就不再是一个分布式的程序了，甚至比 pa
2021-07-18 22:33:40
1923
1
原创 Python 中非常狗的一个坑（在 `a={1:2},`后面多了一个逗号，自动被判为 tuple 类型了）
本意是好的，语法灵活一点，随意一点，用起来方便。可是不限制声明类型，甚至元组的声明都不用加括号，这就有点狗了。a = {'a': 2}# a 是 dicta['a']# a['a'] 是 2a = {'a': 2},# a 是 tuple ({'a': 2}, )a['a']# 报错a[0]['a'] # 才是 2...
2021-07-14 00:59:13
480
原创 如何优雅地实现浏览器兼容与CSS规则回退
本文就是探讨如何优雅地应对浏览器兼容问题，包括四点：层叠机制来支持较早的浏览器，Modernizr设置辅助类来分别编写样式，使用 @supports 规则回退，简短的 JavaScript 代码实现回退。
2021-07-06 17:25:37
361
原创 《Visual Studio Code权威指南》读后总结
五分满分我给四分，毕竟作者的水平与专业性是值得称道的，但是全书内容太过全面：从各个语言到前端、从云计算到物联网，以至于大部分内容都是一带而过。
2021-07-01 11:39:31
2318
1
原创 npm 更新依赖 / 更新库 / 更新包 的命令 | npm outdated | npm updated
最近在用一个开源项目的 beta 版，很不稳定，想升级一下 node 项目依赖。这些命令会很常用，在这里记录一下。
2021-06-29 22:33:57
1513
原创 @wraps 修饰器：让你的 Python 代码更加简短可爱 | 从简单实例来认识它
本文简单与读者朋友们「科普」一下修饰器，注意到我们这里实际上仅仅修饰了无参数的函数。其实，修饰器还有许多更加优雅用途，比如传入参数 *args, **kwargs ，修饰类 __call__ 等用法。期待以后我遇到好的应用场景，将经验分享给朋友们。
2021-06-13 22:19:30
521
5
原创 并发和并行 | Python中实现多线程 threading 和多进程 multiprocessing
深入浅出比喻说明线程与进程，附小白都能看懂的对比试验。
2021-06-10 21:35:52
6025
2
原创 Python格式化字符串字面值 | 被官方文档称之为『漂亮』的输出格式
用法可以参考Python 的字符串格式示例（format examples）。咱们这里自己造个场景：打印表格。
2021-06-08 13:54:02
621
1
原创 Python 添加类型标注 | 散发着自由松散气息的代码
Python 如此简洁，书写者在声明变量时甚至无需考虑类型。但是简洁与复杂间，是存在一个平衡点的。当我们书写较为复杂的项目时，还是希望可以拥有「静态类型语言」强大的类型检查和智能的提示。
2021-06-06 16:19:10
541
1
原创 【菜鸡学算法】用最笨最直观的方法讨论递归取中值时是不是陷入死循环
所谓少壮不知道，老大徒伤悲。被很简单的快排 代码运行状态： Memory Limit Exceeded 老半天。最后琢磨半天越界这事儿。总结起来一句话：避免出现 func(l, r) { func(1, r) } 这种情况，因为这是死循环。 如何避免？ (l, jj), (jj+1, r)中，jj至少从r身上离开，就可用。
2021-05-06 10:00:30
349
原创 powershell / ps脚本ps1中.exe（可执行文件）没反应
我们首先键入路径下可执行文件的名字，没反应。当我们以管理员身份运行时，程序可以正常执行。
2021-03-15 23:57:12
1159
原创 讲座笔记：图匹配 Graph Matching 问题 | 机器学习&组合优化
机器学习与组合优化问题实例，研究对象是 Graph Matching 。
2021-03-13 09:14:25
4108
原创 跳转引用、禅模式...VS Code 中 11 个快捷键/操作，让你的效率与舒适度翻倍！
本文我们继续讨论 VS Code 中的快捷键。实际上，相比前两篇文章，本文更加注重介绍“操作”，快捷键不是重点，重点是功能的探索与应用。
2021-02-17 22:01:23
4973
原创 VS Code 中的 Vim 操作 | 无需修改 VSC 默认快捷键 | 常用组合与逻辑
尽管 VS Code 自带的快捷键已经足够强大 ，但存在一个问题：使用方向键是一个有些“反人类”的行为，双手放在键盘上，如果只敲击字母，那么便无需移动手腕；如果需要去敲击方向键，则需要移动手腕或者小臂。Vim插件让绝大部分敲击集中在字母的区域，让操作更加快捷、舒适。本文我将推荐我常用的Vim操作。
2021-02-05 08:38:26
6783
1
原创 你真的会用 VS Code 的 Ctrl、Shift和Alt吗？高效易用的快捷键：多光标、跳转引用等轻松搞定
本文我为大家总结了 Ctrl 、 Shift 、 Alt 与方向键结合的妙用，简单易学，又功能强大。我录制了大量动图，帮助读者更好地理解这些快捷键的高效。
2021-02-03 13:41:08
2024
原创 是时候给为的 C 盘清理污垢了！一个830KB的神器安全解决烦恼 | C 盘快满了，如何清理 C 盘？ | win 10 OS盘清理
这篇文章我强力推荐一款软件： SpaceSniffer 。其作用大概是：可视化各个文件夹的容量，让我们有方向地、有效率地删除大容量无用的文件。
2021-01-31 19:14:38
640
1
原创 dgl._ffi.base.DGLError: Cannot assign node feature “n_feat“ on device cuda:0 to a graph on device
记得从原理出发。
2021-01-31 17:48:11
3630
3
原创 【bug解决方案】powershell 中无法激活 conda 环境 /Anaconda 使用 powershell 无效
工作需求原因，拿到一台新电脑，首先需要安装 python 。一般地，我用 conda 管理自己的 python 环境。使用 conda 管理环境，大多需要用到命令行。使用 Anaconda 自带的 Anaconda Prompt 虽然没什么问题，但终究没有集成到自己的命令行工具中，对我而言，多开命令行很麻烦。一般，我会把所有命令行工具集成到 powershell 中，软件用 Windows Terminal 。这里遇到了 bug 。问题描述安装了 Anaconda 。输入 conda acti
2021-01-31 17:04:51
3385
4
原创 「大厂实习心得」久坐办公写程序的我，差点忘了『呼吸』也能锻炼身体
可别小看这每天10+个小时的久坐——其实「磨刀不误砍柴工」，了解几个小 tips 并且执行下去，或许会让自己的事业与身体健康达成一致，生活更加舒适。但“站着说话不腰疼”——如今我终于体会到了“有一个舒适的工位是多么容易让人不想站起来”，我也可以针对这种情况，设计自己的方案，并且分享给各位。
2021-01-18 09:47:08
477
BA_network-SEIR-Sim.rar
2020-08-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人