- 博客(111)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 深刻掌握递归——从栈图来认识
函数调用另外一个函数是合法的；函数调用自己也是合法的。调用自己的过程称为递归函数，这个执行过程叫做递归。递归在数据结构中经常会用到，特别是解决树的递归问题时很好用。但是想明白递归是挺烧脑的，一般即使两层、三层递归也会容易给人绕进去。要是我们了解函数在底层的存储机制，利用栈（先进后出）来进行分析，或许就容易多了。不讲废话，直接捞干的，我们首先回忆下递归的规则，函数递归调用的重要规则程序执...
2019-10-26 21:35:35
2619
3
原创 使用Python进行12306抢票
最近朋友圈各种加速包抢票，偶然看到可以使用python也可以进行抢票，索性测试下。不说废话，不搞那么多前戏了，直接贴上图看一下效果：这是一个开源项目，具体使用方法在github上有着较详细的介绍。下面只对这个开源项目按照自己的理解做个简单介绍，自身理解和实际有所出入的地方，可以提出来一起去修正 学习。贴心的作者已经将流程图画了出来，按照图示，这也就是个模拟正常人买票的流程。1、识别验证...
2019-01-14 19:41:20
2221
原创 外星人入侵（使用python编写）
外星人入侵武装飞船学习完python基础语法知识后，便可进行项目实战。下面试着开发一个游戏，这将会使用到Pygame，这是一组功能强大而有趣的模块，可 用于管理图形、动画乃至声音，可以让我们更轻松地开发复杂的游戏。安装Pygame开始编码前，先来安装Pygame。本文只介绍Windows系统下如何安装。使用pip安装python包大多数较新的Python(3.4以上...
2018-07-22 17:57:30
7406
4
原创 571.(Hard)给定数字的频率查询中位数
正序asc和倒序desc都大于等于总数的一半： asc >= total/2 and desc >= total/2。
2023-02-07 10:29:51
206
1
原创 1097.(Hard)游戏玩法分析 V
留存问题，先计算出每个用户的初始登陆日期，接着将此日符合要求的用户同初始唯独没有下产生的用户做比较。从一名不羁的码农开始，谈风月之余谈技术。
2023-02-05 15:06:40
266
原创 sql-客服绩效考核问题
该题多次出现在面试中，算是一道hard难度的sql题目了。这类sql题目主要是将所描述内容用数学方式抽象出来。本题可以细分为以下三个步骤去解答。tb1表中存储客服和用户的对话，字段分别表示，发送者id，接受者id，时间戳，消息内容。求 客服名字 客服完成用户数 未完成会话 平均响应时长。dim_server 存储客服id 和名称。从一名不羁的码农开始，谈风月之余谈技术。
2023-02-05 10:23:52
298
原创 pyarrow 实现hdfs和本地文件传输
python环境下支持好几种与hdfs文件同步接口，如：pyhdfs，hdfs，libhdfs，pyarrow，shell等。考虑到易用性以及本地环境（公司集群禁掉了http服务）,本文介绍使用pyarrow 以一种优雅的方式进行本地文件与hdfs同步。下面2.1,2.3功能 示例较完整。简单的测试实例见2.3.分别为自定义的类，主要是实现。可用于复制单个文件。
2022-11-17 09:38:48
1879
转载 Hive 如何划分 Stage【转载】
物理计划优化器再对 TaskTree 进行变换，生成最终物理执行计划，以提交给计算引擎执行。一个 stage 可以是一个 MapReduce 任务(或者一个 Map Reduce Local Work)，也可以是一个抽样阶段，或者一个合并阶段，还可以是一个 limit 阶段，以及 Hive 需要的其他某个任务的一个阶段。一个 Hive 任务会包含一个或多个 stage，不同的 stage 间会存在着依赖关系，越复杂的查询通常会引入越多的 stage (而 stage 越多就需要越多的时间时间来完成)。...
2022-08-10 15:44:30
740
原创 CTF图片拼图&安装坑点
背景作为一小白初次了解ctf,遇到每一题都磕磕绊绊，记录一拼图的题目。题目是给一张图片，然后找出flag。当我们获得一堆小图片（如下图所示）时，便可以通过 montage 进行拼图，进而通过 gaps 优化获得所需的flag信息。一些报错ImportError: No module named 'skbuild'ERROR: Command errored out with exit status 1: /usr/bin/python /usr/local/lib/python2.7/dist-
2021-08-29 16:36:34
9335
5
原创 AttributeError: module ‘lda2vec‘ has no attribute ‘dirichlet_likelihood‘
实验环境windows10·python3·问题描述导入from lda2vec import preprocess, Corpus时报错：File "C:\Program Files\JetBrains\PyCharm 2020.2.1\plugins\python\helpers\pydev\_pydev_bundle\pydev_import_hook.py", line 21, in do_import module = self._system_import(name, *arg
2020-11-18 22:04:37
479
原创 解决module ‘tensorflow_datasets.core.features‘ has no attribute ‘text‘
目录问题描述问题解决参考文献问题描述在TensorFlow官网学习加载文本的例子，执行tokenizer = tfds.features.text.Tokenizer()代码出现如下问题：AttributeError Traceback (most recent call last)<ipython-input-20-6f949be18afd> in <module>()----> 1 tokenizer = tf
2020-11-13 11:22:28
3310
原创 2020-08-08网易笔试
1. 给一个数组，求，数组中的每个元素可由多少个素数组成，求总和。注释部分代码超时了，优化后如下：def test1(): n = int(input()) arr = list(map(int, input().strip().split(" ")))[:n] res = 0 for i in range(n): res += countPrime(arr[i]) return resdef countPrime(n): if n
2020-08-08 17:38:36
2465
原创 2020-08-06-京东笔试题
1题目描述：X星人的基因由A、B、C、D、E五种不同的结构组合而成。如果两个性别不同的X星人的基因序列相似度大于50%，按照X星的法律他们是禁止结婚的，等于50%据说还是可以的。那么基因的相似度怎么计算呢？分别从两个人身上取长度均为N的基因片段，如果它们的最长公共子序列（注意，最长公共子序列不需要连续）的长度为M，则相似度=M/N。是不是很简单呢？现在给你两段X星人的基因序列片段，请你判断他们是不是可以结婚？思路：动态规划，求最长子序列问题def test(): n = int(
2020-08-06 21:20:33
686
2
原创 Hive1.2升级到Hive2.3的方法以及相关报错整理
实验环境Ubuntu16.04；Hive1.2.1(旧)；Hive2.3.1(新)；实际操作按照之前安装hive1.2的方法，将相关配置文件复制过来，不在赘述。需要具体步骤的，可以在文章末尾的公众号上回复[hive安装]获得完整版的安装文件以及hive教程。将hive2.3重新安装一遍就完事了吗？当然不是。我们发现，安装完启动 hive 命令后，出现如下报错：FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveE
2020-07-21 12:32:37
1037
原创 Caused by: java.lang.ClassNotFoundException: org.apache.avro.generic.GenericRecord
环境windows10；idea；错误分析首先排除，maven下下载依赖没问题，也就是写代码是没有报红；那么很有可能是pox.xml中的依赖配置有问题，如下： <dependency> <groupId>org.apache.avro</groupId> <artifactId>avro</artifactId> <version>${avro.ve
2020-07-06 19:20:12
1406
原创 考研经验贴
考研经验帖写在前边最近几年参加研究生统一招生考试的人数越来越多，伴随着互联网行业的快速发展，许多人也会选择考与计算机专业相关的硕士。在准备考研之前，首先想想为什么要考研呢？是对某个领域感兴趣要继续学习呢？或是当年高考不理想想重新进入目标院校换个平台呢？还是仅仅为了逃避就业而选择考研？如果是后者，笔者是不建议继续上研的，因为就业是迟早的事，如果抱着这种心态去上研，大概率在读研阶段效率也不会太高...
2020-02-20 21:06:45
2496
原创 使用Python剪辑 拼接音频文件
使用Python剪辑 拼接音频文件近日有同学让我帮他剪辑某一段音频，笔者就搜罗了下网上一些常用的剪辑音视频软件。各类杂七杂八的软件挺多的，在纠结于选择哪一个时，忽然想起”为嘛不用Python神器试试呢？“有了想法，那就实践呗！这一搜索，还真有相应的库是可以切割音频的。方法1from scipy.io import wavfileimport numpy as np使用scipy库...
2020-02-12 16:34:01
6852
原创 实习面经-京东广告部门-数据研发
面试部门–京东广告部门笔者目前研二网络空间安全硕士在读，按照实验室往年的惯例，这个寒假过后就要准备投实习岗位了（当然是越早准备越好）。我们实验室今年1.10号以后就可以回家了，那会儿看到一位同学发的推荐贴，就试着投了下京东的广告部门。很快就接到部门leader电话，约定1.15下午面试，其实这个时间是可以商量的，要是觉得自己准备的不是太充分，可以往后顺延。笔者准备投**”数据研发“，”后台开发...
2020-01-25 22:27:46
1101
原创 错误：找不到或无法加载主类（源文件中含有包名 package）----java
实验环境windows10;报错分析如下图所示，编译（java）之后，执行(java)程序时，出现如下报错：找不到或无法加载主类。首先排除你的环境变量配置问题，即，命令行界面能够识别java和javac命令，这就说明环境配置没有问题。这时可以判断出现，出现该问题的原因是java文件中带有包名。解决方案方案1如果只是单个文件测试，去掉文件头部的包名（如：package com.ru...
2019-12-16 10:51:48
853
原创 通过列表创建二叉树——python实现
创建二叉树通过python实现，将所给列表作为参数相关代码# -*- coding:utf-8 -*-'二叉树结点类'class TreeNode: def __init__(self, x): self.val = x self.left = None self.right = None'列表创建二叉树'def ...
2019-12-09 20:31:30
5766
1
原创 解决：java.rmi.ConnectException: Connection refused to host: 127.0.0.1; nested exception is:
实验环境windows10；idea2010.1.3;scala 2.11.12;报错详情当注册一个服务时，出现如下报错：Exception in thread "main" java.rmi.ConnectException: Connection refused to host: 127.0.0.1; nested exception is: java.net.ConnectE...
2019-12-06 15:43:57
5696
原创 剑指offer(Python3实现)
swordToOffer使用python3编写《剑指offer》所有算法，在参考牛客网，剑指offer书本以及其他前辈所写的程序的同时，也加入了自己的解题思路，力争用简单的语言描述清楚。所有的程序均已上传到github，之后将持续整理更新，题目的顺序与牛客网基本一致。源码地址chapter2试题 3：二维数组中的查找试题 4：替换空格试题 5：从尾到头打印链表试题 6...
2019-11-24 22:23:14
644
原创 Cloudera Manager_java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
实验环境Cloudera manager6.3；相关报错scala> val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysqll://hadoop210:3306/rdd").option("driver", "com.mysql.jdbc.Driver").option("dbtable", "t").optio...
2019-11-22 17:10:55
871
原创 Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnection:ExceptionCould not create con
spark,scala,mysqlcom.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server.The server time zone value 'Öйú±ê׼ʱ¼ä' is unrecognized or represents more than one time zone
2019-11-20 14:41:29
1473
翻译 Overriding toString() method in Scala
示例代码不覆盖toString方法考虑一下的程序。再类中不适用toString方法。// Scala Program without override toString method // Creating Class class Language(LangArticle: Int, LangName: String) { // Defining getLangArticle ...
2019-11-12 18:37:42
263
原创 解决modulenotfounderror: no module named 'resource' &&Python worker failed to connect back
如果你也是spark2.4.0,那么在windows系统上肯定会出现该错误。实验环境windows10spark2.4.0相关报错Traceback (most recent call last): File "C:\Users\mjdbr\Anaconda3\lib\runpy.py", line 193, in _run_module_as_main "__main_...
2019-10-20 22:39:05
7665
1
原创 剑指offer 3
本期题目概览本期的五道题涉及到的知识点有：递归，整数的二进制表示，逻辑运算符，python中List 常用的内置方法。chapter3试题 11：变态跳台阶一只青蛙一次可以跳上1级台阶，也可以跳上2级……它也可以跳上n级。求该青蛙跳上一个n级的台阶总共有多少种跳法。（递归想明白不容易，即使递归两次认真去想那也很烧脑。之前看过一本书，作者对于递归给的建议：别想太多，相信信念。还别说...
2019-10-15 22:53:27
919
原创 java.io.IOException: Failed to delete: C:\Users\dell\AppData\Local\Temp\spark- in windows
实验环境windows10spark2.4Scala 2.11.12问题描述\sbtSpark1_jar>spark-submit --class com.spark.WordCount.WordCount sbtSpark。jarjava.io.IOException: Failed to delete: C:\Users\dell\AppData\Local\Temp\s...
2019-10-14 14:13:16
4949
1
原创 在Windows平台安装Hadoop&&idea调试spark程序
使用idea可以方便的编译scala程序，只是在windows环境下，安装hadoop不太方便。本文搜集了网上给的教程，整理出一些能解决问题的方法。实验环境windows10；idea2019.1.3scala-sdk-2.11.0jdk1.8.0_201hadoop-2.7.1spark2.4.3下载安装包由于hadoop依赖于jdk，所以需要先安装配置jdk，具体下载地...
2019-10-12 21:19:03
407
原创 虚拟化技术的优点和缺点
虚拟化技术的优点和缺点在过去几年中，虚拟化一直是数据中心和企业技术的重点，大量企业已经使用云计算和其他解决方案实现了虚拟化。即使是小型企业，尤其是那些依赖数据处理的企业，也在享受虚拟化带来的好处。然而，需要注意的是，这项技术并不都是好的，它对企业提出了一些特定的挑战。这意味着你应该准确地了解它的利弊，以便能够决定它是否适用于你。虚拟化技术的优点集中化管理管理员不用再跑上跑下的处理每个工位...
2019-10-10 13:57:34
24575
原创 剑指offer 2
本期题目概览chapter2试题 7: 用两个栈实现队列用两个栈来实现一个队列，完成队列的Push和Pop操作。 队列中的元素为int类型。试题 8: 旋转数组的最小数字把一个数组最开始的若干个元素搬到数组的末尾，我们称之为数组的旋转。输入一个非递减排序的数组的一个旋转，输出旋转数组的最小元素。例如数组{3,4,5,1,2}为{1,2,3,4,5}的一个旋转，该数组的最小...
2019-10-08 21:18:41
930
原创 剑指offer 1
明天国庆，每年这个时候学校的三方也差不多下来了，各个企业自然也会催着签合约。明年这个时候，如何决胜秋招？那会就是我们了该认真考虑了。前段时间和已经拿到offer的学长交流，也看了些他们的面经，了解到今年的行情不是太好，除过一些大厂不受影响外，好些企业都有所缩招。互联网曾一度发展相当迅猛，这个势头还会持续，只是互联网行业的红利已经到了瓶颈期了。以后再这个行业捞金只会更难，对求职者的要求也自然会提高...
2019-10-01 13:49:28
404
原创 atom插件报错： AssertionError: html-pdf: Failed to load PhantomJS module&Markdown-pdf: Error. Check conso
atom是github出的一款产品，提供了许多可供选择的插件，用来编辑文档是挺方便的。笔者也是最近在使用这款软件。其中安装某些软件时出现一些问题，如：文本格式转换插件markdown-themeable-pdf，markdown-pdf.下面具体详述报错及其解决办法。一些报错Markdown-pdf: Error. Check console for more information....
2019-09-30 21:14:22
633
原创 mysql导出数据：解决--secure-file-priv option so it cannot execute this statement
实验环境Ubuntu16.4；MySQL5.7问题描述准备将数据库中某张表导出来，报如下错误：mysql> SELECT * FROM runoob_tbl INTO OUTFILE '/tmp/runoob.txt';ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv opti...
2019-09-21 11:40:20
1033
转载 win10家庭版安装Docker
在网上查看了好多教程主要是说安装 win7 win8来装，终于还是没能解决。这里转载一篇好用的教程。win10家庭版安装Docker这里主要是将当前的系统伪装成 专业版...
2019-08-26 14:46:28
254
原创 机器学习实战笔记--朴素贝叶斯&Logistic回归
文章目录2 K-近邻算法 & 3 决策树4 基于概率论的分类方法：朴素贝叶斯4.5 使用Python进行文本分类4.5.1 准备数据：从文本中构建词向量4.5.2 训练算法：从词向量计算频率4.5.3 测试算法： 根据现实情况修改分类器4.5.4 准备数据：文档词袋模型4.6 示例：使用朴素贝叶斯过滤垃圾邮件4.6.1 准备数据：切分文本4.6.2 测试算法：使用朴素贝叶斯进行交叉验证4....
2019-08-22 18:16:59
791
原创 机器学习实战笔记
Machine Learning in Action文章目录Machine Learning in Action2.1 实施kNN算法代码清单1：测试，结果：2.2使用kNN改进约会网站的配对效果2.2.1 准备数据，从文本中解析数据2.2.2 分析数据： 使用Matplotlib创建散点图2.2.3 准备数据：归一化数值测试算法：作为完整程序验证2.3使用算法：构建完整可用系统2.3.1 准备...
2019-08-16 21:01:31
315
原创 解决：caused by: java.io.ioexception: error=13, permission denied
Caused by: java.io.IOException: Cannot run program "/root/anaconda3/bin/python": error=13, Permission deniedpysparkcloudera manager
2019-08-07 15:33:29
16053
9
维吉尼亚加密解密C语言实现
2018-11-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人