DataWizard～-CSDN博客

原创 Spark入门介绍

spark入门，Spark介绍和发展，Spark特点及功能，Spark应用，Spark计算流程设计

2023-05-28 15:59:32 909

原创 Leetcode-Mysql-(1581)进店却未进行过交易的顾客

（LeetCode）链接：https://leetcode.cn/problems/rising-temperature表：Transactions。

2023-04-19 22:03:04 112 1

原创 Leetcode-Mysql-(1141)查询近30天活跃用户数

（LeetCode）链接：https://leetcode.cn/problems/rising-temperature活动记录表Activity。

2023-04-18 19:56:00 129

原创 Mac failed to create the java virtual machine

一、内存原因导致修改eclipse.ini配置文件，自行百度很多帖子。二、多版本JDK导致安装过多个版本的JDK，导致启动失败1、在/Library/Java/JavaVirtualMachines查看JDK版本 2、修改/Applications/Eclipse.app/Contents/Info.plist文件(Mac 和 Windows位置不同，这里以Mac为例子) 3、vi打开文件, 添加"...

2021-08-17 15:59:43 1287 1

原创 ATXServer2设备连接成功后，显示灰屏问题

ATXServer2设备连接成功后，显示灰屏问题解决一、前言最近在研究ATXServer2，并进行重构二次开发，过程中遇到部分机型连接成功后，屏幕可以操作但是无法显示，屏幕呈灰色显示，毕竟ATXServer2这个框架还是比较小众，网上查了很久都没有相关资料。发现很多人也遇到了相同问题，所以在此将自己的解决办法，以及相关资料分享给大家。原创作者，转载请附带原文链接二、问题定位首先我们要知道屏幕投屏这块是怎么实现的， ATXServer2是通过STF

2021-02-20 11:53:32 1408 3

原创安卓6.0+通电自动开机

文章目录一、前言二、工具准备三、备份四、具体操作步骤1、安装工具2、提取boot.img3、镜像工厂解包4、修改init.rc5、镜像工厂打包6、输入boot.img五、测试一、前言最近在做群控相关的一些东西，设备太多，有部分设备老化偶尔会异常关机，为了保证设备的可用性，查找了很多相关资料，发现通过修改设备充电自动开机是比较靠谱的方法。原文来自简书安卓6.0+关机状态下通电自动开机方案，此方案写的并不是很详细，没有相关配图，本篇文章会详细写出步骤。二、工具准备已解root权限、已解BL

2021-01-24 21:48:04 11761 9

原创解决！ATXServer2停用设备后，自动退回桌面

ATXServer2停用设备后，自动退回桌面文章目录ATXServer2停用设备后，自动退回桌面一、前言二、解决三、重启一、前言 ATXServer2 移动设备管理平台，主要是用的技术栈是 python3+nodejs+rethinkDB, 使用过程中发现，停用设备后设备回自动退回到桌面，如果我们设备上在跑一些自动化脚本的，退回桌面会影响到设备的运行，下面我们来解决这个问题。二、解决我们解决的方式是通过修改源码找到并打开 atxserver2-android-provider下

2020-12-28 12:13:00 307 18

原创 AST抽象语法树(Abstract Syntax Tree)

AST抽象语法树(Abstract Syntax Tree)文章目录一、AST抽象语法树是什么？二、例子1、简单的定义一个变量2、四则运算三、作用一、AST抽象语法树是什么？抽象语法树（Abstract Syntax Tree），或简称语法树（Syntax tree），是源代码语法结构的一种抽象表示。它以树状的形式表现编程语言的语法结构，树上的每个节点都表示源代码中的一种结构。抽象语法树并不依赖于源语言的语法，也就是说语法分析阶段所采用的上下文无文文法，因为在写文法时，经常会对文法进行等价的转换（

2020-11-18 17:02:58 824 1

原创 Spark环境中Python和Scala对比

Spark环境中Python和Scala对比1.性能对比由于Scala是基于JVM的数据分析和处理，Scala比Python快10倍。当编写Python代码用且调用Spark库时，性能是平庸的，但如果程序涉及到比Python编码还要多的处理时，则要比Scala等效代码慢得多。Python解释器PyPy内置一个JIT（及时）编译器，它很快，但它不提供各种Python C扩展支持。在这样的情况下，对库的C扩展CPython解释器优于PyPy解释器。使用Python在Spark的性能开销超过Scala，但其

2020-09-24 15:45:16 1429 1

原创 fake-useragent 替代库 anole

fake-useragent替代库anole安装使用：pip install anole下面为官网译文：Project description项目描述Like a anole, fake everything.像小丑一样，假装一切。Currently support user agent and name fake, other will be coming soon.目前支持用户代理和假名，其他将很快到来。Thanks for use.谢谢你的使用How to use如何使用fr

2020-08-11 16:31:58 827

原创被玩坏的“网抑云音乐“可视化数据分析

所以爱会消失的，对不对?一、数据说明1、本次分析数据来源网易云音乐热歌榜歌曲列表200首歌曲2、评论数据共抓取 229238 条样例数据，爬虫可以看我的另一篇博客网易云音乐3、分析用到的工具 pyechars, matplotlib,snownlp,numpy4、数据已上传到网盘有需要可以自行下载下载链接密码:pqls热门音乐评论数量top10Index_idSong_idSong_nameTotal1496370620断线155874121407

2020-08-08 16:19:09 2840 2

原创 AES加密算法

AES加密算法什么是AES加密算法？AES算法全称是Advanced Encryption Standard, 是DES算法的替代者，是当今最流行的对称加密算法之一什么是对称加密算法？对称加密：双方使用的同一个密钥，既可以加密又可以解密，这种加密方法称为对称加密，也称为单密钥加密。优点：速度快，对称性加密通常在消息发送方需要加密大量数据时使用，算法公开、计算量小、加密速度快、加密效率高。缺点：在数据传送前，发送方和接收方必须商定好秘钥，然后使双方都能保存好秘钥。其次如果一方的秘钥被泄露，那么

2020-08-08 14:52:35 3086 1

原创 Mac OneNote去掉红色波浪线

OneNote去掉红色波浪线〰️被OneNote的波浪线困扰好久了，今天终于把它搞定了第一步第二步第三步第四步坐得住板凳，耐得住寂寞，守得住初心!

2020-07-31 23:34:37 5869

原创 Docker搭建OpenLDAP+phpLDAPadmin统一用户认证

Docker搭建OpenLDAP+phpLDAPadmin统一用户认证一、背景使用LDAP对运维相关用户名密码做统一管理。可以实现一个帐号登录多个不同系统。网上找了好久，手动部署都是各种问题，后来采用Docker部署，参考了好多教程文档总结如以下内容亲测可用二、部署Docker 搭建 LDAP# 拉取镜像docker pull osixia/openldap:1.3.0 # 创建并进入映射目录mkdir -p /usr/local/ldap && c

2020-06-18 11:25:24 16356 3

原创 GitHub信息泄漏监控(GITHUB MONITOR部署)

GitHub信息泄漏监控(GITHUB MONITOR部署)一、docker 部署(推荐方式)docker部署针对https会有跨域无法访问的问题，如果想用https访问站点请用源码部署1、先克隆代码git clone https://github.com/VKSRC/Github-Monitor.git2、安装Docker及docker-composeyum install docker-compose docker -y3、修改配置文件首先复制根目录的.env.docker并重命名为

2020-06-08 17:10:57 2557 4

原创 python处理四字节unicode字符串

在开发过程中遇到四字节unicode字符串，用python各种转码也处理不了, 网上查找资料也没有相关的解决方法… 搞了半天脑瓜壳疼，不过皇天不负有心人最后还是被搞出来了????。问题unicode: “\u91cd\u751f\ud848\ude08”python环境下：用站长工具测试可以正常转换使用php进行尝试<?php// 将UNICODE编码后的内容进行解码function unicode_decode($name){ // 转换编码，将Unicode编码转换成可

2020-05-31 14:37:47 1202 2

原创解决Anaconda自动进入虚拟环境base

解决Anaconda自动进入虚拟环境base 我们发现安装完anaconda后打开terminal会自动进入到base虚拟环境解决办法执行下面的命令conda config --set auto_activate_base false这个在config中默认是true，我们把它设置成false就可以了坐得住板凳，耐得住寂寞，守得住初心!...

2020-03-31 21:18:05 2761 1

原创 Mac安装Anaconda虚拟环境命令行安装版

Mac安装Anaconda虚拟环境一、下载Anaconda1、地址1(官网)：https://www.anaconda.com/distribution/#download-section2、地址2(清华镜像)：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/3、地址3:https://repo.continuum.io/arch...

2020-03-31 19:09:21 2151

原创 Mac安装mysql数据库

mac安装mysql数据库一、下载安装包(我安装的是8.0.13) 官网链接：https://dev.mysql.com/downloads/mysql/ 百度网盘链接：https://pan.baidu.com/s/1X-LpVeoEerU9qkAGWKobZw 密码:dvv2 有需要的自行下载哦，官网下载比较慢但是是最版本，网盘里是8.0.13版本二、安装1、打开下载的安装包...

2020-03-25 20:47:01 225

原创 Mac安装mysql数据库, 提示mysql: command not found该如何解决

Mac安装mysql数据库, 提示mysql: command not found该如何解决在安装完Mysql连接的时候遇到了mysql: command not found, 经过查找相关文档经测试后找到了可用方法????一、配置环境变量1、打开Mac 终端输入sudo su (进入管理员目录需要输入用户密码-电脑密码)2、输入命令 vim /etc/profile 打开文件进入编辑模式(...

2020-03-25 20:41:29 3394 1

原创简单的数据处理(二)——python数据预处理生成词频统计图、词云

python数据预处理生成词频统计图、词云数据来源请看本人博客下简单的数据处理(一)一、对转换后的结果进行预处理1、我们需要去除每一句里的不可用字符，例如"",.!@#$%^&*(){}+=-…以及数字[0-9]等这些不可用数据import osimport rewith open("result.txt") as f: for line in f: ...

2020-03-24 13:24:31 5315 7

原创简单的数据处理(一)——python PDF文件转txt

PDF文件转txt基于Python3.7版本实现数据是我们在网上找到的一篇pdf格式的报告，我把数据放在了网盘里，大家有需要的自行下载地址：链接:https://pan.baidu.com/s/1pmwugCqb_VTDMHVZm2Yu3g 密码:wk2a通过python3 中的pdfminer库实现安装命令：**pip install pdfminer **from pdfmine...

2020-03-24 12:55:44 730 1

原创 ubuntu安装python虚拟环境

ubuntu 安装python 虚拟环境虚拟环境安装python包的命令： sudo pip3 install 包名包的安装路径：/usr/local/lib/python3.5/dist-packages安装同一个包的不同版本，后安装的包会把原来安装的包覆盖掉。这样，如同一台机器上两个项目依赖于相同包的不同版本，则会导致一些项目运行失败。解决的方案就是：虚拟环境安装虚拟环境的命...

2020-03-24 12:27:15 1777