- 博客(43)
- 收藏
- 关注
RSS订阅原创 Exception in thread “main“ org.xerial.snappy.SnappyError: [FAILED_TO_LOAD_NATIVE_LIBRARY] null
libsnappy.so
2024-04-05 14:31:43
211
原创 报错Unable to instantiate SparkSession with Hive support because Hive classes are not found.解决方法
java.lang.ClassNotFoundException: org.apache.spark.sql.hive.HiveSessionState；javax.jdo.JDOFatalInternalException: Error creating transactional connection factory
2024-04-04 23:23:48
714
原创 SparkSQL基本数据抽象RDD/DataFrame/Dataset介绍[附操作代码]
spark SQL数据结构，RDD｜DataFrame｜Dataset 结构梳理和相互转换
2024-03-31 01:03:30
417
原创 mac IDEA基础配置和激活+maven配置+scala插件导入+scala文件打包
安装IDEA免费激活IDEA 安装maven，连接本地maven和IDEA，安装scala插件并添加scala外部库 解决scala文件打不进去包的问题
2024-02-08 09:37:15
1259
原创 macos安装local模式spark
c. 添加以下三条连接，使得spark能够找到对应的hadoop和相应的包。2. 打开sparkshell。然后执行并生效系统环境变量。然后执行并生效系统环境变量。可以看到很多输出，最后找到。b. 其次替换配置文件。
2024-02-07 00:49:32
823
原创 mac解决anaconda虚拟环境安装jupyter notebook问题
安装时使用 -m 参数能够指定该python解释器安装在当前默认的路径下，也就是我们目前打开的虚拟环境路径之下。因此为能够增加nbextension功能，需要进行如下操作。使用远端镜像比较慢，可以采用国内景象进行下载，相关的。在建立虚拟环境时，要指定使用python的版本。此时的jupyter notebook 亲测是。此时相应环境的python解释器将会被关联在。使用 -i 参数符我们便可以手动设置下载镜像。我的虚拟环境显示如下。
2024-01-14 23:25:46
419
原创 mac jupyternote崩溃恢复
dump文件就会出现在该路径下filename文件中。如果使用.py结尾，则可以通过pyCharm直接进行查看。jupyter notebook 同样支持历史dump，但是注意dump文件只限于本次会话中存在过的各种操作。使用方法是：在该会话中的任意一个jupyter notebook 交互界面的代码单元格中输入。所有经过python解释器解释过的内容都会记录在python历史文件中，位置在。然后可以通过vim操作进行查看。如果还不是很清楚，可以参照。
2023-11-24 11:51:04
88
原创 python matplotlib绘图参数总结
首先建立画布，建议使用，将所有的绘制任务都分配到ax对象上进行。注意，除非使用1*1的画布分区，否则此时ax将会是一个二维数组，需要以数组的形式获取不同位置的ax对象。
2023-11-13 09:52:37
170
原创 github分支处理stash,rebase,merge,fastforward以及分支代码提交主分支
Git采取的是增量式文件存储系统，类似于hadoop中的redo log 或者是MySql主从模式下的bin log，因此每一次提交实质上记录的是与上一次提交相比不同的记录。分为三个区的目的也非常明确，就是能够将本地未跟踪代码以及仓库版本代码进行隔离，并且能够极大程度上为本地未跟踪代码入库提供便利。，stash操作只能以快照的形式处理每一次压栈，并且每一次压栈所存储的快照之间是不能够合并的。是git软件未对代码进行跟踪的位置，我们修改代码就如同没有版本管理软件一般操作；暂存区(staging area)
2023-11-03 23:55:02
120
原创 Latex公式语法
文章目录矩阵｜行列式｜大括号关键词资料矩阵｜行列式｜大括号关键词begin{array}end{array}\left\right\vdot \cdot \ddot \ldot资料打印矩阵｜行列式的技术博客在这里
2022-02-02 19:13:42
932
原创 python常用包总结
文章目录python 常用包总结numpy包方法对象字段对象方法计算比较python 常用包总结numpyimport numpy as np包方法np.arange() 用于生成一维数组>>> np.arange(12)array([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11])np.array() 用于将list转化为相应ndarray数组>>> a=list(range(12))>
2022-01-19 23:05:58
1031
原创 Mac Conda全操作总结
文章目录Mac Conda 全操作总结Anaconda 安装Conda 虚拟环境进入Mac Conda 全操作总结Anaconda 安装安装教程链接常用指令简介Conda 虚拟环境进入激活虚拟环境$ conda init bash/zsh** 然后重启Terminal取消激活 $ conda config --set auto_activate_base false # 将false改为true设置默认环境为conda** 然后重启Terminal...
2022-01-17 15:45:22
1242
原创 hadoop集群虚拟机布置教程
文章目录1 搭建多集群平台1.1 最小镜像下载1.2 在Workstation中安装1.3 安装secureCRT1 搭建多集群平台1.1 最小镜像下载参考简书博文1.2 在Workstation中安装参考这里1.3 安装secureCRT参考这里
2021-02-23 11:55:01
110
原创 Anaconda配置虚拟环境并为Jupyter notebook添加内核｜功能
conda jupyternotebook安装anaconda安装jupyter notebook为jupyter notebook 添加目录功能使用pip 安装jupyter notebookipykernel为jupyter notebook 添加新内核
2021-02-04 08:10:21
9592
原创 [整理]数据库连接池配置文件
文章目录c3p0 xml格式文件设置c3p0 xml格式文件设置<c3p0-config> <!-- 默认配置，如果没有指定则使用这个配置 --> <default-config> <property name="driverClass">com.mysql.cj.jdbc.Driver</property> <property name="jdbcUrl">jdbc:mysql://
2020-08-11 10:04:51
728
原创 [整理]String&StringBuilder&StringBuffer区别
文章目录String与StringBuffer的区别具体区别StringBuffer的常用方法String与StringBuffer的区别简单地说，就是一个变量和常量的关系。StringBuffer对象的内容可以修改；而String对象一旦产生后就不可以被修改，重新赋值其实是两个对象。具体区别StringBuffer的内部实现方式和String不同，StringBuffer在进行字符串处理时，不生成新的对象，在内存使用上要优于String类。所以在实际使用时，如果经常需要对一个字符串进行修改，例如插
2020-08-02 20:18:41
104
原创 [整理]tomcat服务器web.xml配置文件
<?xml version="1.0" encoding="UTF-8"?><web-app xmlns="http://java.sun.com/xml/ns/javaee" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/xml
2020-07-31 03:01:55
162
原创 Eclipse EE 配置web application
文章目录Eclipse EE IDE配置安装Tomcat服务器建立web项目web 项目连接tomcat服务器Eclipse EE IDE配置首先需要注意的是， Eclipse SE IDE 同样可以build web项目，但是需要下载相应的Java EE plugins，具体方法是 help->install new software然后下载与Java EE 有关的插件。具体方法可以参考这篇博文。同时，更建议直接到Eclipse官网下载64位 Eclipse EE IDE，里面自动集成了所有E
2020-07-30 19:18:22
409
原创 java与javac使用总结
文章目录java与javac配置自定义包与外部包依赖java 与 javac 版本匹配问题java与javac配置自定义包与外部包依赖需要建立classpath用户环境变量(User Environment Variable)，其中第一个变量值为 .; 表示当前文件夹路径，否则可能在使用java编译运行时会产生找不到主函数的错误，设置的方法详见这里。其次，用户自定义包以及外部包也需要添加到classpath中，这样在使用javac解释过程中不用再使用-cp指令指定相关包路径。注意，在解释器运行过程中
2020-07-30 06:40:20
140
原创 java jdk及javac使用
文章目录SDK与JDKServlet包及javac解释器SDK与JDKJDK(Java Development Kit)属于SDK(Software Development Kit)的一个子集，其中包含JRE(Java Runtime Environment)以及相应的jar包、class源码与帮助文件；我们先贼经常使用的JDK8甚至是更高的版本基本上都是JavaSE的相应JDK版本。Servlet包及javac解释器Servlet包属于JavaEE相应JDK版本，因此在JavaSE JDK相应版
2020-07-30 00:40:53
197
原创 Tomcat服务器配置及问题解析
文章目录源代码下载安装配置解决闪退问题增加Tomcat系统环境变量源代码下载进入Apache官方网站点击project找到Tomcat进入下载页面：https://tomcat.apache.org/download-70.cgi注意，下载binary distribution而不是source code，否则可能会出现依赖包无法找到的情况安装配置由于Tomcat完全由java语言编写，所以运行Tomcat服务器需要电脑安装有Java JDK作为支持。在运行Tomcat之前，需要配置系统环境变
2020-07-29 21:35:56
193
原创 [整理]Windows系统操作总结
删除windows服务win+Rservices.msc打开服务3. 找到相应服务名称4. elevated 模式打开windows cmd[位于C:\Windows\System32路径下]5. 输入> sc delete service_name设置系统环境变量win+Rsysdm.cpl 打开系统变量3. 萱蕚advanced -> system environment...
2020-07-15 07:25:38
215
原创 [整理]Python中时间格式
文章目录Python中时间格式总览time类datetime类Python中时间格式总览python 中时间一般存储为三种格式：timedatetimeCalender三种格式本身又都接受或者是能够转化成long型的timestamp(时间戳)或者是String型format形式因此我们一般都是用其中的内置函数将他们转化成时间戳进行传递或者是转化成相应的时间字符串进行输出注意，几乎所有的时间相关format都是以下对应格式：(%Y-%m-%d %H:%M:%S ,%w)注意，所有转
2020-07-15 05:53:12
889
原创 [整理]windows Win+R指令汇总
文章目录查看运行服务查看运行服务执行指令services.msc功能：可以查看正在运行的注册进程可以手动打开以及关闭MySQL数据库
2020-07-13 09:50:49
6652
1
原创 Hibernate配置文件设置记录
文章目录配置实体类与DB表单映射关系配置实体类与DB表单映射关系IDEA中配置.xml文件创建选项过程在这里向.xml文件中导入dtd约束，采用联网方式：作为mapping dtd, 应当导入第二个作为configuration dtd, 应当导入第一个<!DOCTYPE hibernate-configuration PUBLIC "-//Hibernate/Hibernate Configuration DTD 3.0//EN" "http://w
2020-07-13 09:47:49
97
原创 [整理]Python不同装饰器解释
文章目录装饰器基本结构Property装饰器装饰器基本结构装饰器的本质便是在函数中调用函数，被装饰器调用的函数在装饰器函数执行额过程中正常运行， 但是装饰器函数本身可能还会完成一系列的功能。def wrapper(f): def inner(): print('1111') f() print('22222') return return inner@wrapper # func = wrapper(func)
2020-07-13 03:26:00
109
原创 [整理]java三层架构与MVC架构
文章目录内聚与耦合MVC框架(MVC framework)三层架构模式(3-tier architecture)MVC与 3-tier Arch 区别内聚与耦合是面向对象程序设计中的专有名词内聚：模块内功能联系的一种度量耦合：软件结构中各模块之间相互连接的一种度量*通常程序中各模块的内聚程度越高，模块中的耦合程度就越低*高内聚低耦合是较为理想的程序设计方式MVC框架(MVC framework)MVC框架强制性的把各层的实现功能划分开，各自处理各自的任务，利于解耦和，极大的增强了代码的可
2020-07-13 02:03:20
152
原创 [整理]Python内置日期处理包datetime用法记录
文章目录Python内置日期处理包datetime用法记录datetime.date 类(Object)主要方法未完待续...Python内置日期处理包datetime用法记录datetime.date 类(Object)date类主要以元组(tuple)格式记录(year, month, day)数据，提供数据内的比较方法以及与ISO标准之间的转换方法。主要方法获得元组内元素datetime.date.timetuple()一般使用循环，能够获取元组内部所有元素，包括year, month,
2020-07-12 00:11:18
152
原创 Pycharm-Python shell使用
文章目录Python Shell 脚本使用确定python编译器位置调用其他路径下的.py文件Python Shell 脚本使用确定python编译器位置Python编译器应当在项目虚拟空间venv下Scripts文件夹python.exe位置，因此project_path/venv/Scripts应当是Python shell程序的工作路径。所有存储在该路径下的python脚本文件都能被直接调用调用其他路径下的.py文件需要向Python shell脚本文件中写入相应的系统环境变量，具体
2020-07-09 10:49:34
1700
转载 Java字符串String类操作方法详细整理
Java字符串String类操作方法详细整理 关于String类的基本操作，可分为以下几类： 1、基本操作方法 2、字符串比较 3、字符串与其他数据类型之间的转换 4、字符与字符串的查找 5、字符串的截取与拆分 6、字符串的替换与修改 我觉得在整理到下面的内容之前需要给自己提的醒是关于字符串的操作方法我们是不需要像其他操作一样手动导包的，其String和StringBuffer等类封
2020-07-01 09:06:25
677
1
原创 [整理]Eclipse 常用设置总结
文章目录Eclipse 常用设置字体编码集联想输入未完待续...Eclipse 常用设置字体Window -> Preference -> General-> Appearance -> colors and fonts -> Basic -> Text fonts编码集Window -> Preference -> General -> Workspace -> Text file encoding -> 选择GBK联想输入W
2020-06-27 21:25:57
125
原创 JupyterNotebook更改工作区路径
文章目录介绍操作方式介绍本篇教程分享适用于使用Windows cmd 直接打开Jupyter Notebook 的情况，具体打开方式如下\\sudo command-line C:\Users\yourName>jupyter notebook操作方式首先找到Jupyter安装文件夹，如果使用python版本自带pip3进行安装的话，会存在Users\yourName\AppData\Local\Programs\Python\yourPythonVersion文件夹下cd
2020-06-27 10:11:41
396
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人