- 博客(38)
- 收藏
- 关注
RSS订阅原创 mac 上通过命令行挂载NTFS硬盘，使其可以进行读写
在 macOS 中，默认情况下只能以只读模式挂载 NTFS 硬盘。为了实现读写功能，你可以使用一些第三方工具或驱动程序。其中一个流行的选择是安装一个名为 Tuxera NTFS 的驱动程序，但这是一个商业软件。对于免费的解决方案，你可以使用 osxfuse 和 ntfs-3g。ntfs-3g 在 macOS 上安装时需要 Linux 内核支持，因为它使用了 FUSE（文件系统在用户空间）技术来实现对 NTFS 文件系统的读写。
2024-04-04 00:00:05
1045
原创 海纳斯Hinas安装Tailscale
遇到报错，然后根据 ：安装软件出现dpkg: error processingxxx.deb错误。海纳斯自己安装了Tailscale，但是无法使用，需要卸载重新安装。
2024-03-10 12:50:51
580
原创 docker 安装kafka
docker 安装kafka文章目录docker 安装kafka前言一、使用步骤1.docker-compose.yml2.执行语句总结前言提示：以下是本篇文章正文内容，下面案例可供参考一、使用步骤1.docker-compose.yml代码如下（示例）：version: "2"services: zookeeper: image: docker.io/bitnami/zookeeper:3.7 ports: - "2181:2181"
2021-11-02 16:12:25
798
原创 mac 使用小技巧，持续更新
mac 使用小技巧持续更新文章目录mac 使用小技巧前言一、使用python3开启http服务二、使用命令获取文件或者文本绝对路径三、自带截图总结前言作为一个攻城狮，日常使用技巧记录提示：以下是本篇文章正文内容，下面案例可供参考一、使用python3开启http服务执行的路径下都可以成为http访问的路径python -m http.server 80 二、使用命令获取文件或者文本绝对路径option+command+c三、自带截图截取部分图片shift+co
2021-08-29 19:17:49
177
原创 flink sql client 连接kafka解析avro数据 (avro ArrayIndexOutOfBoundsException 解决办法)
flink sql 连接kafka解析avro数据flink sql 连接kafka解析avro数据查看avro的schema写flink sql 报错正确的flink sql注意的点如何确定flink sql是用map array rowflink sql 连接kafka解析avro数据因为工作需要，需要写FlinkSqlClient解析avro数据，但是网上例子很少，最后在看到一位老哥用debug方式排查问题，我这里也用了相同方式，才找到问题所在 。查看avro的schema{ "type"
2021-08-21 12:54:55
3418
6
原创 线程安全的时间格式转换
线程安全的时间格式转换时间格式类型时间格式类型yyyy-MM-dd HH:mm:ss.SSSyyyy-MM-dd HH:mm:ssyyyy-MM-dd'T'HH:mm:ss.SSSFastDateFormat fdf = FastDateFormat.getInstance("yyyy-MM-dd'T'HH:mm:ss.SSS");引入maven<!-- https://mvnrepository.com/artifact/org.apache.commons/commons-lang
2021-07-30 17:43:48
329
原创 pg 时间戳转换成时间
SELECT *, to_char( to_timestamp( statistic_time / 1000 ), 'yyyy-MM-dd HH24:MI:SS' ) AS TIME FROM xxx WHERE DAY = 20210401 ORDER BY statistic_time DESC
2021-04-01 13:40:15
3010
原创 spark 相关错误记录，持续更新
1、spark连接datanode超时java.net.SocketTimeoutException: 60000 millis timeout while waiting for channel to be ready for read解决办法 spark.sparkContext.hadoopConfiguration.set("dfs.client.socket-timeout","180000") spark.sparkContext.hadoopConfiguration.s
2021-02-19 19:14:32
480
原创 mysql时间校验 函数
CREATE OR REPLACE FUNCTION isnumeric ( txtStr VARCHAR ) RETURNS BOOLEAN AS $$ BEGIN RETURN txtStr ~ '^([0-9]+[.]?[0-9]*|[.][0-9]+)$'; END; $$ LANGUAGE'plpgsql';CREATE OR REPLACE FUNCTION isDate ( dateStr VARCHAR ) RETURNS BOOLEAN AS $$ BEGIN IF
2021-01-19 18:45:21
351
原创 scala基于json4s json转map json转list map转json
scala基于json4s json转map json转listimport org.json4s.DefaultFormatsimport org.json4s.jackson.{JsonMethods, Serialization}/** * @Auther xiaojin * @Date 2020-12-22 7:51 下午 */object test { def main(args: Array[String]): Unit = { val aa = Map(
2020-12-23 10:49:21
799
原创 sql 求定点距离内的点
sql 求定点范围五公里内的点SELECT * FROM ( SELECT *, ( 6371 * acos( cos( radians( $lat ) ) * cos( radians( latitude ) ) * cos( radians( longitude ) - radians( $lng ) ) + sin( radians( $lat ) ) * sin( radians( latitude ) ) ) ) AS distance FROM
2020-11-16 20:53:47
118
原创 scala spark 高精度BigDecimal除法
scala 除法 val totalnumBigDecimal = new java.math.BigDecimal(totalnum) val reissuenumBigDecimal = new java.math.BigDecimal(reissuenum) val reissuerate = reissuenumBigDecimal.divide(totalnumBigDecimal, 2, java.math.BigDecimal.ROUND_HALF_DOWN
2020-11-12 16:41:25
1036
原创 scala 递归解析fastjson
scala 递归解析fastjsonimport com.alibaba.fastjson.{JSON, JSONArray, JSONObject}import scala.collection.mutable/** * @Auther xxxx * @Date 2020-10-30 1:38 下午 */object JsonUtil { def analysis(jsonObject: JSONObject): mutable.HashMap[String, AnyRef
2020-11-02 09:34:34
260
原创 maven-assembly-plugin scala springboot 打包
一、springboot 和maven-assembly-plugin结合pom文件 <!-- SpringBoot专用的打包插件 --> <!--分离打包 第一步使用springboot插件只打包执行jar，使用assembly 打包其他东西--> <build> <finalName>powerjob-server</finalName> <plugins>
2020-10-26 13:19:33
344
原创 java 构建kafka的生产者和消费者
引包 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0</version> </dependency>生产者import com.ssi.dataplatform.single.co
2020-09-18 08:53:32
247
原创 fastjson 递归解析json成map
fastjson 依赖包 <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.73</version> </dependency>代码/** * @Auther xiaojin * @Date 2020-09-
2020-09-18 08:45:06
1295
1
原创 Es http bulk批量插入、创建删除模板mapping
import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONObject;import java.io.IOException;import java.text.ParseException;import java.util.Map;/** * @Auther xiaojin * @Date 2020-09-16 12:13 下午 */public class EsUtil { public static.
2020-09-18 08:41:27
999
原创 HttpclientUtil4 的get、put、post、delete、Patch、options、head
添加maven依赖 <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.4</version> </dependency>代码import org.apache.commons.la
2020-09-18 08:37:30
308
原创 Mac 下 brew 切换为国内源
简介Homebrew 是一款自由及开放源代码的软件包管理系统，用以简化 macOS 和 linux 系统上的软件安装过程。它拥有安装、卸载、更新、查看、搜索等很多实用的功能，通过简单的一条指令，就可以实现包管理，十分方便快捷。Homebrew 主要有四个部分组成: brew、homebrew-core 、homebrew-bottles、homebrew-cask。名称说明brewHomebrew 源代码仓库homebrew-coreHomebrew 核心软件仓库h
2020-08-11 20:59:30
409
原创 scala Flink读取kafka 写入es(elasticsearch) 简单实现
scals Filek读取kafka 写入elasticsearch 简单实现引入pom依赖es的Mapping读取kafka 写入es 代码实现scala 构建kafka生产者scala 构建kafka消费者引入pom依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId
2020-07-24 19:20:56
823
原创 mac获取当前文件的路径 适用于 10.12.6、10.13、 10.14、10.15
实际工作中经常需要获取当前文件的路径。在mac中常用的方法有如下几种方式一如果只是需要看一下这个文件的路径，可以先选中该文件，然后右键，选择显示简介，然后就会显示这个文件的具体路径。快捷键为command+i方式二上面的方式只能查看路径，但是实际工作中经常需要对路径进行复制粘贴。那么可以打开terminal，把文件拖到terminal中，在terminal中就会显示文件对应的路径，然后进行复制粘贴即可。方式三如果是想要进行复制粘贴路径，可以找到对应的文件，然后command+option+c，就
2020-06-02 09:09:38
335
原创 mysql多表联查
SELECT f.vin AS vin, o.NAME AS NAME, v.plate_no AS plate_no, f.stat_day AS stat_day FROM lqcv_analysis.lqcv_fault_stat_inday f INNER JOIN lqclw.vehicle v ON f.vin = v.vin INNER JOIN lqclw.customer_organization o ON f.org_id = o.id GROUP BY vin,
2020-05-28 10:48:09
176
原创 scala中json与case class对象的转换, spark读取es json转换成case class
ilinux_onescala中json与对象的转换遇到的问题因为要把spark从es读出来的json数据转换为对象，开始想用case class定义类型，通过fastjson做转换。如下复制代码复制代码case class Book (author: String, content: String, id: String, time: Long, title: String) v...
2020-05-07 12:23:14
2980
1
原创 mysql update 根据一个字段更新另一个字段
UPDATE lqcv_behavior_stat_inday a1INNER JOIN ( SELECT substring( stat_day, 1, 4 ) AS YEAR, substring( stat_day, 5, 2 ) AS MONTH, substring( stat_day, 7, 2 ) AS DAY, stat_day, id FROM l...
2020-05-05 20:51:54
3767
原创 国内几个maven镜像源，国内maven仓库,阿里，华为，腾讯，网易
<mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/groups/public/</url>...
2020-04-28 20:56:08
42092
7
原创 多线程ThreadPoolExecutor与职责链结合
import org.joda.time.DateTime;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.beans.factory.annotation.Value;import org.springframework.scheduling.annotatio...
2020-04-19 09:22:05
159
原创 写csv解决Excel打开乱码问题
写csv解决以文本和Excel打开乱码问题 public static File createCSVFile(List<?> exportData, LinkedHashMap map, String outPutPath, String fileName) { File csvFi...
2020-04-18 14:35:29
192
转载 访问HDFS报错：org.apache.hadoop.security.AccessControlException: Permission denied
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import java.util.Properties;public class TestHDFS { public static void main...
2020-03-17 17:39:51
137
原创 SparkSql 写数据库updata操作
仅用作自己做笔记，保存代码import org.apache.commons.lang.StringUtilsimport org.apache.log4j.{Level, Logger}import org.apache.spark.broadcast.Broadcastimport org.apache.spark.internal.Loggingimport org.apache....
2020-03-03 16:04:32
481
原创 SQL学习记录
SELECT vin, ROUND( SUM( CASE WHEN indicators IN ( 0, 1, 2, 3, 4, 5, 6 ) THEN percent END )/ COUNT( DISTINCT stat_day ), 2 ) AS lowRpm, ROUND( SUM( CASE WHEN indicators IN ( 7, 8, 9 ) THEN per...
2020-02-27 16:14:05
138
原创 es GroupBy 分组，按天、周、月
1、sql样例select max(price) as max_price,avg(price) as avg_price from product_index group by created_date_time;2、用代码生成数据 private static void batchCreate(TransportClient transportClient) throws IO...
2020-02-27 15:17:09
4163
6
原创 Homebrew(brew)安装[email protected]及配置
Homebrew(brew)安装[email protected]及配置查找并确定自己需要安装的版本brew search mysql可以看到brew在安装的时候已经初始过mysql了(不用再像网上说的再执行mysql_install_db命令)，且当前没有密码于是我按照它的提示，执行命令：mysql_secure_installation按照提示设置密码即可启动lucene:homebrew l...
2020-01-16 13:27:45
773
原创 mac安装Homebrew 和使用
一、Homebrew是什么HomebrewHomebrew是一款Mac OS平台下的软件包管理工具，拥有安装、卸载、更新、查看、搜索等很多实用的功能。简单的一条指令，就可以实现包管理，而不用你关心各种依赖和文件路径的情况，十分方便快捷。援引官方的一句话：又提示缺少套件啦？别担心，Homebrew 随时守候。Homebrew —— OS X 不可或缺的套件管理器。二、Homebrew安装...
2020-01-16 10:05:09
308
原创 mac 12.6使用自带ftp技巧
在12.6系统自带ftp服务，所以只需要启动ftp服务即刻启动命令sudo -s launchctl load -w /System/Library/LaunchDaemons/ftp.plist停止命令sudo -s launchctl unload -w /System/Library/LaunchDaemons/ftp.plist启动之后例如本机ip为192.168.180....
2020-01-16 09:55:48
321
原创 Springboot+jpa+swager2简单的增删改查
Springboot+jpa+swager2简单的增删改查1、基于idea创建普通maven项目，进行引包2、引入pom文件引完之后效果图 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-s...
2020-01-13 14:31:57
452
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人