清萝卜头-CSDN博客

原创 Docker是什么？

一、概述Docker是一个用于开发，交付和运行应用程序的开放平台。Docker使您能够将应用程序与基础架构分离，从而实现快速交付软件。借助Docker，您可以以与管理应用程序相同的方式来管理基础架构。通过利用Docker快速交付，测试和部署代码的方法，可以显着减少你从编写代码到在生产环境中运行这些代码之间的时差。二、重要概念1. 镜像（Image）Docker镜像是一个特殊的文件系统，除了提供容器运行时所需的程序、依赖库、资源、配置文件、运行时的配置参数（如：匿名卷、环境变量、用户等）。镜像

2021-10-30 15:26:19 4895

原创 Docker 学习笔记之基础命令

Docker 学习笔记之基础命令1.Docker search image-name搜索镜像2.Docker pull image-name下载镜像3.Docker images 查看镜像4. Docker run 启动容器5.Docker ps 查看容器6. Docker stop container-id 停止容器7. Docker rm container-id删除容器8. Docker rmi image-name删除镜像Docker command diagram学习文档：Th

2021-10-25 23:44:11 273

原创 Webflux返回文件流

1. 环境kotlin + webfluxgradle依赖implementation("org.springframework.boot:spring-boot-starter-webflux")implementation("org.jetbrains.kotlinx:kotlinx-coroutines-core")implementation("org.jetbrains.kotlinx:kotlinx-coroutines-reactor")2. 从文件中获取数据并返回文件流

2021-06-30 14:28:35 2568

原创使用Spring ApplicationListener解决容器初始化完成需立即执行其他任务的问题

1.使用场景在一些应用场景中，当容器初始化完成之后，需要处理一些类似数据的加载、初始化缓存、特定任务的注册等操作。这时就可以使用Spring提供的ApplicationListener来进行操作。2. 使用实例实现ApplicationListener接口并实现onApplicationEvent方法。把需要处理的操作放在onApplicationEvent中进行处理:package com.test.appimport org.springframework.context.Appl

2020-12-10 14:00:03 439

原创笔记之flyway

1. 为什么需要flyway?代码可以使用git等工具来做版本控制。同样，数据库也需要一个类似等工具来做DB方面等版本控制。2. flyway 如何工作？flyway会先查找数据中的历史信息记录表schema history table.2.1 数据库里面是空的（1）由于数据库为空，因此Flyway找不到该表，于是创建它。于是数据库里面就会多一张默认名称为flyway_schema_history的空表。该表用于跟踪数据库的状态信息。（2）Flyway立即开始从指定的路径下.

2020-11-11 19:01:26 923

原创 @SpringBootApplication、@ComponentScan、@Entity的使用

1. @SpringBootApplication与@ComponentScan的关系@SpringBootApplication = @Configuration + @EnableAutoConfiguration + @ComponentScan。@Target(ElementType.TYPE)@Retention(RetentionPolicy.RUNTIME)@Documented@Inherited@SpringBootConfiguration@EnableAutoCon

2020-11-03 23:44:14 1256 2

原创 Airflow Trigger DAG with config

1. rest api to trigger dagPOST /api/experimental/dags/<DAG_ID>/dag_runs #Creates a dag_run for a given dag id.curl -X POST \ http://localhost:8080/api/experimental/dags/<DAG_ID>/dag_runs \ -H 'Cache-Control: no-cache' \ -H 'Content-T

2020-10-13 20:13:54 3185 1

原创 CKAN2.8.4 Database Diagram about package and resource

参考链接：https://boykoc.github.io/ckan/2019/10/21/ckan-283-database-diagram.html

2020-07-27 20:54:05 222

原创 spring-boot-starter-data-elasticsearch-2.3.1 with Springboot2.2.6

本文springboot版本为2.2.6,使用spring-boot-2.1.4会失败1. pom.xml引入依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> <version>2.3.1.REL

2020-07-23 21:34:13 688

原创 HttpServletRequest 请求参数转换为 Json

将HttpServletRequest 请求参数转为json可以有两种方式：request.getParameterMap()和request.getQueryString()1.request.getParameterMap()Map<String, String[]> parameterMap = request.getParameterMap();String jsonStr = JSONObject.toJSONString(parameterMap);JSONObjec.

2020-07-23 11:42:51 6848

原创 Spring boot 2.1.4with togglz

1. pom.xml中添加mvn依赖<dependency> <groupId>org.togglz</groupId> <artifactId>togglz-spring-boot-starter</artifactId> <version>2.6.1.Final</version></dependency><dependency> <groupId>org.

2020-07-19 19:27:59 534

原创 nexus-cli查看和清理nexues docker镜像

1. 下载bash脚本（根据环境下载）wget https://s3.eu-west-2.amazonaws.com/nexus-cli/1.0.0-beta/linux/nexus-cli2. 修改访问权限chmod +x nexus-cli3. 配置nexues（服务器地址、docker仓库名称、账号、密码）nexus-cli configureEnter Nexus Host: http://127.0.0.1:8081Enter Nexus Repository

2020-07-15 13:43:19 3087 4

原创 Spring Data JPA 使用LIMIT的方式

方法一：YourObject findFirstBy[field]OrderBy[field]Asc();YourObject findFirstBy[field]OrderBy[field]Desc();????：findTopByClassIdAndStudentNameOrderByUpdatedTimeDesc(classId,studentName);方法二：使用原生的sql语句@Query(value =“your sql str limit 1",nativeQuer

2020-07-03 20:22:00 13900 1

原创 PowerMock (UUID, private method)

1. maven配置依赖<properties> <powermock.version>2.0.2</powermock.version></properties><dependencies> <dependency> <groupId>org.powermock</groupId> <artifactId>powermock-module-junit4

2020-07-02 19:38:28 406

原创 nexus磁盘不足

1.清理物理先创建一个Admin - Cleanup repositories using their associated policies类型的Task,这个任务会并不会真正但删除镜像，只是将其设置成deleted状态，不会物理删除；因此我们还需再创建一个Admin - Compact blob store类型的Task完成物理删除。2.设置storage.diskCache.diskFreeSpaceLimit变量磁盘剩余空间太少，数据库为只读状态，不可以设置task去清理，此时log中会

2020-06-22 14:51:49 4692

原创 scala连接elasticsearch并完成基本认证

def getRestClient(url: String): RestClient = { val restClientBuilder = RestClient.builder(HttpHost.create(url)) val provider = new BasicCredentialsProvider() val user = authInfo(0) val password = authInfo(1) provider..

2020-06-15 20:28:28 1249

原创 JSONP 跨域访问

一、跨域访问在某个A网站中，我们希望使用Ajax来获得某个B网站中的特定内容。如果A网站与B网站不在同一个域中，那么就出现了跨域访问问题。二、JSONPJSONP(JSON With Padding)是JSON的一种“使用模式”，可用于解决主流浏览器的跨域数据访问的问题。一般来说位于 serverA.example.com 的网页无法与不是 serverB.example.com的服务器沟通，而 HTML 的<script> 元素是一个例外。利用<script>元素

2020-06-09 22:58:22 284

原创 oracle笔记之表空间、用户和同义词

1、表空间（1）创建表空间（2）修改表空间（3）删除表空间--创建表空间CREATE [BIGFILE/UNDO/TEMPORARY] TABLESPACE tablespaceNameDATAFILE 'dbfile.dbf'--指定表空间物理文件SIZE 100M -- 大小 100MAUTOEXTEND ON --自动增大NEXT 10M --每次10MMAXSIZE UNLIMITED; --最大不限制--修改表空间ALTER TABLESPACE

2020-06-06 13:59:14 559

原创 bash 字符串截取、替换及数组

语法格式说明 ${string: start :length} 从 string 字符串的左边第 start 个字符开始，向右截取 length 个字符。 ${string: start} 从 string 字符串的左边第 start 个字符开始截取，直到最后。 ${string: 0-start :length} 从 string 字符串的右边第 start 个字符开始，向右截取 length 个字符。 ${string: 0-start} 从 string

2020-05-18 13:31:54 851

原创 bash 空值判断

1. 直接判断name=if [ $name ];thenecho "not null"elseecho "is null"else> fi# is null2. 转换成字符串name=if [ "$name"="" ];thenecho "is null"elseecho "not null"fi#is null3. -n：不等于name=if [ ! -n "$name" ];thenecho "is null"elseecho "no..

2020-05-18 12:57:39 4355

原创解决maven cached in the local repository问题

在执行maven clean package时遇到如下错误提示： Could not resolve dependencies for project org.springframework.boot:XXXX:jar:2.0-SNAPSHOT: Failed to collect dependencies at com.XXXX:XXXX:jar:2.0-SNAPSHOT: Failed ...

2020-04-20 12:53:14 10952

原创 docker+centos7启动spark2.4.5+hadoop2.10.0集群 for macOS

一、制作镜像1. centos 容器# 下载centos镜像 docker pull centos# 创建一个容器 docker run --name centos -itd centos /bin/bash# 进入已启动的容器docker attach centos2.下载安装包# 安装wget、ssh等基础服务yum install -y net-tools ...

2020-04-09 18:04:52 1375 1

原创浏览器中访问本地文件for mac

Mac本身是包含apache服务器的，打开就可使用，无需部署tomcat等。使用步骤：1.打开终端Termina 启动apache服务（密码为开机密码）sudo apachectl start2.验证启动是否成功浏览器中输入127.0.0.1或者localhost,出现it works! 表明服务器已启动成功3.进入本地服务器的文件目录：/资源库/WebServer...

2020-04-07 13:35:10 3358 1

原创 ckan2.8.2连接solr6.6

【问题】：启动ckan的时会抛出连接不上solr的异常2020-04-07 12:07:00,495 ERROR [pysolr] Solr responded with an error (HTTP 404): [Reason: Error 404 Not Found]2020-04-07 12:07:00,495 ERROR [ckan.lib.search.common] Sol...

2020-04-07 12:25:28 399 2

原创 solr无法添加core

使用docker启动solr后，添加core的时候会提示一下错误信息Error CREATEing SolrCore 'new_core': Unable to create core [new_core] Caused by: Can't find resource 'solrconfig.xml' in classpath or '/opt/solr/server/solr/new_co...

2020-04-07 11:03:56 704

原创如何替换dataframe中的nan？

在做数据清洗等工作时，必不可少的环节就是缺失值处理。在采用pandas读取或处理数据时，dataframe的缺失值默认是用nan填充的。但大多数情况下，我们需要的是None或者Null值而不是nan.所以，如何替换dataframe中的nan呢？替换nan的方法有很多，本文总结了三个方法。dataframe.fillna()方法，dataframe.applymap()以及dataframe....

2020-01-20 19:04:57 34320 2

原创 pandas.read_excel()之数据类型

1.我们准备一下测试数据。2.通过pandas读取表格中的数据并检测各列的数据类型（不指定类型）import pandas as pd# 获取测试数据data = pd.read_excel('../../test.xlsx',sheet_name='Sheet1',header=0)print(data)#或缺每列的数据类型print(data.dtypes)输出...

2020-01-20 17:19:50 16291

原创 pandas.DataFrame.apply方法详解

1.方法的参数解释官方解释：https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.apply.htmlDataFrame.apply(self, func, axis=0, broadcast=None, raw=False, reduce=None, result_type=None, ar...

2019-12-20 18:53:25 18829 2

原创 JPA中@Column注解

@Column:标识实体类中属性与数据表中字段的对应关系，可以标注在属性或getter方法前面package javax.persistence;import java.lang.annotation.ElementType;import java.lang.annotation.Retention;import java.lang.annotation.RetentionPolicy;...

2019-11-11 23:22:14 2263

原创 JPA中@Enumerated注解

@Enumerated用于标注枚举字段，对应mysql的enum类型源码支持两种类型package javax.persistence;public enum EnumType { ORDINAL,//按照枚举的下标，使用Enum类型实例在Enum中声明的顺序,通过这个序号来将Enum类型字段映射成int类型来存储； STRING;//按照枚举的名字，使用Enum类型实...

2019-11-11 23:20:14 4595

原创 JPA的@NamedQuery注解

使用@NamedQuery注解在实体类中定义命名查询@NamedQuery(name="findAllUser",query="SELECT c FROM Customer c")其中name指定命名查询的名称，query指定命名查询的语句其中name指定命名查询的名称，query属性指定命令查询的语句。使用@NamedQueries定义多个命名查询@NamedQueries...

2019-11-11 23:12:56 9339

原创 JPA中CrudRepository、JpaRepository及PagingAndSortingRepository之间的区别及联系

继承关系JpaRepository继承PagingAndSortingRepository，PagingAndSortingRepository继承CrudRepository。所以JpaRepository包含了CrudRepository和PagingAndSortingRepository所有的接口。区别CrudRepository提供CRUD的功能PagingAndSo...

2019-11-11 23:08:38 497 1

原创 JPA基本配置

在pom.xml里面加入依赖<dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId></dependency><dependency> <groupId>org.spring...

2019-11-11 23:06:20 574

原创使用JPA遇到的问题

1.query did not return a unique result: 6这表示JPA的查询语句返回的结果超过一个，这里显示的是6个；嵌套异常是:【javax.persistence.NonUniqueResultException】解决办法：将返回结果的类型设置成集合等。2.Optional<>转List<>(java1.8)解决办法： ...

2019-11-11 18:10:32 861

原创从0开始学习NLP

1.BOW模型2.TF-IDF3.word2vec持续可新

2019-10-28 21:15:06 184

原创 BOW词袋模型

词袋模型（Bag-of-words model ，BoW model）最初被用在信息检索领域。该模型忽略文本的语法和语序，将其仅仅看作是若干个词汇的集合，文档中每个单词的出现都是独立的。BoW使用一组无序的单词(words)来表达一段文字或一个文档。例子：有三个句子如下：sentence1: Kid likes to watch movies. John likes too.sen...

2019-10-28 21:12:44 677

原创 mac上卸载JDK

1、查看电脑上安装的jdkls /Library/Java/JavaVirtualMachines 通过上述命令可以查看本地安装的jdk版本，我的电脑上安装的jdk1.8和jdk112.删除不需要的版本（删除时候需要输入秘密）sudo rm -rf /Library/Java/JavaVirtualMachines/jdk-11.0.5.jdk ...

2019-10-28 13:07:28 473

原创 TF-IDF 详解

TF-IDF(Term Frequency–Inverse Document Frequency)是一种统计方法，用以评估一个“词”对于一个文件集或一个语料库中的其中一份文件的重要程度。“词”的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。其中，TF是词频(Term Frequency)，IDF是逆向文件频率(Inverse Document Freque...

2019-10-27 21:51:38 2226

原创 Word2Vec学习笔记

1.Word2Vec是什么？Word2Vec是用一个浅层神经网络将稀疏的词向量映射成为稠密向量的过程。２.Word2Vec注重的不是模型，而是模型的参数。word2vec的思路与自编码器(auto-encoder)的思路比较相似，都是先基于训练数据构建一个神经网络。当这个网络训练好以后，我们并不会利用这个训练好的网络处理新任务，我们真正需要的是这个模型通过训练数据所学得的参数。３....

2019-10-11 22:36:02 280

原创 gensim中word2vec API参数说明

在gensim中，word2vec相关的API都在gensim.models.word2vec中，与算法相关的参数在gensim.models.word2vec.Word2Vec中。其具体参数说明如下：（个人翻译，如有出入欢迎指正）class Word2Vec(BaseWordEmbeddingsModel): """训练, 使用和评估https://code.google.com...

2019-10-11 20:42:28 4771