- 博客(20)
- 收藏
- 关注
RSS订阅
原创 Linux 基本命令及用法
1、命令：touch [文件]（创建文件）2、命令：mkdir -p 目标文件递归创建文件夹（如：mkdir -p /usr/local/d1/d2/d3）3、命令：rm [文件]（删除）； rm -r [文件]删除目录； rm -f [文件]删除文件； rm -rf [文件] 删除所有；...
2018-03-28 17:28:31
7762
原创 flume channel 选择
1.Memory Channeltype=memory内存通道是一个内存队列，源将事件写入其尾部，接收器从其头部读取事件。内存通道存储堆上的源写入它的事件。我们可以配置最大尺寸。由于它将所有数据存储在内存中，因此提供了高吞吐量。它最适合那些不担心数据丢失的流。它不适用于涉及数据丢失的数据流2.File Channeltype=file它是 Flume 的持久通道。文件通道将所有水槽事件写入磁盘。即使进程或机器关闭或崩溃，它也不会丢失数据。此通道确保仅当接收器使用事件并提交事务
2022-04-11 15:23:05
1675
1
原创 linux 系统时间与jvm时间不一致
测试发现jvm 时间与服务器时间不一致 服务器时区正确，jvm时区异常服务器测试 ：date -Rjvm 时间测试 ：public class TestJava { public static void main(String[] args) { System.out.println("time:" + LocalDateTime.now()); System.out.println("timezone" + TimeZone.getDefault())
2021-09-17 14:52:22
692
原创 spark 读取csv文件，文件含有json数据
spark.read.option("header", ”true") .option("nullValue", "\\N") // null值设置 .option("escape", "\"") // 设置用于在已引用的值内转义引号的单个字符。 .option("quoteAll", "true") .option("sep", ",") .csv(csv_path)...
2021-08-23 15:22:23
430
原创 Git 分支操作
查看本地分支git branch查看远程分支git branch -r查看所有分支git branch -a创建本地分支git branch test切换到新建的分支git checkout test推送到远程git push origin test删除本地分支git branch -D test删除远程分支gitbranch -r -d origin/test...
2020-06-12 10:38:55
135
原创 spark 源码学习
转载:http://xuxping.com/2017/08/21/Spark%E6%9C%AC%E5%9C%B0%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83%E6%90%AD%E5%BB%BA%E4%B8%8E%E8%BF%9C%E7%A8%8Bdebug%E8%AE%BE%E7%BD%AE/
2019-10-30 17:14:05
656
原创 nethogs 查看每个进程流量
nethogs: 需要管理员权限nethogs --helpusage: nethogs [-V] [-b] [-d seconds] [-v mode] [-c count] [-t] [-p] [-s] [device [device [device ...]]] -V : prints version. -b : bughunt mode - im...
2019-09-26 15:06:23
483
原创 spark 字符串转数组 数组字符转数组
from_json(col("arrar_str"), ArrayType(StringType, containsNull = false))eg:val df = spark.read.parquet("path").select("arrary_str").withColumn("arrary_str",from_json(col("arrary_str"), ArrayType...
2019-07-18 15:09:31
4604
原创 spark foreachPartition Could not initialize class
val drive_param = "xxx" val dfs = Seq("xx").toDF("user") dfs.repartition(100).foreachPartition(par => { //drive_param 无法使用, foreachPartition 会把每个rdd 放到executor 上执行,无法读取drive...
2019-06-26 17:28:05
832
原创 spark 读取csv文件,文件内容含有换行，文件内容中有分隔符
spark.read.option("multiLine", true).csv(csv_path)
2019-06-13 17:27:50
3747
转载 hive 内置函数,hive时间函数,hive字符串函数
https://blog.csdn.net/u011138533/article/details/52302483
2019-06-13 17:24:20
740
原创 docker启动的mysql 表同步
1. 查看mysql 的docker id/namedocker ps 2.主服务器上执行docker exec -it docker_name【docker容器名称/ID】 mysqldump test_db【数据库名称】 -uroot【数据库name】 -p123456【数据库密码】 --tables tablename【数据表name】 > /opt/sql_ba...
2019-03-07 11:43:12
187
原创 Linux 查看文件内容命令
1.查看历史命令 - history | grep <命令>ex：history | grep ls2.查看文件中出现tag的内容,显示n行 - tail -fn n fileName | grep “tag”ex：tail -fn 1 access_api_51.log | grep ip3.查看文件中出现tag的内容,显示上下文n行 - cat fileNam...
2018-08-31 19:43:47
1037
原创 mysql 主从同步（主库->从库）
1.将数据库暂停，防止写入数据造成数据重复或者不一致等2.将主库上的表dump为文件，文件保存在主服务器上3.将主服务器上的文件复制到从服务器上，在从服务器机器上执行，在主服务器上执行为（scp /data1/bninxin/coloro.cv_cash_order_form.sql mng-135:/data2/）4.将从服务器上的数据文件写入到mysql数据库中...
2018-08-06 10:29:11
383
原创 kafka 在docker中 运行的主要操作
1. 启动docker sudo service docker start2.测试docke是否启动成功--调用helloworld测试 docker run hello-world3.在kafka的路径下启动zookeeper zookeeper-server-start.sh ../config/zookeeper.properti...
2018-07-17 19:08:34
3762
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人