分子美食家-CSDN博客

原创记录一次frp失效bug

突然frp连不上去了，发现硬盘占用超过98%，估计是硬盘塞满了，清理了硬盘就好了。另外阿里云安全组记住开放所有协议，不只是tcp协议

2022-02-11 10:35:36 689 1

原创 linux查找大文件

find / -type f -print0 | xargs -0 du -h | sort -rh | head -n 10

2022-02-11 10:07:51 775

最近装修房子，首先注意的是安装全屋光纤和cat7类线的布网。这里有坑，如果你家不是大别野，就不要用七类线，太粗了，不过本着一次装修战未来的准备，我还是入坑了。七类线非常粗不适合布线。第二个是智能灯泡的选择，可以选择的余地很大。第一个方案，智能开关，用小米控制智能开关，这种解决方案最简单，不是破坏性装修，改造一下开关就ok，不过小米目前没有双控单开的解决方案，毕竟智能只需要一个开关，吼一嗓子就OK了。何必像传统那样两个开关控制。这里有坑，如果你选择智能开关方案，水电改造的时候就只改水就好了，电路用开发商给

2022-02-10 20:27:14 2717

原创 esxi网卡直通

之前在esxi安装了openwrt，那么如何设置openwrt为主路由，esxi接到openwrt下面设置为静态ip地址，并且除了wan口走esxi外，其他的流量都走openwrt，提高网络速度。有四个网口 eth0、eth1、eth2、eth3规划是eth0 不直通，eth1 eth2 eth3 直通给openwrt，从eth1，eth2，eth3中选择一个openwrt的wan口，剩下两个为lan口，eth0最后也改成lan口。网线接eth0安装openwrt，设置br-lan的ip地址为192.

2022-02-10 20:12:54 7215

原创 esxi里面安装openwrt和其他虚拟机

esxi安装openwrt

2022-02-10 16:39:21 6579

原创 esxi的安装

使用ventoy安装，找台windows安装ventoy，按照文档格式化U盘，然后将esxi的iso直接拖入分区里面，卸载U盘，插入待安装的电脑。一般intel的网卡兼容性好，直接进入ventoy，选择esxi的iso，按照指引先进行硬件检查，格式化硬盘，安装，拔掉U盘，启动即可。直到系统会显示一个ip地址访问。输入root，你设置的密码就可以登入了。找一个激活码激活，就可以愉快使用虚拟化平台了。注意螃蟹网卡有坑，需要找esxi6.7版本的加入realtek网卡驱动的iso安装包，否则会提示找不

2022-02-10 16:18:19 1635

原创 openwrt安装

openwrt安装

2022-02-10 16:07:07 4338

原创 zerotier

zerotier异地组网

2022-02-10 15:59:41 4732

原创 pymongo cusor not found

get_collection(XXXX).find({}, timeout=False)find({}, no_cursor_timeout=True)

2021-06-28 16:49:11 79

原创设置静态固定ip地址

archlinux设置固定ipcd /etc/netctl/Ip adds 查看网卡idvim 网卡idTYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=“static” # 使用静态IP地址，默认为dhcpIPADDR=“192.168.28.5” # 设置的静态IP地址NETMASK=“255.255.255.0” # 子网掩码GATEWAY=“192.168.28.1” # 网关地址D

2021-06-21 09:59:44 402 1

原创 hive 窗口函数

CREATE TABLE tmp.COSTITEM( NAME STRING,ORDERDATE DATE,COST STRING);– 数据加INSERT INTO tmp.COSTITEM VALUES (‘jack’,‘2020-01-01’,‘10’);INSERT INTO tmp.COSTITEM VALUES (‘tony’,‘2020-01-02’,‘15’);INSERT INTO tmp.COSTITEM VALUES (‘jack’,‘2020-02-03’,

2021-03-01 16:24:37 83

原创 redis python zset

conn=redis.StrictRedis(host=‘192.168.80.41’,port=6379,db=0)conn.zadd(‘znames’,100,‘jiang’)conn.zadd(‘znames’,20,‘wolson’)#向有顺集合中增加一个元素jiang、它的分值为100 print(conn.zscore('znames','jiang')) #获取jiang这个元素的分值 print(conn.zrange('znames',0,-1,de

2021-02-09 14:10:19 295

原创 pyspark-mongo-input-output

1.创建pyspark与mongodb的连接，首先加载依赖包，其有三种方式：1）直接将其放在在安装spark的jars目录下；2）在spark_submit中，添加依赖包信息；3）在创建spark的对象的时候添加依赖信息，具体案例如下图所示spark = SparkSession .builder .appName(‘mongo connection’) .config(“spark.mongodb.input.uri”, “mongodb://节点:端口号/dev.myCollection?

2021-01-21 17:07:22 131

原创 elasticsearch date格式问题

JSON中没有date类型，es中的date可以由下面3种方式表示：①格式化的date字符串，例如"2018-01-01"或者"2018-01-01 12:00:00"②一个long型的数字，代表从1970年1月1号0点到现在的毫秒数③一个integer型的数字，代表从1970年1月1号0点到现在的秒数在es内部，date被转为UTC，并被存储为一个长整型数字，代表从1970年1月1号0点到现在的毫秒数date类型字段上的查询会在内部被转为对long型值的范围查询，查询的结果类型是字符串。假如插

2021-01-14 22:54:05 1411

原创 hive 中文comment乱码解决

在metastroe（1）修改表字段注解和表注解alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;（2）修改分区字段注解alter table PARTITION_PARAMS modify column PARAM_VALUE

2020-11-16 16:49:56 122

原创安装docker后遇到permision问题

通过将用户添加到docker用户组可以将sudo去掉，命令如下sudo groupadd docker #添加docker用户组sudo gpasswd -a $USER docker #将登陆用户加入到docker用户组中newgrp docker #更新用户组

2020-11-05 16:30:34 147

原创 pymongo分片

#!/usr/bin/python# -*- coding: UTF-8 -*-import timefrom pymongo import MongoReplicaSetClientfrom pymongo import MongoClient# 连接单机# single mongo# c = MongoClient(host="192.168.89.151", port=27017) # okay# 连接集群# mongo clusterc = MongoClient('mongod

2020-10-20 13:59:41 171

原创 sklearn特征选择，交叉验证，超参数搜索，流水线

from sklearn.datasets import load_breast_cancerfrom sklearn.feature_selection import RFECVfrom sklearn.model_selection import GridSearchCVfrom sklearn.model_selection import train_test_splitfrom sklearn.ensemble import RandomForestClassifierX, y = lo

2020-10-10 10:50:56 273

原创 sklearn网格搜索

""" 网格搜索通过不同参数组合尝试训练网络获得最优参数、最优模型"""import numpy as npimport sklearn.naive_bayes as nbimport matplotlib.pyplot as mpimport sklearn.svm as svmimport sklearn.model_selection as msimport sklearn.metrics as sm# 加载数据data = np.loadtxt("./mul

2020-10-09 16:55:44 1372 1

原创 XGBoost Library (libxgboost.dylib) could not be loaded for mac

brew install xgboost Updating Homebrew...==> Downloading https://mirrors.tuna.tsinghua.edu.cn/homebrew-bottles/bottles/libomp-10.0.0.catalina######################################################################## 100.0%==> Downloading https://

2020-10-09 16:39:08 605

原创 archlinux常用的包管理器

pacman -Sy abc 和源同步后安装名为abc的包pacman -S abc 从本地数据库中得到abc的信息，下载安装abc包pacman -Sf abc 强制安装包abcpacman -Ss abc 搜索有关abc信息的包pacman -Si abc 从数据库中搜索包abc的信息pacman -Syu

2020-09-29 15:24:00 1536

原创 pykafka consumer

from pykafka import KafkaClientclient = KafkaClient(hosts="localhost:9092")topic = client.topics['maoyan_wish']consumer = topic.get_simple_consumer(consumer_group='test', auto_commit_enable=True, consumer_id='test')for message in consumer: if messa

2020-09-27 15:27:37 302

原创 python kafka 生产

from pykafka import KafkaClientclass KafkaProduct(): def __init__(self,hosts,topic): """ 初始化实例 :param hosts: 连接地址 :param topic: """ self.__client = KafkaClient(hosts=hosts) self.__topic = self

2020-09-27 15:21:51 115

原创 kafka-python 停止消费mac安装kafka

brew install kafka==> zookeeperTo have launchd start zookeeper now and restart at login: brew services start zookeeperOr, if you don't want/need a background service you can just run: zkServer start==> kafkaTo have launchd start kafka now a

2020-09-27 15:15:50 164

原创 date string 转化为weekday

def transform_date_to_weekday(date_str): day = datetime.datetime.strptime(date_str,"%Y%m%d") weekday = datetime.datetime.isoweekday(day) return weekday

2020-09-27 10:27:10 215

原创 mongodb导入hive

.背景公司希望使用MongoDB作为后端业务数据库，使用Hadoop平台作为数据平台。最开始是先把数据从MongoDB导出来，然后传到HDFS，然后用Hive/MR处理。我感觉这也太麻烦了，现在不可能没有人想到这个问题，于是就搜了一下，结果真找到一个MongoDB Connector for Hadoop1.版本一定要按它要求的来，jar包去http://mvnrepository.com/下载就可以了，使用Hive只需要三个：mongo-hadoop-core-1.5.1.jarmongo-had

2020-09-25 15:21:32 468

mac_lagou.ipynb

空空如也