4 呆萌的代Ma

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 1w+

java解决Exception in thread “main“ java.lang.OutOfMemoryError: GC overhead limit exceeded

这个就是内存占用超过了限制,解决方案:加载文件的容量太大这个只能切分文件,使用BufferedInputStream一行行读取:BufferedInputStream bufferedReader = new BufferedInputStream(new FileInputStream("文件"), 65536);长时间写入缓存1.切分写入到不同的文件中,在更换写入的文件时调用GC请求清理一下内存:System.gc();2.修改内存限制:博主用的是IDEA,点击与运行的按钮在一起的E

2020-07-07 22:02:08

dataframe根据时间戳timestamp切分成多个dataframe

原始数据是 dataframe 的一列 “timestamp” 需要按照每5分钟做一次切分,下面是切分的代码:import pandas as pddef dataframe_strip(dataframe: pd.DataFrame): min_time = dataframe['timestamp'].min() # 5minute i = 1 while True: # 300是 5分钟*60秒 = 300秒 yield datafram

2020-07-07 16:22:43

python多线程飞速写入文件

乱序多线程写入举个最简单的例子,只要求快速写入即可,对顺序无要求时:import threadingdef write_string(string, path="test.csv"): with open(path, 'a') as f: f.write(string + "\r\n")# 创建新线程for i in range(15): # 这里每次循环都开一个线程,并写入"写入:" + i,args里指定参数,注意要使用list[]格式 thread1 =

2020-07-07 10:35:58

IDEA(Pycharm)一家子常用快捷键Keymap对应的英文、中文与具体位置

本博客旨在把idea全家桶中快捷键的英文与中文罗列出来,方便大家自定义中文英文位置代码提示Basiccode - completion - Basic同时多行输入Add or Remove CaretEditor Actions - Add or Remove Caret整理代码Reformat codeMain menu - code - Reformat code调试时快速显示变量信息Quick Evaluate ExpressionMain m

2020-07-05 11:22:31

D* Lite(D star lite) 算法 python

D star lite 算法的论文网址:http://idm-lab.org/bib/abstracts/papers/aaai02b.pdf根本思想是从后往前计算,每当客观环境发生变化时就可以节省未变环境的计算量:Github复现代码:https://github.com/avgaydashenko/d_starclone这份代码后,运行main.py:from d_star import DStar# 设置起点(0,1)与终点(3,1)pf = DStar(x_start=0, y_

2020-07-04 17:12:37

python解析pcap提取{src ip,src port,protocol,dst ip, dst port}五元组,再提取网络流(包括前向流与后向流)

通过解析pcap文件,按照{src ip, src port, transport protocol , dst ip, dst port} 拆分流,并提取出前向流(Forward)与后向流(Backward),代码如下:import pysharkimport pandas as pdclass Net_flow(object): def __init__(self, file_path): self.cap = pyshark.FileCapture(file_path

2020-07-03 16:15:22

pandas隔行计算均值方差(相邻行或隔行的均值/方差)

目前没有找到一个函数来做这件事的,因此自己敲一个:计算前一行与吼dataframe['size_mean'] = (dataframe['length'].shift(-1) + \ dataframe['length'] + \ dataframe['length'].shift(1)) / 5...

2020-07-01 15:58:29

pandas 根据两列数据筛选dataframe

如果是筛选某一列中等于某个值的那一行,可以使用:dataframe[dataframe['列名'] == "具体值"]如果筛选某两列中的值等于具体值的那几行,可以使用:search_se = dataframe.loc[dataframe['列1'] == "值1", '列2'] == "值2"# 得到筛选后的行的indexsearch_index = search_se[search_se == True].index...

2020-07-01 14:18:00

A star 算法 (Python)

A*算法作为快速的寻路算法,可以快速查询两点之间的最短路径,下面是代码参考网址:https://github.com/xclu/Python-1/blob/master/graphs/a_star.py# function to search the pathdef a_star_search(grid: list, begin_point: list, target_point: list, cost=1): assert ((grid[begin_point[0]][begin_point

2020-06-23 23:20:30

基于fitter库判断已知数据服从分布——python

使用fitter库,安装:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple fitterGithub官网:https://github.com/cokelaer/fitter使用说明:from fitter import Fitterimport numpy as nparr = np.arange(1, 200)np.random.shuffle(arr) # arr为创建的随机数fitter_dis = Fit

2020-06-19 17:31:42

Hurst exponent(赫斯特指数)代码与R/S值计算——python

基于重标极差(R/S)分析方法基础上的赫斯特指数,是作为判断时间序列数据遵从随机游走还是有偏的随机游走过程的指标。Hurst的值域是 [0,1]若Hurst指数> 0.5,序列具有长期记忆性,未来的增量和过去的增量相关,继续保持现有趋势的可能性强。若Hurst 指数< 0.5,很有可能是记忆的转弱,趋势结束和反转的开始(mean reversion)。若Hurst指数= 0.5,序列接近随机游走(Random Walk),无定向运动。...

2020-06-19 11:17:04

AC自动机(python)

AC自动机作为天朝发扬光大的算法,常用于非法字符、恶意文本匹配,比如把“小学生”变成“***”之类代码如下:class TrieNode(object): def __init__(self, value): self.value = value self.next = dict() self.fail = None self.emit = Noneclass AhoCorasic(object): def __ini

2020-06-19 10:30:22

Tcpdump抓包实操

文章目录1.常用命令全部数据包的抓取与保存:2.自定义操作自定义网络接口自定义端口刚从wireshark转到tcpdump,所以就用最适合wireshark思路的方式写这篇博客,以便尽快适应tcpdume,官方API:https://www.tcpdump.org/manpages/tcpdump.1.html1.常用命令全部数据包的抓取与保存:抓取固定主机ip的端口号,并保存在本地:sudo tcpdump -i 接口 -w 保存的路径 host 主机IP and port 端口号sudo t

2020-06-17 09:42:38

贪心算法求解TSP问题(python)

这里使用贪心算法求解TSP问题的python版本# dist 为距离矩阵,start_index 为起始位置def tsp_quick(dist: list, start_index: int): sum_distance, seq_result, n = 0, [start_index, ], len(dist) for path_index in range(n - 1): distance_list = dist[start_index] min_d

2020-06-13 16:49:56

cpu矿工cpuminer-multi编译与使用

文章目录编译步骤cpuminer-multi 矿工运行cpuminer-multi有很多不同前辈开发,这里选用star最多且最流行的:lucasjones/cpuminer-multi在编译中遇到了很多坑,这里全部整合到流程中,如果流程中有任何地方报错请留言,issues中的确有很多开发人员尚未解决的问题!!!lucasjones/cpuminer-multi:github地址:https://github.com/lucasjones/cpuminer-multireleases:https

2020-06-13 14:35:39

Linux使用cpuminer挖比特币(BTC)、莱特币(LTC)等

基本流程是:选择挖矿软件(矿工)添加矿池挖矿软件挖矿软件一定要用开源软件,Github上有很多,有些软件专门使用GPU挖矿,有些软件专门使用CPU挖矿,还有些专门针对特定矿机,这里博主使用CPU挖矿软件cpuminer,cpuminer github地址:https://github.com/pooler/cpuminer如果用源码需要编译,下方链接是作者已经编译好的包,建议直接下载编译好的程序程序下载地址:https://bitcointalk.org/index.php?topic=

2020-06-13 14:08:10

Linux使用xmrig挖Monero

Xmrig为开源项目:https://github.com/xmrig/xmrig本教程不需要申请任何三方网站的用户名密码!申请钱包地址在本地下载门罗币的钱包客户端:https://web.getmonero.org/downloads/建议直接从官网下载,不要相信任何第三方!下载后解压在本地,我的解压路径是~/Desktop/monero-gui-v0.16.0.0然后运行: ./monero-wallet-gui选择第一项:这里注意要记住 Mnemonic seed ,这将是找

2020-06-13 08:55:15

pandas时间序列与自回归ARIMA模型

文章目录1 时间预处理1.1 创造时间序列1.2 选择时间序列1.3 重采样1.4 滑动窗口1.5 差分2.自回归ARIMA模型1.平稳性(差分)2. ACF与PACF3. ARIMA建模4. 模型预测5. 模型评估1 时间预处理1.1 创造时间序列从指定日期开始time_df = pd.date_range('2020-01-01', periods = 10, freq = 'D')# periods:周期,即生成的时间序列个数# freq:步长,可指定2D:两天;H:小时;M:月

2020-06-10 13:50:33

pandas读写csv

import pandas as pddata = pd.read_csv('读取.csv')data.to_csv('写入.csv', index=False) # 防止把index写入

2020-06-05 09:54:04

python复现感知机的二分类算法

本博客复现感知机的二分类算法import pandas as pdimport numpy as npclass Perceptron: def __init__(self, w=None, b=0): self.w = w self.b = b def fit(self, x_train: pd.DataFrame, y_train: pd.Series, iter=20, learn_rate=0.001): """

2020-05-31 00:07:33

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 分享精英
    分享精英
    成功上传11个资源即可获取