weixin_40809507的博客

原创 2048游戏（面向对象版）

文章目录主要思想GameCoreController.pymodel.pyusl.pymain.py主要思想1、将2048核心算法定义到核心类中GameCoreController，作为实例成员2、产生新数字–随机2（90%）或者4（10%）3、判定游戏是否结束–如果有空位置，游戏不能结束–如果横向可以移动，游戏不能结束–纵向–以上条件不满足，游戏结束4、创建控制台游戏视图GameConsoleView–游戏开始时，产生2个新数字，绘制界面–游戏逻辑，获取玩家输入wsad移动地图，产

原创 2048核心算法_函数式编程

"""2048核心算法 函数式编程 降维"""list_merge = [2,0,0,2]#1、将列表零元素移动到末尾def zero_to_end(): """ 零元素移动到末尾 思路：从后向前依次判断，如果是零元素，则删除零元素后追加零 :return: """ for i in range(len(list_merge)-1,-1,-1): if list_merge[i] == 0: del l

原创 python的内存管理机制

文章目录引用计数标记清除分代回收内存优化尽少产生垃圾对象池设置分代回收参数引用计数每个对象记录被变量绑定（引用）的数量，当为0时被销毁。a = "悟空" #引用计数增加1b = a #引用计数增加1c = b #引用计数增加1del a #引用计数减少1b = "八戒" #引用计数减少1c = None #引用计数减少1#悟空因为引用计数为零，所以被销毁。缺点：对循环引用无效（循环

原创 NLP文本聚类

import pandas as pdfrom collections import Counterfrom sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizerfrom sklearn.cluster import KMeansimport reimport stringimport jieba# 分词def tokenize_text(text): tokens = jieba.cut

原创 NLP关键词提取

keywordExtract.py# -*- coding: utf-8 -*-import mathimport jiebaimport jieba.posseg as psgfrom gensim import corpora, modelsfrom jieba import analyseimport functools# 停用词表加载方法def get_stopword_list(): # 停用词表存储路径，每一行为一个词，按行读取进行加载 # 进行编码转换

原创 NLP命名体识别bilstm+crf

"""NLP命名体识别bilstm+crf1、准备数据：origin_handle_entities()读取源数据文件，把人名，地名，机构名合并起来2、读取处理后的数据：origin_handle_mark()把预处理后的的文本标注成BMO的格式，B(begin)、M(middle)、E(end)、O(other)3、句子切分：sentence_split()按照指定的格式，比如标点等内容对数据完成切分4、保存数据 a.将标注的句子拆分自成列表和对应的标注序列 b.创建

原创 bayes中文文本分类（NLP版）

“”"bayes中文文本分类（NLP版）1、准备数据读取数据内容，标签2、中文的分词：中文信息处理时所需的步骤（Jieba、Jiagu、pkuseg）3、文本向量化：将读取后的数据转换成文本的向量（数字）TFIDF词袋模型4、模型的训练和保存：sklearn的工具包实现，joblib5、模型的加载使用：joblib“”"import osimport jiebafrom sklearn.feature_extraction.text import TfidfVectorizer

原创 NLP文本分布式表示

文章目录基于矩阵的方法基于神经网络的方法基于矩阵的方法用一个词附近的其他词来表示该词共现矩阵(Cocurrence matrix)主要用于发现主题，解决词向量相近关系的表示；将共现矩阵行(列)作为词向量例如：语料库如下：• I like deep learning.• I like NLP.• I enjoy flying.则共现矩阵表示如下：（使用对称的窗函数（左右window length都为1) ）例如：“I like”出现在第1，2句话中，一共出现2次，所以=2。对称的

原创 结巴分词：全模式、精确模式和搜索引擎模式

文章目录全模式精确模式搜索引擎模式jieba.lcut(sentence)：返回的是一个列表jieba.cut(sentence, cut_all=False)：返回的是一个迭代器，cut_all默认为False(精确模式)，True(全模式）jieba.cut_for_search(sentence)：返回一个迭代器jieba.lcut_for_search(sentence)：返回一个集合全模式seg_list = jieba.cut("我来到北北京清华大学",cut_all=True

原创 朴素贝叶斯算法案例

“”"朴素贝叶斯算法案例“”"import numpy as np#准备数据def loadDataSets():“”"加载数据集:return: dataMatrix,labelList“”"dataMatrix = [[“stop”, “fuck”, “you”, “bitch”, “garbage”],[“useless”, “dog”, “stupid”, “worthless”],[“suck”, “my”, “dick”, “bitch”, “pig”, “asshol

原创 深度学习画图工具

NN-SVGhttp://alexlenail.me/NN-SVG/PlotNeuralNethttps://github.com/HarisIqbal88/PlotNeuralNetDraw_Convnethttps://github.com/gwding/draw_convnetNetscopehttps://github.com/ethereon/netscopeConvNetDrawhttps://cbovar.github.io/ConvNetDraw/

原创 LSTM的原理简介

文章目录LSTM的网格结构cell state怎么控制细胞状态？遗忘门输入门更新细胞状态输出BiLSTM原理简介LSTM的网格结构cell state怎么控制细胞状态？遗忘门输入门什么输入门两个通路，遗忘门一个通路？答：论文中输入门两个通路好于一个通路。更新细胞状态输出BiLSTM原理简介...

原创 NLP文本的离散表示

文本的离散表示（2022-03-07）one-hot表示词袋模型TF-IDFN-gramone-hot表示"""oneHotencoder举例"""from sklearn import preprocessingenc = preprocessing.OneHotEncoder()enc.fit([[0,0,3],[1,1,0],[0,2,1],[1,0,2]])#fit来学习编码res=enc.transform([[0,1,3]]).toarray()#结果转化为数

原创 机器&深度学习-模型部署

方式服务器部署客户端部署模型在model_freeze中压缩model_freeze中的模型下载训练好的模型部署目录

原创 瓷砖瑕疵检测-数据增强

文章目录global_var.py02_tile_sample_enhance.pyglobal_var.py# linuxdata_root_path = "data/MagneticTile" # 数据路径test_file_path = "data/test.txt" # 测试文件路径train_file_path = "data/train.txt" # 测试文件路径# windows# data_root_path = "D:\\MagneticTile" # 数据路径#

原创 多目标进化优化

http://cjc.ict.ac.cn/online/onlinepaper/zjh-20141215142202.pdf

原创 Bio3D的教程

参考：【1】http://www.bioengx.com/bio3d%e7%9a%84%e5%ae%89%e8%a3%85%e4%b8%8e%e5%ba%94%e7%94%a8%e5%ae%9e%e4%be%8b%ef%bc%88dccm%ef%bc%89/【2】http://thegrantlab.org/bio3d_v2/user-guide【3】http://thegrantlab.org/bio3d_v2/tutorials/protein-structure-networks1.Bio3D

原创 python的学习方法

原创 paddle上传文件方案

1、上传zip文件2、ai studio运行import zipfilef = zipfile.ZipFile("data/fruits.zip",'r') for file in f.namelist(): f.extract(file,"data")#将文件解压到当前文件夹下 f.close()

原创 蒙特卡洛方法

文章目录定义起源工作过程应用领域蒙特卡罗分子模拟计算步骤项目管理力学案例1.π的计算2.积分的计算3.交通堵塞定义蒙特卡罗方法又称统计模拟法、随机抽样技术，是一种随机模拟方法，以概率和统计理论方法为基础的一种计算方法，是使用随机数（或更常见的伪随机数）来解决很多计算问题的方法。将所求解的问题同一定的概率模型相联系，用电子计算机实现统计模拟或抽样，以获得问题的近似解。起源蒙特卡罗方法于20世纪40年代美国在第二次世界大战中研制原子弹的"曼哈顿计划"计划的成员S.M.乌拉姆和J.冯·诺伊曼首先提出。.

原创 论文阅读方法

1、模型解决了什么问题？2、使用了什么方法、思路？3、取得了什么效果？4、该模型有什么特点，优缺点？

原创 03-CNN服装图像分类

import tensorflow as tffrom tensorflow.keras import datasets,layers,modelsimport matplotlib.pyplot as plt#数据导入(train_images,train_labels),\(test_images,test_labels) = datasets.fashion_mnist.load_data()#数据探索plt.figure()plt.imshow(train_images[0])

原创 02-CNN彩色图片分类

#导入数据import tensorflow as tffrom tensorflow.keras import datasets,layers,modelsimport matplotlib.pyplot as plt(train_images,train_labels),\(test_images,test_labels) = datasets.cifar10.load_data()#归一化#将像素的值标准化至0至1的区间内train_images,test_images = tra

原创 01-mnist数字识别

# mnist数字识别# 设置GPUimport tensorflow as tf# gpus = tf.config.list_physical_devices('GPU')# if gpus:# gpu0 = gpus[0]#如果有多个GPU，仅使用第0个GPU# tf.config.experimental.set_memory_growth(gpu0,True)#设置GPU显存用量按需使用# tf.config.set_visible_devices([gpu

原创 聚类-kmeans-DBSCAN-AgglomerativeClustering

聚类K-meansimport numpy as npimport pandas as pdimport matplotlib.pyplot as pltdata = pd.read_csv('../data_test/multiple3.txt', header=None, names=['x1','x2'])data.plot.scatter(x='x1',y='x2',s=50)<matplotlib

原创 bayes-文本情感分析-酒店评论情感分析

酒店评论情感分析数据集位于链接:提取码: 8w6pimport pandas as pdimport jieba#加载文件data = pd.read_csv('../data_test/htl_all.csv')data['label'].value_counts()data = data.tail((data['label'] == 0).sum() * 2)data['label'].value_counts()1 24430 2443Name: lab

原创 中文分词-jieba

中文分词案例自定义词典

原创 文本分类_舆情分析

文章目录舆情分析文本分词文本向量化处理词袋模型词频（TF）文档频率（DF）逆文档频率（IDF）词频-逆文档频率(TF-IDF)文本分类(主题识别)舆情分析文本情感分析又称意见挖掘、倾向性分析等。简单而言,是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。互联网产生了大量的诸如人物、事件、产品等有价值的评论信息。这些评论信息表达了人们的各种情感色彩和情感倾向性,如喜、怒、哀、乐和批评、赞扬等。基于此,潜在的用户就可以通过浏览这些主观色彩的评论来了解大众舆论对于某一事件或产品的看法。酒店评论

原创 iris_逻辑回归二元分类_决策树

import matplotlib.pyplot as pltimport sklearn.datasets as sdimport pandas as pdiris = sd.load_iris()print(iris.keys())##整理数据为dfdata = pd.DataFrame(iris.data,columns=iris.feature_names)datairis.targetdata['target'] = iris.target#萼片的可视化plt.s

原创 09_keras_Tuner使用keras Tuner调整超参数(超参数优化)

"""09_keras_Tuner使用keras Tuner调整超参数"""import tensorflow as tffrom tensorflow import kerasimport keras_tuner as kt#加载数据集(img_train, label_train),\(img_test, label_test)\ =keras.datasets.fashion_mnist.load_data()# Normalize pixel values be

原创 保存和加载模型

"""保存和加载模型"""import osimport tensorflow as tffrom tensorflow import keras#获取示例数据集(train_images, train_labels), (test_images, test_labels) = tf.keras.datasets.mnist.load_data()train_labels = train_labels[:1000]test_labels = test_labels[:1000]t

原创 防止神经网络过度拟合的最常见方法

防止神经网络过度拟合的最常见方法：1、获取更多训练数据。2、减少网络容量。3、添加权重正则化。4、添加dropout。5、数据增强6、批量标准化

原创 基本回归：预测燃油效率

“”"Basic regression: Predict fuel efficiency汽车燃油效率“”"import pathlibimport matplotlib.pyplot as pltimport pandas as pdimport seaborn as snsimport tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import layersprint(tf.version)dat

原创 使用 Keras 和 Tensorflow Hub 对电影评论进行文本分类

""""使用 Keras 和 Tensorflow Hub 对电影评论进行文本分类"""import numpy as npimport tensorflow as tf# !pip install tensorflow-hub# !pip install tfds-nightlyimport tensorflow_hub as hubimport tensorflow_datasets as tfdsprint("Version: ", tf.__version__)print(

原创 使用 Keras 和 Tensorflow Hub 对电影评论进行文本分类

""""使用 Keras 和 Tensorflow Hub 对电影评论进行文本分类"""import numpy as npimport tensorflow as tf# !pip install tensorflow-hub# !pip install tfds-nightlyimport tensorflow_hub as hubimport tensorflow_datasets as tfdsprint("Version: ", tf.__version__)print(

原创 02_tensorflow_影评论文本分类

"""电影评论文本分类"""import tensorflow as tffrom tensorflow import kerasimport numpy as np# print(tf.__version__)# 加载IMDB数据集imdb = keras.datasets.imdb(train_data,train_labels),(test_data,test_labels) = imdb.load_data(num_words=10000)# 探索数据print("Train

原创 你的第一个神经网络

"""对服装图像进行分类"""# TensorFlow and tf.kerasimport tensorflow as tffrom tensorflow import keras# Helper librariesimport numpy as npimport matplotlib.pyplot as plt# print(tf.__version__)#读取数据 ##经典mmist数据集fashion_mnist = keras.datasets.fashion_mn

原创 决策树_实战_波士顿房价

import numpy as npimport sklearn.datasets as sdimport pandas as pdimport matplotlib.pyplot as pltboston = sd.load_boston()boston.keys()boston.filenameprint(boston.DESCR)print(boston.feature_names)print(boston.data.shape)#xboston.target.shap

原创 sklearn_岭回归_Lasso回归

import numpy as npimport pandas as pdimport matplotlib.pyplot as pltdata = pd.read_csv('../data_test/Salary_Data2.csv')x = data['YearsExperience']y = data['Salary']plt.scatter(x,y,s=50,color='dodgerblue')#线性回归import sklearn.linear_model as lm

原创 sklearn_多项式回归

import numpy as npimport pandas as pdimport matplotlib.pyplot as pltdata = pd.read_csv('../data_test/Salary_Data.csv')x = data['YearsExperience']y = data['Salary']train_x = pd.DataFrame(x)train_y = yimport sklearn.pipeline as pl #数据管线import sk