2 初心fly

尚未进行身份认证

暂无相关简介

等级
TA的排名 1w+

centos7 jupyter notebook安装与远程访问(jupyter command not found)、快速安装python3环境(No module named ssl)

参考:https://www.jianshu.com/p/960f011f712ehttps://blog.csdn.net/m0_37903789/article/details/84657482?1、安装jupyterpip3 isntall jupyter2、生成配置文件jupyter notebook --generate-config3、生成密钥进入python环境:from notebook.auth import passwd passwd() 此时会让你两次输入

2020-05-20 16:39:30

dataframe concat,merge,fillna,reset_index及excel 列传行操作

df = pd.DataFrame(list(results),columns=[‘movie_num’,‘title’,‘language’,‘area’,‘director’,‘video_type’,‘describe’,‘duration’,‘type’,“crew_name”])df2 = pd.DataFrame(list(results1),columns=['movie_num','high_light'])df3 = pd.merge(df,df2,on='movie_num',ho

2020-05-14 19:04:49

hdfs启动namenode启动不了,flume sink hdfs整合小文档

1、 hdfs启动namenode启动不了重新格式化就好;hadoop namenode -format进入/usr/local/Cellar/hadoop/3.2.1_1/sbin./start-dfs.sh网页查看:http://localhost:9870/hdfs dfs -mkdir /test1 hdfs dfs -put kms.sh /test1 hdfs dfs -cat /test1/kms.sh2、flume sink hdfs整合小文档时间维度和文档大小设

2020-05-14 12:02:02

dataframe直接或间接读取mysql形式

1、直接import pymysqlimport pandas as pdfrom sqlalchemy import create_enginedef GetQueryByDF(sql): connect_info = 'mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8'\ .format("user", "passwd", "hostname", "port","dbname") engine = create_e

2020-05-13 18:05:04

mysql case更改自定义名称和group_concat分组和全部内容展示

1、(case a.vtype_sub when ‘0’ then ‘电影’ when ‘1’ then ‘纪录片’ end)2、group_concat(b.crew_name SEPARATOR ‘,’)“select a.movie_num,a.movie_title,a.language,a.area,a.director,a.movie_type,a.movie_describe,a.duration,(case a.vtype_sub when ‘0’ then ‘电影’ when ‘1’

2020-05-13 17:00:05

movielens数据集搭建电影推荐系统(CB、CF、HOT)

代码参考我已上传github:https://github.com/lonngxiang/movielens_recommendation主要是通过基于电影内容(CB)的相似、用户电影协同过滤(CF)、电影热评分榜(HOT)三块做主要的召回,排序主要是三块召回内容再进行手工权重的分配排序本次用的数据集是movielns 10M的,下载放在data目录下面就行,这是提供的百度网盘下载:https://pan.baidu.com/s/1w7lXqzWLODY075MoJ6l_6A 密码:t7n3主要用

2020-05-12 15:05:28

python代码自检工具 flake8简单介绍

PEP 8 是 Python 代码风格规范,它规定了类似行长度、缩进、多行表达式、变量命名约定等内容。尽管你的团队自身可能也会有稍微不同于 PEP 8 的代码风格规范,但任何代码风格规范的目标都是在代码库中强制实施一致的标准,使代码的可读性更强、更易于维护。下面三个库就可以用来帮助你美化代码。Flake8 是“将 PEP 8、Pyflakes(类似 Pylint)、McCabe(代码复杂性检查器)和第三方插件整合到一起,以检查 Python 代码风格和质量的一个 Python 工具”。执行 pip3 in

2020-05-09 11:47:19

基于内容的电影推荐系统-tdidf doc2vec文本相似推荐及热评分榜、cf模型推荐

首先使用的数据是movielens(用的是10m大小的这份,用户100万数据打分):http://files.grouplens.org/datasets/movielens/ml-10m-README.html1、关于电影hot排行榜统计import pandas as pdcolumn_names = ['user_id', 'item_id', 'rating', 'timesta...

2020-05-06 15:59:11

python 程序设计解耦及包模块之前的导入、项目目录

1、程序中,低耦合,高内聚—是指模块之间低耦合、模块内部高内聚。这个软件系统的进化过程是由程序员参与的过程,以追求软件系统的可重用和易维护—也是追求消耗最小的能量。2、各包模块导入a、同级目录:mycompany ├─ model1.py └─ model2.py若在程序model2.py中导入模块model1.py,则可以直接使用 import model1 或 from mode...

2020-04-26 11:42:00

pyspark 协同过滤矩阵分解ALS 电影数据

数据下载:https://github.com/apache/spark/tree/master/data/mllib/als代码案例参考:https://github.com/apache/spark/blob/master/examples/src/main/python/ml/als_example.py需要注意代码里long(p[3])改成floatratingsRDD = pa...

2020-04-17 18:36:55

sh脚本书写和后台运行,查看JAVA_HOME路径

参考:https://blog.csdn.net/sdb5858874/article/details/80522129https://blog.csdn.net/ruiyelp/article/details/80184249sh脚本,后台运行:执行脚本test.sh:./test.sh直接在后台运行脚本test.sh:./test.sh &不中断的在后台运行test....

2020-04-14 10:26:41

mac安装sqoop及简单语法

安装:brew install sqoopcd /usr/local/Cellar/sqoop/1.4.7/libexec/confcp sqoop-env-template.sh sqoop-env.shvim sqoop-env.sh export HADOOP_HOME="/usr/local/Cellar/hadoop/3.2.1_1/libexec"export HBAS...

2020-04-07 15:12:44

mac hadoop安装和伪分布hbase安装

参考:https://blog.csdn.net/liaoningxinmin/article/details/85992752https://blog.csdn.net/vbirdbest/article/details/88232702hbase链接hdfs,zookeeper问题:hmaster消失,hbase shell 链接zookeeper问题...

2020-04-04 12:37:17

python 文字快闪视频制作

参考:https://zhuanlan.zhihu.com/p/69839386https://github.com/AndersonBY/FlashText安装依赖可能麻烦点:运行:python3 FlashText1.py --text /Users/lonng/youtube_v/2a_kor1.txt --music /Users/lonng/Desktop/v+/mp3/Smi...

2020-04-03 15:04:28

本地图片转在线url,flask搭建在线服务器

网上没找到自动转的api接口,可以考虑自己搭建一个,不过需要自己有公网的服务器才行,不然就只能再内容本地测试用搭建非常简单:import requestsfrom flask import Flask,render_template,request,jsonify,Responseapp=Flask(__name__)@app.route("/photo/<imageId&...

2020-04-02 10:13:38

seleium截图 mac和centos7安装

mac安装:参考 https://blog.csdn.net/Lynn_mg/article/details/84523007?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task截全页全图# -*- coding: utf-8 -*-fro...

2020-04-01 11:22:23

pyspark steaming 连接kafka数据实时处理(也可以对接flume+kafka+spark)

需要下载对应 spark-streaming-kafka-0-8-assembly jar包(版本要对于)下载地址:https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-8-assembly_2.11一定要下载对应的assembly版本,不然不识别版本对应说明比如:spark-streamin...

2020-03-31 11:13:56

flume日志采集及断点去重模块(mac\linux安装)

mac安装直接:brew install flume官网文档参考:http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.htmlflume模块agent主要分为三块sourse,channel、sink三块,因为封装的比较好,不需要编程,只需要设置三块具体模块及参数就行编辑自己的配置文件:/libexec/conf/下创...

2020-03-28 11:32:05

flask 钉钉机器人自动推送预警信息

项目注意是两部分,一部分是flask创建一个在线实时监听接口接收预警信息,另一部分是通过钉钉api及时发送群预警信息#首先需要在钉钉群自定义创建一个机器人,获取签名信息;参考官方文档:https://ding-doc.dingtalk.com/doc#/serverapi2/qf2nxqimport timeimport hmacimport hashlibimport base64f...

2020-03-23 11:56:50

mac kafka安装简单使用

参考:https://www.jianshu.com/p/aca69eca282ehttps://www.cnblogs.com/ultimateWorld/p/11120803.html直接安装:brew install kafka==> zookeeperTo have launchd start zookeeper now and restart at login: br...

2020-03-23 11:38:27

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。