- 博客(800)
- 资源 (9)
- 收藏
- 关注
原创 2020 各大厂分享ppt
1.用户增长数据技术驱动全渠道用户触达(网易严选)有赞数据驱动增长体系的建设(有赞)基于doris构建的小程序私域流量增长(智能小程序)2.知识图谱百度知识图谱技术及应用(百度)美团大脑系列商品知识图谱的构建及应用(美团)基于事理图谱的智能培训(贝壳)3.推荐算法深度树匹配召回体系演进(阿里妈妈)粗排技术体系与最新进展(阿里)EdgeRec:边缘计算在推荐系统中的应用(阿里)算力效能技术体系@阿里定向广告(阿里妈妈)多目标排序在快手短视频推荐中的实践(快手)多业务融合推
2020-12-29 23:52:51 3325 4
原创 只需订阅“全部文章”专栏便可查看所有文章
微服务架构系列文章、精品教程(135篇)主要内容:docker,k8s/k3s/rancher/helm,ai平台,大数据平台架构(presto),airflow调度,istio/linkerd服务网格,kubeflow分布式训练和服务化,网关(kong/nginx), 消息队列,prometheus监控生态,efk日志系统...
2020-12-04 23:27:13 6614
原创 IT转互联网的转行经验
本科初识编程对于互联网,最开始实打实是个外行,本科期间是电子专业,农村的小子,没什么眼界,不懂自己要从事什么行业。大三学习按键精灵,搞一些重复性的电脑操作,这个算是启蒙。想搞的电脑自动化操作越来越复杂,就开始按照按键精灵里面的说法使用VB语言,开始学习VB。虽然那个时候对于计算机这些都是老掉牙的知识,但是对于一个外行,学着感觉还是很牛逼的。到了大四,看到网上的文章说微软的vb已经比较久远了,现在微软主推c#,所以开始学习c#,并开始为学校的部门办公室做一些小软件。然后在csdn上将这些技能总结下来,后来汇
2020-11-08 10:13:52 1583 3
原创 python系列文章(基础,应用,后端,运维,自动化测试,爬虫,数据分析,可视化,机器学习,深度学习系列内容)
python基础教程python基础系列教程——Python的安装与测试:python解释器、PyDev编辑器、pycharm编译器python基础系列教程——Python库的安装与卸载python基础系列教程——Python3.x标准模块库目录python基础系列教程——Python中的编码问题,中文乱码问题python基础系列教程——python基础语法全解python...
2019-11-07 15:42:48 201561 164
原创 java开发大全、系列文章、精品教程
全栈工程师开发手册 (作者:栾鹏)快捷链接:一个demo学会javajava实现使用JDBC-ODBC桥操作数据库java中RandomAccessFile随机文件读写,文件追加和部分读取java使用socket实现一个多线程web服务器java实现代理服务器,接收客户端连接,发送到对应服务器java实现tcp服务器(单线程、多线程)、客户端java使用UDP数据报通讯方式QQ聊天系统:服务器、客
2019-06-27 13:38:11 11736 1
原创 一个demo学会java
全栈工程师开发手册 (作者:栾鹏)快捷链接: java系列教程1-数据库操作全解 java系列教程2-IO数据流全解 java系列教程3-网络协议全解 java系列教程4-web服务全解 java系列教程5-网络安全全解 java系列教程6-系统操作全解 java系列教程7-jsp全解 java系列教程8-数据结构全解 java系列教程9-算法全解 java系列教程10-DOM
2017-10-01 18:14:01 13018 4
原创 OPNET网络仿真分析-目 录
版权声明:本书为作者版权所有,仅用于学习,请勿商用 OPENT网络仿真分析 (作者:栾鹏、陈玓玏)OPNET网络仿真分析-目录 OPNET网络仿真分析-电子版目 录第一章 OPENT基础 1.1、OPNET简介 1.1.1、网络仿真简介 1.1.2、OPNET简介 1.1.3、OPNET Modeler 1.1.3.1、OPNET Modeler主要功能 1.1.3.2、OPN
2017-09-14 14:18:45 8468 53
原创 一个demo学会jquery mobile
全栈工程师开发手册 (作者:栾鹏)jQuery Mobile事件全解 jQuery Mobile 所有class选项 jQuery Mobile 所有data-*选项一个demo学会jquery mobile:今天这篇文章我们包含了jquery mobile的所有框架(主要是css上的设计),当然不包含重复了jquery的东西。其中jquery mobile中所有的特色的data-role选项
2017-09-02 18:40:51 7612
原创 matlab2c使用c++实现matlab函数开发配置全解
全栈工程师开发手册 (作者:栾鹏) github:https://github.com/626626cdllp/matlab2cmatlab2c动态链接库下载 matlab库函数大全 matlab2c基础教程 matlab2c开发全解教程matlab2c开发全解教程开发注意事项:1、目前matlab2c对矩阵的实现仅包含实数型、复数型数据。实数型矩阵使用Ma...
2017-08-23 19:59:38 10770 7
原创 Echarts数据可视化全解
Echarts数据可视化开发全解 http://blog.csdn.net/luanpeng825485697/article/details/771988586大公共组件:Echarts数据可视化visualMap全解 http://blog.csdn.net/luanpeng825485697/article/details/76739353Echarts数据可视化dataZoom详解 h
2017-08-18 12:43:39 8961 4
原创 jquery系列教程1-选择器全解
//$被宏定位为jQuery。$("#foo')等价于jQuery("#foo"),$.ajax等价于jQuery.ajax//jQuery.noConflict(); //不再使用$代表jQuery,则$可以在其他js插件中代表其他的变量了//var $j = jQuery.noConflict(); //使用$j代表jQuery//===========================
2017-08-05 09:11:01 4894
原创 一个demo学会js
学习了js高级编程这本书,自己喜欢边学边总结边写demo,所以写了这篇文章,包含了大部分的js编程知识。让你一个demo掌握js所有编程,如果有问题可以留言。此demo除了必须的链接文件外,主要包括文件:index.html和index.js、index.css、index1.js、index2.js、index3.js、index4.js、index5.js文件index.html文件为一个简单的
2017-08-04 19:52:17 17914 2
原创 一个demo学会css
一个demo学会css css选择器全解 css操作语法全解一个demo学会css:学习了css权威指南这本书,自己喜欢边学边总结边写demo,所以写了这篇文章,包含了大部分的css编程知识。让你一个demo掌握css编程,如果有问题可以留言。 此demo主要包括index.html和index.css、index1.css文件index.html文件为一个简单的演示页面。讲述了在html元素
2017-08-03 19:45:27 9265
原创 一个demo学会c#
学习了c#4.5高级编程这本书,自己喜欢边学边总结边写demo,所以写了这篇文章,包含了大部分的c#编程知识。让你一个demo掌握c#编程,如果有问题可以留言。 此demo主要包括五个文件:Students.cs和Moniter.cs文件,包含了自定义空间、空间函数、空间变量、空间自定义类;Interface1.cs文件和Interface2.cs文件为接口文件;index.cs文件为主程序运算。
2017-08-02 09:46:53 8626
原创 一个demo学会c++编程
namespace.h#pragma once //防止文件被多重包含#include #include //数据流#include //字符串#include //异常#include //变化参数#ifndef PI //如果没有定义PI则定义,否则跳过 避免重复包含#define PI 3.1415926#endifusing namespace
2017-08-01 16:01:40 15605 3
原创 github 仓库中的多次代码提交,如何合并为一次的代码提交
Git将打开另一个编辑器窗口,让你编辑合并提交的消息。编写一个描述性的提交消息,然后保存并关闭编辑器。表示从当前提交(HEAD)向后数3个提交。根据你的需求,可以将数字3替换为你想要合并的提交数量。最后,将合并后的分支推送到GitHub。由于这个过程会改变Git历史,所以需要使用。现在,你已经成功地将多个提交合并为一个提交并推送到GitHub仓库。命令进行交互式rebase。这时,Git将执行rebase操作,将多个提交合并为一个提交。要将多次提交合并为一次提交,可以使用Git的。
2023-11-07 15:34:30 1108
转载 京东、携程、B站、唯品会等大厂都在探索哪些大数据新技术应用?
为了和大家一起探索大数据与云原生强强联合的方式、挖掘由此激发的软件发展和技术进步,第八届DAMS中国数据智能管理峰会将于2022年12月02日在上海举办,携手京东、美团、字节、蚂蚁、网易、新浪、携程、唯品会、哔哩哔哩、vivo、工商银行、平安银行、光大银行等产研界技术领跑单位,带来大数据、数据资产管理、数据治理、数据库、运维、金融科技等领域的先进理念和最佳实践。
2022-10-08 17:57:31 1386
原创 ai个性化 国庆 头像 合成
体验地址 http://43.142.20.178/frontend/aihub/model_market/model_all。实现过程 将个人头像人体人脸识别,裁剪出肩膀以上部分,并将图片进行卡通化处理,最后与背景图片和文字合成,效果如下。
2022-10-01 09:56:26 1986
原创 cube开源一站式云原生机器学习平台--volcano 多机分布式计算
volcano主要为我们提供indexjob,也就是启动多个pod,并为每个pod提供index,role,以及其他role的访问地址。保留单机的代码,添加识别集群信息的代码(多少个worker,当前worker是第几个),添加分工(只处理归属于当前worker的任务),使用volcano这个模板,填上自己的worker数量,每个worker的镜像和启动命令就可以了。3、每个worker里面都判别一遍总共需要处理的数据,和当前worker需要处理的数据。开源的云原生一站式机器学习平台。...
2022-07-27 18:51:11 1541
原创 cube开源一站式云原生机器学习平台--ray 多机分布式计算
全栈工程师开发手册 (作者:栾鹏) 一站式云原生机器学习平台ray的基本原理和架构另一篇文章介绍了ray的基本原理和架构以及单击多进程使用ray的方法。https://blog.csdn.net/luanpeng825485697/article/details/88242020ray 多机分布式有时候单台机器多进程也无法快速完成代码运行,这个时候就需要多机器实现:1、单机器算力有限,核数不足2、有些运行有机器白名单显示,需要多台机器ip增加并发处理分布式计算集群为了方........
2022-05-30 23:28:50 1053 1
原创 cube开源一站式云原生机器学习平台--pytorch分布式训练
在单机单卡,或者单机多卡无法在有限时间内完成训练的情况下,我们就需要使用多机多卡分布式训练,在多机多卡分布式训练主要存在几个难点:1、分布式多机多卡集群2、pytorch多机多卡分布式训练代码3、多机多卡分布式训练gpu利用率问题分布式训练集群...
2022-05-19 20:22:29 1822
原创 开源 argo dashboard 多集群、多用户、拖拉拽、云原生调度
argo workflow官网 https://argoproj.github.io/argo-workflows/使用argo server存在几个问题:1、oa绑定到自己公司困难2、rbac权限是k8s的,而不是web框架中定义的,没法加入自己定义的项目组3、模板市场用户没法自行开发4、没有拖拉拽编排界面5、定时调度没有高级模板变量6、无法进行多k8s集群管理调度,不好划分多项目组资源池…argo dashboard开源地址:https://github.com/tencentmus
2022-05-10 15:39:43 1276
原创 airflow+k8s 多用户-分布式-跨集群-容器化调度
最开始采用airflow+k8s分布式容器化调度的方案主要是为了解决下面的问题:1、特有环境/特有脚本调度的调度问题2、大数据量任务或大算力任务节点故障和调度管理问题目前已经基于airflow+k8s改造成多用户-分布式-跨集群-容器化调度的平台。airflow官网:https://airflow.apache.org/docs/stable/airflow介绍airflow 是一个编排、调度和监控workflow的平台,由Airbnb开源,现在在Apache Software Foundati
2022-04-26 17:26:52 4111 2
原创 Prometheus简介(基于Kubernetes)
Prometheus简介(基于Kubernetes) 本文中不包含Alertmanager和远程存储的内容,下次有时间在补充!!!1、Prometheus简介Prometheus是一个开源的系统监控工具。根据配置的任务(job)以http/s周期性的收刮(scrape/pull)指定目标(target)上的指标(metric)。目标(target)可以以静态方式或者自动发现方...
2022-04-18 19:36:09 1343
原创 kubernetes存储详解
1. Volumes1.1. volume概述容器上的文件生命周期同容器的生命周期一致,即容器挂掉之后,容器将会以最初镜像中的文件系统内容启动,之前容器运行时产生的文件将会丢失。Pod的volume的生命周期同Pod的生命周期一致,当Pod被删除的时候,对应的volume才会被删除。即Pod中的容器重启时,之前的文件仍可以保存。容器中的进程看到的是由其 Docker 镜像和卷...
2022-04-18 19:35:29 1034
原创 使用k8s Ingress暴露gRPC服务
Kubernetes 暴露服务的方式目前只有三种:LoadBlancer Service、NodePort Service、Ingress;前两种估计都应该很熟悉,下面详细的了解下这个 IngressIngress由两部分组成:Ingress Controller 和 Ingress 服务。参考:https://www.jianshu.com/p/189fab1845c5...
2022-04-18 19:33:32 1571
原创 cube开源一站式云原生机器学习平台-推理服务的工程化加速
前言:cube是tme开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;在线开发,在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;任务流编排,在线拖拉拽;开放的模板框架,支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;定时调度,支持补录,忽略,重试,依赖,并发限制,定时任务算
2022-04-15 22:33:52 4195 1
原创 cube开源一站式云原生机器学习平台-加速分布式任务的运行效率
前言:cube是tme开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;在线开发,在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;任务流编排,在线拖拉拽;开放的模板框架,支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;定时调度,支持补录,忽略,重试,依赖,并发限制,定时任务算
2022-04-15 22:23:38 2649 5
原创 cube开源一站式云原生机器学习平台-架构(五)
前言:cube是开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;在线开发,在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;任务流编排,在线拖拉拽;开放的模板框架,支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;定时调度,支持补录,忽略,重试,依赖,并发限制,定时任务算力的智
2022-04-15 20:04:35 1488
原创 cube开源一站式云原生机器学习平台-架构(四)
前言:cube是开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;在线开发,在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;任务流编排,在线拖拉拽;开放的模板框架,支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;定时调度,支持补录,忽略,重试,依赖,并发限制,定时任务算力的智
2022-04-15 15:19:11 1935
原创 cube开源一站式云原生机器学习平台-架构(三)
前言:cube是开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;在线开发,在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;任务流编排,在线拖拉拽;开放的模板框架,支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;定时调度,支持补录,忽略,重试,依赖,并发限制,定时任务算力的智
2022-04-15 14:21:54 2039
原创 cube开源一站式云原生机器学习平台-架构(二)
前言:cube是开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;在线开发,在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;任务流编排,在线拖拉拽;开放的模板框架,支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;定时调度,支持补录,忽略,重试,依赖,并发限制,定时任务算力的智
2022-04-14 22:36:44 3790
原创 cube开源一站式云原生机器学习平台-架构(一)
介绍传统机器学习方法过程TME机器学习平台基于kubeflow做开源改造和产品化,先来看看技术层面kubeflow对机器学习的各个技术环节的附能先简单介绍一下各组件的功能。下面以大项目背景为例简介的,可以在下面的部署中了解更细致的组件内容。jupyter:jupyter 创建和管理多用户交互式Jupyter notebooks。istio:提供微服务的管理,服务网格,网关,里面包含更多的内容knative:serverless的框架,谷歌开源kfserving:模型的在线部署,支持版本控制及
2022-04-14 22:19:17 5138
原创 cube开源一站式云原生机器学习平台-加速模型工程化落地
前言:cube是tme开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;在线开发,在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;任务流编排,在线拖拉拽;开放的模板框架,支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;定时调度,支持补录,忽略,重试,依赖,并发限制,定时任务算
2022-04-14 21:54:24 1692
原创 A股数据采集、策略制定
一、 A股数据采集可获取:1. 近200个工作日;2. A股所有上市公司;3. 日K数据,比如开盘价、收盘价等数据;4. 基本面数据,比如ROE、毛利率、每股收益等数据。提取的数据以CSV或JSON或Excel形式呈现,示例如下:需要数据可微信扫码赞赏5元,并评论留下邮箱,会尽快发送数据到邮箱。二、 策略选股可输入基本面和一些技术面策略,获取符合策略的公司股票代码及名称。比如,选取最近一次财报中净利润>1亿 && 毛利率>25% &am
2022-04-09 17:12:59 927
原创 使用rancher自建k8s集群
建设前准备申请docker 仓库因为总需要存放镜像的仓库,内网可以自己部署harbor,在外网可以官方docker hub,或者阿里云、腾讯云将基础组件推送到内网仓库如果能连接外网的客户忽略。内网无法连接外网,需要我们提前拉好镜像。关于镜像的版本与rancher版本、k8s版本有关。比如我这里使用的是rancher v2.3.2,k8s使用的是v1.15.5不过依赖镜像是在安装r...
2022-04-08 20:04:52 2491 1
simplemaps_worldcities_basicv1.6.zip
2020-02-15
linux下捕获数据包libpcap所需安装包
2014-04-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人