算法码上来

原创 进字节一年了，分享一下当初刷的一百多篇算法题解

❤️点击上方，选择星标或置顶，每天给你送上干货❤️最近2022届的秋招拉开了帷幕，一转眼我加入字节跳动也有「14个月」了。想起去年上半年疫情在家，为了准备面试，不间断刷了整整「3个月」的L...

原创 熬了几个通宵，我写了份CUDA新手入门代码

在用PyTorch或者TensorFlow搭积木的时候，你是不是也遇到过下面这些情况：自带的算子及其组合都无法满足你超（bian）常（tai）的计算需求。自带的算子不可导，需要自己定义反向传播的梯度，例如argmax。自带的算子太慢了，严重影响了你发paper的速度。这时候你就会想，要是能自己实现一个速度又快、又能满足需求的算子就好了。你想到了CUDA，自己写一个CUDA算子不就完事了嘛！然后问题...

原创 一文看懂AutoML

论文地址：AutoML: A survey of the state-of-the-art[1]最近看了些NAS的论文，发现上面这篇综述写的很不错，非常全面，详细拜读了一下。有很多细节不...

原创 微信聊天记录深度分析，看看这一年你和谁最亲密

原文链接：https://zhuanlan.zhihu.com/p/1000843162019年就要过去了，想知道你平时用的最多的词是什么吗？想知道你一天中哪个时间段聊天最多吗？想知道这一年谁和你聊的最多吗？ 本文将会一步一步地教你如何导出微信聊天记录，并且对它们进行深入分析。导出微信聊天数据这一步是最为关键的，没有数据何谈分析？在之前的教程中，我已经教过了如何导出微信...

原创 超详细Hexo+Github博客搭建小白教程

本文不在本站更新，原文链接：https://godweiyang.com/2018/04/13/hexo-blog/有任何问题请联系我QQ：792321264版权声明：转载请带上原文链接，禁止抄袭和剽窃，已经发现某些博客（sunhwee等等）直接剽窃我的博客源代码，并且修改我的文章作为自己的使用，请立即删除。为了保护我的文章，防止打击我写作积极性，我还是决定不开源我的博客源代码了，按照教...

转载 50万元+奖金池！英特尔人工智能创新应用大赛正式开赛

↑ 点击蓝字关注算法码上来毋庸置疑，AI已成为推动全球科技进步的重要动力。AI的快速发展不仅重塑人们对机器智能的认识，也在改变商业、工业和日常生活的方方面面。作为全球半导体行业的领导者，英特尔以其先进的处理器技术和深度学习框架推动AI的发展，同时通过深入的行业洞察和持续的技术创新，成为连接各个行业的重要桥梁。在AI领域，英特尔深入参与构建多元化的AIGC生态系统，与开发者社区、独立软件供应商、...

原创 二零二三年终总结

❤️点击上方，选择星标或置顶，每天给你送上干货❤️作者 | godweiyang出品 | 公众号：算法码上来（ID：GodNLP）- BEGIN-大半年没怎么更新过文章了，今天是阳历生日，从2017年开始，我都会写一下年终总结，今年也不例外。从视频到文本去年年末的时候开始做AI绘画，一做就是三个多月，没想到还没等做完，业务先没了，不过还是学到了不少AI绘画相关知识。AI画的杨超越然后经过调整，又...

转载 综述 | 揭秘高效大型语言模型：技术、方法与应用展望

深度学习自然语言处理 原创作者：Xnhyacinth近年来，大型语言模型（LLMs）在自然语言处理领域取得了显著的进展，如GPT-series(GPT-3, GPT-4)、Google-series(Gemini, PaLM), Meta-series(LLAMA1&2), BLOOM, GLM等模型在各种任务中展现出惊人的能力。然而，随着模型规模的不断增大和参数数量的剧增，这些模型的成功...

原创 女神给我发语音表白了，怎么把她声音保存下来？

❤️点击上方，选择星标或置顶，每天给你送上干货❤️作者 | godweiyang出品 | 公众号：算法码上来（ID：GodNLP）- BEGIN-女神给我表白了，我想保存下来做铃声，应该怎么办？长按语音，会发现没有任何保存的选项，那么就只能放弃了吗？当然不！下面我就教你怎么保存成mp3格式文件。准备首先你需要一台手机，还需要一台windows系统的电脑。操作步骤第一步-手机端找到你想保存的语音，...

转载 yyds！疯传全网的AI资源，请低调使用！

要说今年IT领域最火的技术，还数AIGC！前段时间阿里旗下的开源项目，登上GitHub热榜！AI大热，如今ChatGPT的优异表现，必然会出现各种细分场景应用的工具软件，和大量岗位项目！据猎聘大数据研究院发布的《AIGC就业趋势大数据报告2023》报告显示：2023一季度AIGC人才需求是三年前同期的5.6倍，近一年AIGC新发职位同比增长超43%！Google、百度、腾讯等等巨头互联网公司，无不...

转载 字节跳动 2024 校园招聘正式启动！

点击“阅读原文”，一键投递简历！内推码： A7FSJMK内推链接：https://job.toutiao.com/s/iJAh4fb3扫码投递：加我微信咨询：

原创 速度飙升200%！Flash Attention 2一统江湖，注意力计算不再是问题！

❤️点击上方，选择星标或置顶，每天给你送上干货❤️作者 | godweiyang出品 | 公众号：算法码上来（ID：GodNLP）- BEGIN-attention是Transformer中最重要的一个结构，但是随着序列长度的增加，计算复杂度以增长，显存和速度都会吃不消。因此很多attention加速算法被提了出来，例如flash attention、xformers等等。就在7.17日，fla...

原创 从多线程到多进程：如何让你的小电影下载飞快？

❤️点击上方，选择星标或置顶，每天给你送上干货❤️作者 | godweiyang出品 | 公众号：算法码上来（ID：GodNLP）- BEGIN-你有没有遇到过这样的问题：在网络上找到很多部你迫不及待想看的小电影，却发现下载速度慢得令人抓狂？那么，你可能需要知道一些关于CPU多线程和多进程的知识，让我们一起揭开CPU的神秘面纱，看看它是如何让你的小电影下载飞快的吧！基本概念首先回顾两个操作系统课...

原创 探秘火山之巅：我在字节跳动的三年奇妙旅程

❤️点击上方，选择星标或置顶，每天给你送上干货❤️作者 | godweiyang出品 | 公众号：算法码上来（ID：GodNLP）- BEGIN-本文由ChatGPT润色，朱自清文笔似乎已有半载的光阴，我未曾触笔述事。此半年来，工作路向浑然改变，乃至整个团队亦经历了沧海桑田的变迁。说我忙，其实也未必至于忙，但压力如山，犹如涛涛江水，使我心无余力来挥洒文墨。简单的说，现时，我已迈离了火山翻译的工作...

原创 2024届秋招，字节跳动提前批开启，错过就要等一年！

❤️点击上方，选择星标或置顶，每天给你送上干货❤️作者 | godweiyang出品 | 公众号：算法码上来（ID：GodNLP）- BEGIN-这两年就业形势越来越严峻了，各家公司招聘的岗位数也大不如从前，不过今年字节还是给出了不少不错的岗位的。这两天研发提前批已经开始了，不需要笔试，可以抓紧机会试试，多一次尝试机会，不要白不要。网申日期投递时间：7.11 - 8.3面试时间：7月中旬开始of...

转载 体验AI写作，白嫖AirPods

把一段平平无奇的英语，用火山写作一键润色后......打开新世界！用词和表达的高级感瞬间拉满！想get同款英语提优效果吗？快来体验火山写作新功能——指令式修改！现已支持全文润色的智能写作服务，无论你是求职者、大学生、科研人、留学生，还是自媒体博主，无论你需要修改简历、润色文书、扩写作业，还是优化广告文案，火山写作全面覆盖你的英语写作场景！振臂高呼！指挥AI写作我休息，快速拥有英语生产力，和歪果仁达...

原创 兔年快乐！20000个红包封面免费送！

❤️点击上方，选择星标或置顶，每天给你送上干货❤️作者 | godweiyang出品 | 公众号：算法码上来（ID：GodNLP）- BEGIN-兔年大吉2023年到了，大家兔年大吉。过去一年写的原创少了点，但官方送的红包封面数量却是前年的两倍，整整20000个，但从去年春节领取情况来看，也就只能领取3000多个，所以再多也没啥意义了。领取方式直接扫码领取，欢迎扩散：或者微信点击链接：https...

原创 三年前写的文章，阅读量暴涨了6.8万。。。

❤️点击上方，选择星标或置顶，每天给你送上干货❤️作者 | godweiyang出品 | 公众号：算法码上来（ID：GodNLP）- BEGIN-上周突然发现公众号后台很多人私信我，我感到很奇怪。打开一看，把我震惊到了，一篇3年前写的文章，当时才200多阅读量吧，现在竟然6.8万了。。。而我的粉丝也才一万啊。文章链接在这里，是关于如何用小米手机导出微信聊天记录并进行分析的：微信聊天记录深度分析，...

原创 只需三分钟，让大家都能体验到AI写文章的乐趣！

❤️点击上方，选择星标或置顶，每天给你送上干货❤️作者 | godweiyang出品 | 公众号：算法码上来（ID：GodNLP）- BEGIN-之前写过一个教程，教大家如何自己训练出一个文本生成的模型，然后用LightSeq来加速推理：用了这个技术，我让模型训练和推理快了好几倍这篇文章是我用AI生成出来的但是，训练好模型之后，别人如果没有显卡的话，就没法体验到快乐了呀！有一个办法，那就是把模型...

原创 鹭岛游记

❤️点击上方，选择星标或置顶，每天给你送上干货❤️作者 | godweiyang出品 | 公众号：算法码上来（ID：GodNLP）- BEGIN-中秋和室友去厦门溜达了三天，佛系旅游，放松心情。而除去路上时间，真正玩的时间其实只有一天半。第一天几乎全在高铁上度过了，全程给我的最大感受就是，福建的隧道里信号是真差，一条消息可能要等几十分钟才能发出去。到了后逛了逛中山路步行街，晚上去吃了海鲜大排档，...

转载 秋招迟迟没消息？免笔试直通网易游戏的offer在这里！

网易CliCli游戏开发扶持计划6周做出你的第一款游戏不会编程也能轻松开发爆款游戏关于我们CliCli是由网易核心技术团队历经数年，自主研发的一款游戏编辑器。如果你是 # 编程小白，想入门接触游戏开发 # 在职开发，想转型进大厂做游戏开发 # 游戏发烧友，想了解游戏制作策划思路网易特别推出<CliCli——6周做出你的第一款游戏>专享补贴课程。课程原价￥3399...

原创 用了这个技术，我让模型训练和推理快了好几倍

❤️点击上方，选择星标或置顶，每天给你送上干货❤️作者 | godweiyang出品 | 公众号：算法码上来（ID：GodNLP）- BEGIN-什么技术呢？就是量化，别激动，不是量化交易，这里是指模型精度上的int8量化。Transformer系列模型都在用吧？Hugging Face都在用吧？Fairseq都在用吧？那你们训练和推理的时候没有觉得很慢吗？之前教过你们怎么用LightSeq来加...

转载 小红书2023届校园招聘正式启动！

原创 秋招问题汇总（实时更新）

❤️点击上方，选择星标或置顶，每天给你送上干货❤️作者 | godweiyang出品 | 公众号：算法码上来（ID：GodNLP）- BEGIN-最近正值秋招季，很多同学想投字节。我这里汇总了最近碰到的各种问题，如果大家有新的问题，欢迎留言评论或者微信（godweiyang）私聊我，或者进内推群询问，群里有HR小姐姐。飞书文档会实时更新大家的最新问题，大家可以随时去查看：问题汇总组内直推和普通内...

转载 自然语言处理的前世、今生和未来

近两年，人工智能的应用越来越“卷”了，每隔一段时间就会出现一个让人大呼“respect”的技术。AI好像也更加懂人类，越来越接近“人的智能”。就好比今年高考期间被各大科技媒体反复拿来讲的AI高考的案例。如今的“AI做题家”不光能参加高考，还能挑战本科生甚至研究生。比如，来自OpenAI的Codex在麻省理工学院的高数课程题目中正确率达到了81.1%，说能比肩顶尖学府本科生...

转载 我终于逃离了互联网，却陷入了迷茫

大家好，我是卖萌酱。昨天跟一位成功逃离互联网的好姐妹小A约了个饭，这位姐妹的早期经历可以说是略带传奇色彩了，过程却比较崎岖，结局心情复杂，但却对普通人来说却很有启发意义。经过小A允许，卖萌酱将小A的故事整理下来，分享给大家。N多年前，小A本科毕业于北京某信息黄埔军校的计算机系，放弃保研，选择出国。随后小A去了美丽国的某CS强校攻读硕士学位，临近毕业时，她总感觉对美国生活和...

转载 豆瓣评分9.3的好书，文末给大家抽奖送几本！

有人说“程序员分为两类：看过《数学之美》的与没看过的。程序员职业生涯也可分为两个阶段：读了《数学之美》之前与之后。”也有人说“一部IT人非读不可，而非IT人也应该阅读的作品非《浪潮之巅》莫属。”这两本书都是在计算机界掀起阅读热的巨著，《数学之美》从获得数百万点击的系列博客到一本屡获大奖的畅销书，《浪潮之巅》从一上市就在业界获得巨大反响到印刷超60万套，被称为计算机史上的“...

转载 抖音算法2023届秋招快上车

Hei 同学 2023届秋招抖音推荐算法团队了解一下 作为全球领先的短视频平台，抖音系app的日活用户数突破7亿！Data-抖音团队负责抖音的算法/数据科学，直接为用户体验负责，涉及电商，直播，社交，投稿，消息，同城，生活服务，音乐，评论，内容理解&安全等场景。我们的工作内容包括大规模推荐算法的优化、复杂约束优化问题的解决、CV/NLP等多个学术领域的算法改...

原创 字节秋招提前批开始了，作为面试官，给大家一些实用建议

❤️点击上方，选择星标或置顶，每天给你送上干货❤️作者 | godweiyang出品 | 公众号：算法码上来（ID：GodNLP）- BEGIN-字节跳动2023届校招研发提前批开始啦！这里为大家整理了一些关键问题，文章最后还给大家提供了一些简历和面试建议~投递时间7.7 - 7.31，只能投递一次！岗位类型只有研发岗位！非研发岗位将在8月开启。提前批优势部分岗位只在提...

原创 历时一年，论文终于被国际顶会接收了

❤️点击上方，选择星标或置顶，每天给你送上干货❤️作者 | godweiyang出品 | 公众号：算法码上来（ID：GodNLP）- BEGIN-就在昨天，超算领域的国际顶会SC22放榜了，我们组的论文也被接收了，得分44332（4分制）：论文地址：https://arxiv.org/abs/2110.05722SC会议是什么？可能很多同学都没听过SC是什么会议，SC会...

转载 一些我们关于端到端语音翻译的思考和尝试

截止至2019年，世界上共有200多个国家和地区，人们使用的语言数量也高达7000多种，其中还不乏上千种濒危语言或者是不成文语言 (unwritten language)，语言不通往往是不同地区政治、经济、文化等交流的重要阻碍。幸运的是，随着近年来机器翻译技术的快速发展，尤其是自2017年 Transformer 模型提出以来，基于神经网络的机器翻译方法渐渐受到更多关注并...

转载 人在ACL2022，无人戴口罩我有些慌

文 | 小伟大家好，我是阿伟 (不是杰哥不要的阿伟)，NLP小萌新，好久不见！之前忙着赶ddl一直没时间写文，趁着这次去都柏林参加了人生第一次线下ACL会议的机会，把自己的一些体验分享给大家。22号早上到了都柏林发现基本没有人戴口罩，稍微震惊了一下（发个高糊图感受一下人挤人挤人）。不过我比较害怕感染，所以在外面一直戴着口罩。还好这次ACL官方要求大家在会场内戴口罩，缓解了...

转载 PyTorch 深度剖析：并行训练的 DP 和 DDP 分别在什么情况下使用及实例

↑ 点击蓝字关注极市平台作者丨科技猛兽编辑丨极市平台极市导读这篇文章从应用的角度出发，介绍 DP 和 DDP 分别在什么情况下使用，以及各自的使用方法。以及 DDP 的保存和加载模型的策略，和如何同时使用 DDP 和模型并行 (model parallel)。>>加入极市CV技术交流群，走在计算机视觉的最前沿目录1 DP 和 DDP 分别在什么情况下使用...

转载 绝了！高颜值妹子3年写了一本1200页的视觉与NLP炼丹手册！（限时公开下载）...

今天这篇文章不谈技术，给大家分享一些干货！首先来聊聊一个AI圈子里画风清奇的公众号夕小瑶的卖萌屋。公号的作者中不仅妹子居多，颜值能打，而且喜欢将学术研究和大厂业务上线中的收获与读者分享。卖萌屋的作者们就读或毕业于北大、中科院、北邮、蒙特利尔大学MILA、墨尔本大学等国内外的顶尖CS院校&实验室，在微软、百度、腾讯等大厂核心研究/业务团队从事搜索、推荐、NLP/...

转载 一举刷新 54 个中文 NLP 任务基准，ERNIE3.0加持下的EasyDL可能是市面上最好用的NLP开发平台...

近几年，随着 AI 技术的发展，NLP 技术已经陆续 “上岗” 至各类产业应用场景中，自动处理繁杂而重复性的工作，如新闻内容自动分类、智能客服自动回复、评论敏感词审核、用户评论情感分析等。一、为什么 NLP 已然成为企业降本增效利器？在金融、政务、法律、医疗等众多行业中，每天会产生大量文档信息需要处理。以文本信息处理为例：一个审核员一天最多审核 5000 条文本信息，且难...

原创 这波啊，是王心凌技术男孩

最近王姐特别火，勾起了无数80、90男孩的青春回忆。虽然已经过去14年了，但我仍记得小学毕业留言册上有个女生写的，最喜欢的电视剧是“微笑pasta”，最爱的男演员是张栋梁。正好之前写过几个有趣的小工具，这次拿来都试一下。分别是字符视频生成、图片拼接、歌词爬虫和B站弹幕爬虫，代码都开源在github了，下面有链接。字符视频生成效果演示：这就是最近爆火的王心凌浪姐视频啦，我用字符生成了一下，还是一样的...

原创 手推公式之“交叉熵”梯度

交叉熵（CrossEntropy）是常见的损失函数，本文详细推导一下它的梯度，面试大厂或者工程实践中都可能会用到。前向传播假设分类任务类别数是，隐层输出是维向量，标准的one-hot向量是，正确的类别是。那么交叉熵损失可以定义为：其中，，是平滑参数。Softmax函数大家都很熟悉了，具体形式为：。反向传播对的梯度要分两种情况：推导过程根据求导法则有：其中就是Softmax函数的梯度（这个推导比较简...

原创 手推公式之“层归一化”梯度

昨天推导了一下交叉熵的反向传播梯度，今天再来推导一下层归一化（LayerNorm），这是一种常见的归一化方法。前向传播假设待归一化的维向量为，均值和标准差分别是和，LayerNorm的参数是和，那么层归一化后的输出为：这里的极小量是为了防止标准差为0导致溢出。为了简单起见，我们不加上这一项，原公式也就变成了：反向传播假设损失函数对输出的梯度是，那么这里需要求三个梯度：、和。令，那么原公式就变成了：...

原创 “交叉熵”反向传播推导

交叉熵（CrossEntropy）是常见的损失函数，本文详细推导一下它的梯度，面试大厂或者工程实践中都可能会用到。前向传播假设分类任务类别数是，隐层输出是维向量，标准的one-hot向量是，正确的类别是。那么交叉熵损失可以定义为：其中，，是平滑参数。Softmax函数大家都很熟悉了，具体形式为：。反向传播对的梯度要分两种情况：推导过程根据求导法则有：其中就是Softmax函数的梯度（这个推导比较简...

转载 击败GPT3，刷新50个SOTA！谷歌全面统一NLP范式

文 | ZenMoore编 | 小轶写在前面一觉醒来，迷糊之中看到一条推特：瞬间清醒！Google 的 Yi Tay (and Mostafa) 团队提出了一个新的策略 Mixture-of-Denoisers, 统一了各大预训练范式。重新思考现在的预训练精调，我们有各种各样的预训练范式：decoder-only or encoder-decoder, span corr...