Qibin01-CSDN博客
Qibin01擅长android,Android新技术,从零实现诗词GPT大模型,等方面的知识,Qibin01关注tensorflow,机器学习,计算机视觉,图像处理,深度学习,神经网络,opencv领域.
专栏规划：本文稍后更新~~
本文重点介绍了多头自注意力机制以及代码实现，并且详细介绍了每一行代码的实现。
专栏规划:在上篇文章中我们介绍了Transformer架构模型，但是上篇文章我们着重讲解的FFN和的实现，有一个遗留的自注意力没有实现，在本文我们从浅入深介绍自注意力机制，下篇文章我们将代码实现自注意力机制，并且继承到上篇文章实现的中。
专栏规划:首先说明一下，跟其他文章不太一样，在本篇文章中不会对Transformer架构中的自注意力机制进行讲解，而是后面单独1~2篇文章详细讲解自注意力机制，我认为由浅入深的先了解Transformer整体架构和其中比较简单的部分，后面再详细讲解自注意力更容易理解Transformer架构。Transformer架构是Google在2017的著名的论文中提出，Transformer的整体架构可以用以下这张著名的架构图来说明从架构图可以看出，Transformer由左右两部分组成，左边的叫。
专栏规划:再开始编写GPT之前，我们得对GPT是怎么生成内容的有一个大致的了解。目前的神经网络我们大多都可以看成是一个黑盒，即我们把数据输送给网络后，网络给我我们输出，我们可以不用关心这个黑盒里到底是怎么实现的，但是我们的目标是从零写一个类GPT模型，所以这里我们先对GPT生成内容的过程做一个大致的介绍。
专栏规划:因为咱们本系列文章主要基于深度学习框架pytorch进行，所以在正式开始之前，现对pytorch框架进行一个简单的介绍，主要面对深度学习或者pytorch还不熟悉的朋友。
本文主要介绍咱们将要用到的数据集以及对该数据集进行预处理
本系列文章将从头编写一个类GPT的深度学习模型，并在诗词数据集上进行训练，从而可以进行诗词创作。
最近一个“最强变脸术”又火爆抖音啦，还不知道的朋友建议先打开抖音，搜索“最强变脸术”看个十来个视频再回来看这篇文章。视频看起来炫酷，其实本质就是图像的各种变换组合到一块的结果。那我们能不能也搞出一个来玩玩？我利用周末刷了两天抖音，不停的暂停、继续… 最终在尝试了仿射变换和透视变换两种方案后，搞出了一个“低配版最强变脸术”。首先先来看看最终实现的效果(忽略gif颜色问题)，也可以到http://ww...
突然想起来我还有个博客，好久不更了，就来个使用tensorflow识别红绿灯的项目吧。 引言 现在深度学习大行其道，目前最火热的深度学习框架就是tensorflow了，tensorflow大幅度的减小了我们使用深度学习的成本。今天我们就利用tensorflow来训练一个可以识别红绿灯的项目（训练数据来自MIT开源的数据集）。 首先先明确一下，要完成一个CNN项目的训练和使用，至少需要一下N个步骤：...
每次打开Atom准备写文章的时候, 都要纠结如何开头… 烦~~ 今天这篇文章我们来探讨一下闭包, 因为我在查阅很多资料时, 发现这些文章对于闭包的理解很多都是有出入的, 所以今天我们来探讨一下什么才是闭包. 当然, 这篇文章大多数是概念性的东西, 代码演示可能会涉及到几种不同的语言实现, 不过我会在代码开头标识出是哪种语言. 另外, 本文除了探讨闭包, 还可能会出现譬如柯里化等概念, 因为在这些概念
本文已授权微信公众号：鸿洋（hongyangAndroid）在微信公众号平台原创首发。 最近在研究Android模块化开发的一些东西, 网上大多数模块化的文章都是仅仅从一个demo的角度去看待的, 其实对于在真实项目中使用还有很多坑需要去踩, 今天就来聊聊我在模块化探索过程中遇到的众多坑中的一个-多渠道.传统多渠道说道多渠道, 其实大部分开发者都会在项目中使用到, 例如按照Google Play,
好久没写博客了, 为了治疗懒癌, 今天我们来学习一下Google的Progressive Web App, 什么是Progressive Web App(简称PWA)? 文档上有这么一句话: Progressive Web Apps 是结合了 web 和 原生应用中最好功能的一种体验 一个网页能做到媲美原生APP, 需要具备一下几个条件: 网页框架的缓存 数据的缓存 桌面启动
这是系列的第三篇文章了, 前面两篇分别介绍了多窗口模式和shortcut功能, 今天我们来点简单的, 说一说通知直接回复功能. 可能很多朋友还没有机会接触到android7的新特性, 所以在开始之前,先来介绍一下什么是通知直接回复, 拿短信应用来说吧, 在之前我们接收到一条新短信是
前几个月有幸参加了CSDN组织的MDCC移动开发者大会, 一天下来我最大的收获就是了解到了模块化开发, 回来之后我就一直在思考模块化的一些优点, 不说别的, 提供一种可插拔的开发方式就足够我们兴奋一会了~ 接下来自己开始尝试了一些小demo, 发现在模块化开发中最大的问题就是组件间通讯
曾经(或者现在)很多人说起Android和iOS都会拿Android的UI设计来开黑, “你看看人家iOS的设计, 再来看看Android的, 差距怎么就这么大呢?”, 对于这种说辞, 可以一句话来总结一下”他们还停留在4.X之前的时代”. 自从Android5.0推出Material Design设计规范后, Android在设计上早已甩那个万年不变的iOS好几十条街!以上纯属个人看法, 请勿开黑
就在前几天的一个晚上, Google召开了它的秋季发布会, 毫无悬念的宣布了它的最新手机品牌Pixel, 与此同时我的nexus设备也从亲儿子降级成为干儿子. 不过还好Google并没有对这一干一亲区别对待, 这不, 今天就推送了android7.1.1的更新, 随之而来的又是一大波新特性(又有我们开发者忙的了…), 这其中一个叫作Shortcuts的功能真的是太赞了, 利用这个功能以后我们就再也不
RecyclerView的时代自从google推出了RecyclerView这个控件, 铺天盖地的一顿叫好, 开发者们也都逐渐从ListView,GridView等控件上转移到了RecyclerView上, 那为什么RecyclerView这么受开发者的青睐呢? 一个主要的原因它的高灵活性, 我们可以自定义点击事件, 随意切换显示方式, 自定义item动画, 甚至连它的布局方式我们都可以自定义.吐吐
概述最近在搞自己的go web开发框架, 反正也没打算私藏, 所以现在先拿出url路由设计这块来写一篇博客. 做过web开发的都知道, 一个好的url路由可以让用户浏览器的地址栏总有规律可循, 可以让我们开发的网站更容易让搜索引擎收录, 可以让我们开发者更加方便的MVC. 我们在使用其他web开发框架的时候, url路由肯定也会作为框架的一个重点功能或者说是一个宣传”卖点”. 所以说, 一个web框
这篇文章开始, 我们来了解一下android 7的一些新特性, 话说今年android 7预览版本来的比以往都稍早一些, 这样对于我们开发者来说算是一个好消息, 我们可以有充足的时间来看新版android的一些特性, 让我们的应用更快的支持到android 7. 前段时间android 7发送了最终预览版本, 这
您可以订阅此RSS以获取更多信息