陈立凡的博客

优化算法

心得

第十三章优化算法 13.1 如何解决训练样本少的问题目前大部分的深度学习模型仍然需要海量的数据支持。例如 ImageNet 数据就拥有1400多万的图片。而现实生产环境中，数据集通常较小，只有几万甚至几百个样本。这时候，如何在这种情况下应用深度学习呢? （1）利用预训练模型进行迁移微调（fine-tuning），预训练模型通常在特征上拥有很好的语义表达。此时，只需将模型在小数据集上进...

Posted by lifanchen on September 10, 2019

超参数调整

心得

第十四章超参数调整 14.1 写在前面关于训练深度学习模型最难的事情之一是你要处理的参数的数量。无论是从网络本身的层宽（宽度）、层数（深度）、连接方式，还是损失函数的超参数设计和调试，亦或者是学习率、批样本数量、优化器参数等等。这些大量的参数都会有网络模型最终的有效容限直接或者间接的影响。面对如此众多的参数，如果我们要一一对其优化调整，所需的无论是时间、资源都是不切实际。结果证实一...

Posted by lifanchen on September 9, 2019

生物统计考试真题

代码详解

Preface 对生物统计学复习过程做一个笔记，主要以2015年至2018年考试真题为主，并没有写很多描述性的结论，考试的时候大家酌情添加吧。按考试的年份排序的，比如2018年是2017级考的试题，但是实在没找到2018年真题，根据数据和代码推的试题。2017年和2015年的题目都较为完整，2016年部分题目找不到。其实总体来看之前考试重复率很高，很多也在平时作业中。今年提高难度不知道...

Posted by lifanchen on June 19, 2019

word2vec

word2vec简介，pytorch实现

背景特征表达是很基础也很重要的一步，我们通常需要用一个向量去表示一个东西，比如文本中的词向量，知识图谱中的知识向量，以及Network Embedding等。在NLP中，传统算法通常使用one-hot形式表示一个词，存在以下问题： 1）维度爆炸，词表通常会非常大，导致词向量维度也会非常大。 2）损失语义信息，one hot随机给每个词语进行编号映射，无法表示词语之间的关系。所...

Posted by lifanchen on March 25, 2019

seq2seq-（6）

transformer,attention is all you need

6 - Attention is All You Need 背景减少顺序计算的目标构成了扩展神经GPU，ByteNet和ConvS2S的基础，所有这些都使用卷积神经网络作为基本构建块，并行计算所有输入和输出位置的隐藏表示。在这些模型中，关联来自两个任意输入或输出位置的信号所需的操作数量随着位置之间距离的增长而增长，对于ConvS2S呈线性增长，对于ByteNet呈对数增长。这使得学习远...

Posted by lifanchen on March 23, 2019

seq2seq-（5）

卷积神经网络代替循环神经网络

5 - Convolutional Sequence to Sequence Learning 数据预处理数据预处理与前面几个模型不同的是在声明field类时，将batch_first参数设置为True，则返回的batch维度是[batch_size,sequence_length]；若batch_first设置为False，则返回的batch维度是[sequence_length,b...

Posted by lifanchen on March 22, 2019

torchtext的使用

Torchtext 详细介绍如果你曾经做过NLP的深度学习项目你就会知道预处理是有多么的痛苦和乏味。在你训练你的模型之前你必须做以下几步：从磁盘读取数据对文本分词给每一个单词创建唯一整数标识把文本转化成整数序列按照你的深度学习框架要求的形式载入数据把所有序列p...

Posted by lifanchen on March 19, 2019

seq2seq-（4）

Packed Padded Sequences, Masking and Inference

4 - Packed Padded Sequences, Masking and Inference 数据预处理与模型准备 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 import torch import torch.nn as nn...

Posted by lifanchen on March 17, 2019

seq2seq-（3）

双向GRU和注意力机制

3 - Neural Machine Translation by Jointly Learning to Align and Translate 我们将根据论文[Neural Machine Translation by Jointly Learning to Align and Translate]实现模型（https://arxiv.org/abs/1409.0473）。这个模型达...

Posted by lifanchen on March 14, 2019

seq2seqGRU

seq2seq的改进

2 - Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation 我们将根据Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation...

Posted by lifanchen on March 12, 2019

ABOUT ME

KC Blog