1 简介

这篇文章中我们将对迁移学习(Transfer Learning, TL)，元学习(Meta Learning, ML)，知识蒸馏(Knowledge Distillation, KD)，零样本学习(Zero-Shot Learning, ZS)以及模型微调(Finetune, FT)等几个研究方向进行比较。

1 Meta-Learning 概述

  1.1 Meta-Learning 定义

Meta-Learning（元学习）也称 Learning to learn（学会学习），其概念并不复杂。《Mata-SGD》一文中，对元学习作出了这样的界定：

Meta-learning learns from many related tasks a meta-learner that can learn a new task more accurately and faster with fewer examples.
“ 元学习是指：结合大量相关任务，训练得到一个元学习器，该学习器可以借助少量样本迅速而准确地适应新任务。

这段话从元学习器的角度定义了 Meta-Learning，除此之外，还有其他的视角，比如从模型参数的角度出发（忘记具体是哪一篇论文），元学习的目的是为当前模型寻找最优的初始化参数，在其基础上，模型只需要参照极少量样本，做数轮参数更新，就可以在新任务上获得较好的效果。

Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub.