Life Long Learning in real-world applications
Different Tasks
- 先学Task 1，再学Task 2时，模型会忘记Task 1（依序学习：没办法记住old task）
Example：
- 模型学习Task 5后，性能暴增；学习Task 5之后的Task，开始遗忘Task 5学习到的知识
- 机器同时学习20个Tasks时，各个Task的性能 （明明可以精通各个任务，但是依序学习时会忘记旧任务）→ 灾难性遗忘 Catastrophic Forgetting
解决灾难性遗忘：
(1) Multi-task training：
要训练Task N，机器需要学习先前Task 1~N-1的所有知识