学习如何学习

学习，是一个看来熟悉，仔细想来，理解和掌握还不够深入的词。

从教育心理学角度，学习是指获取知识和经验的过程。
从行为主义角度，学习是刺激与行为反应建立联结的过程。
从认知心理学角度，学习是个体在其环境中对事物间关系认知的过程。
在宏观的系统科学角度，学习是系统与环境交互产生的变化；
在微观的神经生物学角度，学习是神经网络中节点间连接的神经可塑性改变。

而在如今热火朝天的人工智能领域，电脑通过机器学习模拟人脑的学习过程，从而完成相应的认知任务。根据要处理的问题类型，机器学习可以分为判断、预测、分类、聚类等几大问题领域；根据学习的样本是否需要标注预测量的真实值，机器学习可分为监督学习和无监督学习两大类；按照其模拟的人脑认知功能，机器学习可分为计算机视觉和图像识别（图像/视频信息）、自然语言处理和语音识别（声波/语音/文字语言信息）、机器人操作行为几个大类；而根据其算法的核心原理，则可分为深度学习、强化学习、迁移学习、元学习等。

有趣的是，这些算法的核心原理，又来源于人本身认知过程中的学习机制。

比如深读学习的基础人工神经网络，就是模仿人脑中神经元与神经元间联结形成区域神经网络而来。在图像处理领域，人工神经网络模仿了人脑的视觉皮层对视觉信息的层次处理模式，即初级视觉皮层处理视神经投射过来的原始视觉图像信息，次级视觉皮层接收初级视觉皮层传递过来的信息，每一层提取不同的信息进行加工，最终整合形成视知觉。使用激活函数作为神经元，进而构建层层传递处理信息的人工神经网络，并根据网络的层次结构方向不同，分为卷积神经网络、循环神经网络等多种人工神经网络算法结构。而深度学习，其实就是基于大规模并行数据分析构建的多层级人工神经网络。

强化学习，从宏观行为学角度，模仿的是条件反射学习现象；从微观神经生物学角度，模仿的是人脑神经环路中的奖励环路，而从系统科学角度，来源于“有效的系统控制基于及时有力的反馈”，可见，殊途同归。

在读论文时，我觉得很有意思的是，function这个词，在神经科学里指的是功能，而在计算机领域指的是函数。其实有时候，功能，确实也可理解为函数。函数有输入有输出，呼吸功能同样有输入氧气，有输出二氧化碳。函数有内在的结构和算法，呼吸功能同样有其对应的肺泡支气管等结构，有血-气交换等生理机制的算法。

同理，在强化学习中，其马尔科夫决策过程包含一个环境状态集S，系统行为集合A，奖励函数R和状态转移函数P。而本身，在我们日常的学习过程中，也存在各种强化学习的形式。比如别人是环境S，对别人说甜言蜜语是系统行为A，说了甜言蜜语后别人的笑脸是奖励函数R，此时我们接收到奖励，感觉心情更好，从而感觉环境（别人）对我们更友好，是状态转移函数P。同理，也可把A换成考试考高分，R换成家长的表扬。

更有意思的是，基于动机的强化学习，引入了动机信号，从而实现更具自适应和多任务学习潜能的算法；而在心理学中，我们经常说的是，觉知你内在的需求，将你内心的动机“我要”作为你学习的动力，基于好奇心、兴趣等内在的动力，比出于考试的排名、别人的表扬而学习，能学得更好，走得更远，也更能够承受压力。

再比如迁移学习，是将在其他任务中训练好的模型迁移到新的学习任务。而我们在知识学习的过程，也通常会通过调用旧的知识来理解新的知识，就比如我在学习机器学习这块的知识，就大量用了我在医学学习和脑科学研究中获得的系统生理功能机制、反馈调节、神经解剖、神经电生理、认知心理等方面涉及人脑智能的知识，来理解人工智能。

以及元学习。因为这周上课刚给我的学生们讲了，学习如何学习。我告诉我的学生，我们在学习过程中，比如做微积分的题，或者是做英文阅读理解，又或者是完成设计作业等学习任务时，不仅要关注我们的学习内容，还要关注我们的学习过程。看下自己在学习过程中，更喜欢处理什么样的信息，是对数字更敏感，还是对文字更亲切。反思下我们学习的动机，是单纯因为有用，还是能从中感受到学习的乐趣，感受到学到知识的满足感。回头看下我们学习的过程，能集中注意力多长时间，怎么安排整个学习计划会更高效，我们是怎么将一个学习项目分解为多个子任务的。对这些学习过程的反思，就是磨刀不误砍柴工，优化和改进学习过程，不仅让我们学习更高效，也让我们更喜欢学习，得到更多的成长。

而在元学习中，其算法关注的是如何根据反馈优化学习过程参数。在这一问题中，运用梯度下降法对学习过程参数进行迭代，成为了与模型无关的元学习（Model-Agnostic Meta-learning）的算法核心。而我们在课堂教学中，教育学生学习如何学习的部分，就特别强调了分解学习任务的重要性，也就是说，给自己的学习难度设定一个合适的梯度。又是一个同词异意，哈哈！在元学习中，梯度是微积分中计算函数曲线方向变化率的表示向量；而在认知心理学中，梯度指的是学习目标间的难度距离。更进一步说，正如维果茨基的“最近发展区”理论，选择在合适梯度范围的知识内容作为学习目标，可以用更少的学习成本取得更好的学习效果。

该图展示OpenAI 提出的 meta-learning shared hierarchies（共享层次的元学习，MLSH），能学到层次化的策略，其中的主策略可以在一系列子策略中进行切换。

人工智能与人脑智能的研究每天都有新的发展，人工智能在各个行业领域大显身手的同时，其对人脑智能的抽象表征，极大地简化了人脑认知生理的抽象描述。相信不久的将来，计算机建模能够模拟更高级的人脑功能，对精神症状进行更精细的计算机模拟，从而帮助人类更好的理解自身，并进一步促进心理治疗和精神疾病康复的发展。

参考文献主要是史忠植的《心智计算》，Michael Negnevitsky的《人工智能智能系统指南》，汤晓鸥和陈玉琨主编的《人工智能基础（高中版）》以及Chelsea Finn2018和2017关于MAML的论文。高中那个教程对于算法小白来说真的非常友好，《心智计算》对于有心理学背景的人来说，比从算法逻辑推导的《统计机器学习》真的友好很多。图片自己做的。如有错漏，欢迎指正。

（本文作者为医学博士，脑科学研究者，感兴趣者欢迎加微信qiahaohexin与作者交流）

相关阅读
强化学习理解的三重境界
模拟人类思维的机器学习算法

查看作者更多好文，关注本文来自作者的个人公众号：Dr.馨
下面是作者的俩篇文
关系
别听牛人吹苦逼，好好学习人家怎么解决问题