接着,便是人工智能的自然语言处理,这也是对人类日常生活影响很大的一方面发展。
2018年,Google发布了论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》,文章中所提出的BERT模型,成功在高达11项的 NLP 任务中取得了state of the art 的结果,赢得自然语言处理学界的一片赞誉之声。
自2001年Bengio等人提出第一个神经语言模型起,NLP这项工作便在人工智能界开始了一项长足跋涉之旅。2013年的词嵌入、2014年的sequence-to-sequence 模型、2015年的注意力机制等等,一直到2018年10月推出的划时代意义的BERT模型,都表明NLP领域一直在不断地高速前进和蓬勃发展。