自然语言处理中的语义到底是个什么概念？语义分析是要分析出什么结果？

国双商业市场 · 2018-10-3 22:04:49

引用《统计自然语言处理基础》中的两句话来解答这个问题：

语义可以分成两部分：研究单个词的语义（即词义）以及单个词的含义是怎么联合起来组成句子（或者更大的单位）的含义
语义研究的是：词语的含义、结构和说话的方式。

以上是书本中的定义，语义分析是一个非常宽泛的概念，任何对语言的理解都可以归纳为语义分析的范畴，笼统地谈语义是一个非常宽泛的概念。所以应该结合具体任务来看看什么是语义分析，以及语义分析的结果是什么。
从分析粒度上可以分成：词语级的语义分析，句子级的语义分析，以及篇章级别的语义分析。
词语级的语义分析
词语级别的语义分析的主要研究词语的含义，常见的任务有：词语消歧、词表示、同义词或上下位词的挖掘。

词语消歧：一词多义是许多语言的固有属性。以“苹果”为例，可以指水果，又可以指美国的科技公司。词语消歧的任务是判断文中出现的词语是属于哪种意思。
词表示：深度学习兴起后，掀起了一波对词表示的研究浪潮。词表示的任务是用一个k维的向量表示一个词，并且该向量中包含着词语的意思。比较有代表性的工作是Tomas
Mikolov的Word2Vec，该方法训练得到的词向量能够让语义相关的词具有相似的词向量，并且词向量间还具有逻辑推算能力。
同义词和上下位词的挖掘：语言的多样性导致了多词义一，例如房子的近义词有房屋、房产。语言的层次性导致了词语间具有上下位关系，像房产、存款、股票可归纳为财产。可以使用一些机器学习的方法挖掘词语间的这种关系。

句子级的语义分析
句子级别的任务就更多了，常见的任务有：语义角色标注、蕴含分析、句子表示、语义依存分析。

语义角色标注 (Semantic Role
Labeling, SRL) 是一种浅层的语义分析技术，标注句子中某些短语为给定谓词的论元 (语义角色) ，如施事、受事、时间和地点等。其能够对问答系统、信息抽取和机器翻译等应用产生推动作用。
文本蕴涵(Textual entailment)是指两个文本片段有指向关系。当认为一个文本片段真实时，可以推断出另一个文本片断的真实性。完成这样。完成这样的任务，也需要从语义角度出发进行解决。
句子表示：同词表示类似，句表示研究的是用一个k维的向量表示一句话的含义。近几年，常用句向量在文本检索、问答系统中计算文档间的相似度。
语义依存分析 (Semantic
Dependency Parsing, SDP)，分析句子各个语言单位之间的语义关联，并将语义关联以依存结构呈现。语义依存分析目标是跨越句子表层句法结构的束缚，直接获取深层的语义信息。比较有代表性的工作是哈工大刘挺老师实验室的LTP。

篇章级的语义分析
篇章级的语义分析是句子级研究的延伸，常见的任务是指代消解。

人称代词(Pronoun)

【李明】怕高妈妈一人呆在家里寂寞，【他】便将家里的电视搬了过来。

指示代词(Demonstrative)

【很多人都想创造一个美好的世界留给孩子】，【这】可以理解，但不完全正确

有定描述(Definite Description)

【贸易制裁】似乎成了【美国政府在对华关系中惯用的大棒】。然而，这【大棒】果真如美国政府所希望的那样灵验吗?
以上提到的仅是我工作学习中涉及到的一些任务。除此之外，语义分析还运用在许多别的NLP任务中。多多指教！
### 参考资料
https://www.sohu.com/a/139108410_753232
https://www.cnblogs.com/heshizhu/archive/2012/09/23/2699218.html
https://www.ltp-cloud.com/intro/
http://www.hankcs.com/nlp/cs224n-coreference-resolution.html
https://blog.csdn.net/qjc937044867/article/details/51694547
BY 陈华杰

匿名用户 · 2018-10-3 22:04:50

提示: 作者被禁止或删除内容自动屏蔽

范文 · 2018-10-3 22:04:51

从技术角度讲，我不确定你指的是否是词法和句法分析，这两个主要是为建立句法和语法树，为其他的算法做一些辅助。如果从应用的角度，我理解为信息发布者要表达的观点或者需求，如果能从技术上自动分析出这两点，那么将极具价值。比如在广告应用上，现在互联网广告主要是通过记录用户行为，来预测该用户点击该广告的概率，大都基于结构化行为数据。如果我们换个角度，如果能从用户发表的评论或者微博这些非结构数据中实时获得用户需求和需求的内容，将为整个广告的转化率带来非常大的提升。比如我发一条微博:哥现在好饿。。

徐晓轶 · 2018-10-3 22:04:52

我们讲语义就是是什么、意思、意义。但有个问题，我们讲的意义都来自我们的感觉，但计算机只有传感器，所以让计算机直接理解意义既没必要也没办法。既然计算机没办法从根本上理解每句话的意思，那语义分析其实就是从语句中抽取有效的知识，比如：他被人打了，他现在很痛。计算机就不需要理解什么是痛，但只要知道他痛就行了。也不需要理解什么是打，只需要知道他被人打了。
也就是说经过语义分析，计算机就获得了关于他的两条知识：
1、他被打了；
2、他现在很痛。
然后计算机可能会推出：他需要治疗。至于什么是治疗，计算机也是不需要理解的。那这个语义意义上的治疗、痛、打是由谁来理解呢？是人！在这里，计算机就是一个工具

Alex Wang · 2018-10-3 22:04:53

一点浅见.
把semantics和syntax放在一起比较好有个数. 首先这两者是没有明确的分界线的, (下文有例子从一种可以渗透到另一种). 不过一般来说, 更加静态的往往是syntax, 更加动态的(更上下文有关的)往往是semantics.
(在自然语言处理中, 就我的阅读来看, 语言学中的semantics和pragmatics似乎被放在一起都归到semantics的帽子下了. 不过这一点我很open, 欢迎行家批评指正.)

semantics更多展现了一段话在其语境下会如何evaluate. 我见过中文里很好的描述是, "语义更多表现在具体的语用". 比方说semantic parser领域CCG那波人做的是建模学习
f: 自然语言 ->
表达式(的小变种)
而
表达式是用来evaluate的.

但是两者并没有明确的分界线, 比方说如果考虑lexicalized syntax (Jurafsky的书上似乎是有的), 那么这样的syntax也会涵盖semantics.

个人的态度是...没必要分得特别细, 因为我们的目标往往比这些中间层的表示更重要. 但是反过来, decent的自然语言处理应该是能反过来在中间层上也有很好的表现的, 对, 我的意思就是一味end-to-end也不太好. 好的, 令人放心的, 自然语言处理, 理想的话就是要in all of its glory.

vincentzlt · 2018-10-3 22:04:54

想了想，目前的时间节点，分两块回答吧：
1。目前能做到的基本上是识别出名词类的东西，然后加上动词类的关系。或者按照词向量的角度，将分好的词放到向量空间里面，找词与词的关系。
2。终极目标：像人阅读一句话一样理解句子意思，包括语境，用词的区别等等。最好能无监督搞出来，并且用于翻译。

武岩 · 2018-10-3 22:04:56

很浅显的一个见解，就是要把整个句子要表达的意思给分析出来。

李杰 · 2018-10-3 22:04:57

对于这个问题，我觉得可以个提问来抛砖引玉
1、语言的主要作用是什么？

自然语言处理中的语义到底是个什么概念？语义分析是要分析出什么结果？

8 个回复