社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Python

python文本处理:从单个单词中识别名词

lhk • 7 年前 • 3104 次点击  

我有一张单子,只想保留名词。

这不是 Extracting all Nouns from a text file using nltk

在链接的问题中处理一段文本。接受的答案提出了一个标签。我知道标记文本的不同选项(nlkt、textblob、spacy),但我不能使用它们,因为我的数据不包含句子。我只有一个单字清单:

would
research
part
technologies
size
articles
analyzes
line

nltk 有大量的语料库。我发现 verbnet 有一个动词的综合列表。但到目前为止,我还没有看到任何类似的名词。有没有字典之类的东西,如果一个词是名词、动词、形容词等,我可以在字典里查找?

这也许可以通过一些在线服务来实现。例如,Microsoft Translate在其响应中返回大量信息: https://docs.microsoft.com/en-us/azure/cognitive-services/translator/reference/v3-0-dictionary-lookup?tabs=curl 但这是有偿服务。我想要一个python包。

关于单词的模糊性:理想情况下,我希望有一本字典能告诉我单词的所有功能。”例如“鱼”既是名词又是动词。“吃”只是动词,“狗”只是名词。我知道这不是一门精确的科学。一个可行的解决方案只是删除所有不能成为名词的单词。

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/40907
文章 [ 4 ]  |  最新文章 7 年前
Kiran Subbaraman
Reply   •   1 楼
Kiran Subbaraman    8 年前

试用 wordnet ?

from nltk.corpus import wordnet
words = ["would","research","part","technologies","size","articles","analyzes","line"]
for w in words:
    syns = wordnet.synsets(w)
    print(w, syns[0].lexname().split('.')[0]) if syns else (w, None)

你应该看到:

('would', None)
('research', u'noun')
('part', u'noun')
('technologies', u'noun')
('size', u'noun')
('articles', u'noun')
('analyzes', u'verb')
('line', u'noun')
Tiago Duque
Reply   •   2 楼
Tiago Duque    8 年前

正如@triplee和@davidbatista所指出的,要弄清一个词是名词还是动词本身是非常复杂的,因为在大多数语言中,一个词的语法取决于上下文。

词语只是意义的表示。因此,我想补充一个可能符合你意思的命题,而不是试图找出一个词是名词还是动词,而是试图找出一个概念是宾语还是动作,这仍然存在歧义的问题,因为一个概念既可以承载动作,也可以承载宾语。RM。

但是,您可以坚持只具有对象属性(如typeof、hasaspart、ispartof等)的概念,或同时具有对象属性和操作属性(如子事件、效果、需要)的概念。

概念搜索的一个好工具是 Conceptnet ,它提供了一个webapi,可以按关键字搜索网络中的概念(它基于wikipedia和许多其他网站,对于英语语言来说非常完整),是开放的,还指向其他语言中的同义词(它们被标记为它们的公共pos-您可以平均同义词的pos试着找出这个词是宾语[类名词]还是动作[类动词].

tripleee
Reply   •   3 楼
tripleee    8 年前

你可以在单个片段上运行pos标记器,它的精确度会更低,但我想这已经是给定的了。

理想情况下,找到一个pos标记符,它可以显示所有可能的读数,以便以后在处理流程中消除语法歧义。这基本上就是从字典中挑选出所有可能的阅读材料(也许是有可能的),然后让你从中获取。

David Batista
Reply   •   4 楼
David Batista    8 年前

即使你使用字典,你也必须处理歧义,例如,同一个单词根据上下文可以是 noun 或A verb ,接受这个词 research

政府将投资于 研究 .

目标是 研究 词性标注的新技术。

大多数字典都有一个以上的定义 研究 例如:

research as a noun

research as a verb

这些词是从哪里来的,你能在它们出现的上下文中用pos标记它们吗?