在Python中从另一个列表中排除一个列表中的项目的有效方法

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了在Python中从另一个列表中排除一个列表中的项目的有效方法，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1429字，纯文字阅读大概需要3分钟。

内容图文

我有一个包含8000个字符串(stop_words)的列表,以及一个包含各种长度的100,000个字符串的列表,这些字符串运行到??数百万个单词.我正在使用该函数来标记100,000个字符串,并从列表stop_words中排除非字母数字标记和标记.

    def tokenizer(text):

       return [stemmer.stem(tok.lower()) for tok in nltk.word_tokenize(text)/ 
       if tok.isalpha() and tok.lower() not in stop_words]

我用600个字符串测试了这段代码,需要60秒.如果我删除条件以排除停用词,则在相同的600个字符串上需要1秒钟

    def tokenizer(text):

       return [stemmer.stem(tok.lower()) for tok in nltk.word_tokenize(text)/ 
       if tok.isalpha()]

我希望有一种更有效的方法可以从另一个列表中排除一个列表中的项目.

我很感激任何帮助或建议

谢谢

解决方法:

>使stop_words成为一组,因为checking membership in a set是O(1),
检查列表中的成员资格是O(N).
>对文本(一次)调用lower()而不是每次调用lower()两次
令牌.

stop_words = set(stop_words)
def tokenizer(text):
   return [stemmer.stem(tok) for tok in nltk.word_tokenize(text.lower())
           if tok.isalpha() and tok not in stop_words]

由于访问局部变量比查找限定名称更快,因此通过使nltk.word_tokenize和stemmer.stem local更快,您也可以获得一些速度：

stop_words = set(stop_words)
def tokenizer(text, stem = stemmer.stem, tokenize = nltk.word_tokenize):
   return [stem(tok) for tok in tokenize(text.lower())
           if tok.isalpha() and tok not in stop_words]

stem和tokenize的默认值在定义tokenizer函数时设置一次.在tokenizer内部,stem和tokenize是局部变量.通常这种微优化并不重要,但是因为你正在调用tokenizer
100K次,它可能会帮助你一点点.

内容总结

以上是互联网集市为您收集整理的在Python中从另一个列表中排除一个列表中的项目的有效方法全部内容，希望文章能够帮你解决在Python中从另一个列表中排除一个列表中的项目的有效方法所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端