首页 / PYTHON / Python标记化

Python标记化

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Python标记化，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1618字，纯文字阅读大概需要3分钟。

内容图文

我是Python新手,并且有Tokenization任务
输入是带有句子的.txt文件
输出的是带有令牌的.txt文件,当我说令牌时,我的意思是：简单的单词“,”,“！” ,’？’ ,’.’ ”’

我有这个功能：
输入：
Elemnt是带有或不带有标点符号的单词,可以是诸如：嗨或说：或说“
StrForCheck：是我想与单词分开的标点数组
TokenFile：是我的输出文件

def CheckIfSEmanExist(Elemnt,StrForCheck,TokenFile)：

FirstOrLastIsSeman = 0

for seman in StrForCheck:
    WordSplitOnSeman = Elemnt.split(seman)
    if len(WordSplitOnSeman) > 1:
        if Elemnt[len(Elemnt)-1] == seman:
            FirstOrLastIsSeman = len(Elemnt)-1
        elif Elemnt[0] == seman:
            FirstOrLastIsSeman = 1

if FirstOrLastIsSeman == 1:
    TokenFile.write(Elemnt[0])
    TokenFile.write('\n')
    TokenFile.write(Elemnt[1:-1])
    TokenFile.write('\n')

elif FirstOrLastIsSeman == len(Elemnt)-1:
    TokenFile.write(Elemnt[0:-1])
    TokenFile.write('\n')
    TokenFile.write(Elemnt[len(Elemnt)-1])
    TokenFile.write('\n')

elif FirstOrLastIsSeman == 0:
    TokenFile.write(Elemnt)
    TokenFile.write('\n')

代码遍历标点数组,如果他找到一个标点,我检查标点是单词中的第一个字母还是最后一个字母,然后在输出文件中将单词和标点分别写在不同的行中

但是我的问题是,除了那些词外,它在整个文本上都很棒：
工作”,“创建”,“公共”,“警察”

解决方法:

注意

for l in open('some_file.txt', 'r'):
    ...

遍历每行,因此您只需要考虑在一行中要做什么.

考虑以下功能：

def tokenizer(l):
    prev_i = 0
    for (i, c) in enumerate(l):
        if c in ',.?!- ':
            if prev_i != i:
                yield l[prev_i: i]
            yield c
            prev_i = i + 1
    if prev_i != 0:
        yield l[prev_i: ]

它随着过程“吐出”令牌.您可以像这样使用它：

l = "hello, hello, what's all this shouting? We'll have no trouble here"
for tok in tokenizer(l):
    print tok

hello
,

hello
,

what's

all

this

shouting
?

We'll

have

no

trouble

here

内容总结

以上是互联网集市为您收集整理的Python标记化全部内容，希望文章能够帮你解决Python标记化所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/690452.html

来源：【匿名】