怎么使用NLTK库实现文本分词

在NLTK库中，可以使用自带的分词器来实现文本分词。以下是一个简单的示例代码：

import nltk
from nltk.tokenize import word_tokenize

# 定义文本
text = "Hello, how are you today?"

# 使用NLTK的word_tokenize函数进行分词
tokens = word_tokenize(text)

# 打印分词结果
print(tokens)

运行以上代码，将会输出以下结果：

['Hello', ',', 'how', 'are', 'you', 'today', '?']

在NLTK中还有其他不同类型的分词器，可以根据需要选择合适的分词器来实现文本分词。