使用NLTK库可以很容易地分割文本。下面是一种常见的方法:
- 首先,使用NLTK库中的sent_tokenize函数将文本分割成句子。例如:
import nltk from nltk.tokenize import sent_tokenize text = "Hello, my name is Alice. How are you doing today?" sentences = sent_tokenize(text) for sentence in sentences: print(sentence)
- 然后,可以使用NLTK库中的word_tokenize函数将每个句子分割成单词。例如:
from nltk.tokenize import word_tokenize for sentence in sentences: words = word_tokenize(sentence) for word in words: print(word)
通过这种方法,可以轻松地分割文本并对其进行进一步处理。NLTK库还提供了其他分割文本的方法,具体可以参考NLTK库的官方文档。