操作平台：Fedora 22, Python 3.4 (偶尔使用2.7查看差异)

正式接触NLTK(Natural Language Toolkit)工具包。

重点学习NLP和NLTK的使用，不过分纠结于Python语言本身。

1. 安装与下载

在官网上安装NLTK后，开始下载所需的包。

启动Python解释器，执行如下两行命令：

>>>import nltk

>>>nltk.download()

Python 3.4下在字符界面提示下载或更新相应的包，Python 2.7下是弹出GUI提示相应的操作。

可用from nltk.book import *验证是否下载成功。

（已下载全部语料，放在/home/annefu/nltk_data下）

2. 搜索文本

示例文本text1~text9所属的类为nltk.text.Text（该类是否继承了list有待查证）。

以下为该类中的一些方法（这些方法对指定词不区分大小写）：

（1）concordance(word, width=79, lines=25)

显示指定单词在文本中的出现情况，同时还显示了该单词所在的上下文。

（2）similar(word, num=20)

找到与指定词出现在相同上下文中的其他词，优先列出最相似的那些词。

（3）common_contexts([word1, word2, …])

显示共用这些词汇的上下文。

（4）dispersion_plot([word1, word2, …])

构造文本的词汇分布图。（未成功导入Numpy和Matplotlib，该方法的验证先搁置）

（5）generate()：新版本的NLTK已无此方法。

3. 文本词汇的统计

（1）BIF len(text)

可用来获取文本的标识符个数（标识符：指代单词或标点符号）。

（3）BIF sorted(set(text))

去掉文本中重复的元素后，将这些元素排序（标点符号->大写单词->小写单词）。

词类型：一个词在一个文本中独一无二的出现或拼写形式。

（3）计算文本词汇相似度

len(text) / len(set(text))    

（4）某个词在文本中占据的百分比

100* text.count(word) / len(text)

4. 频率分布

>>>from nltk.probability import *

（1）获得每个词在文本中出现的频率

fdist = FreqDist(text)

v = fdist.keys()     #v的类型为，返回的结果是无序的

list(v)[:50]     #将v转化为列表后再显示前50项

sorted(fdist.items(), key=lambda fdist: fdist[1], reverse=True)     \”\”\”设置以字典值排序，使频率从高到低显示\”\”\”

fdist.hapaxes()     #显示低频词

5. 词语搭配和双连词

（1）获取双连词

list(bigrams([word1, word2, ….]))

如对于[\’I\’, \’love\’, \’NLP\’]显示结果是[(\’I\’, \’love\’), (\’love\’, \’NLP\’)]

（2）获取搭配

搭配：不经常在一起出现的词序列。特点是其中的词不能被类似的词置换。

text.collocations()    

6. 一些语言理解技术

（1）词意消歧(Word Sense Disambiguation)

针对有不同词意的词，要分析出特定上下文中的词被赋予的是哪个意思。

（2）指代消解(Anaphora Resolution)

确定代词或名词短语指代的对象。

（3）语义角色标注(Semantic Role Labeling)

确定名词短语如何与动词相关联（如代理，受事，工具，etc.）

（4）自动问答(Question Answering)

NLTK提供了一个原始的对话系统：运行nltk.chat.chatbots()

（5）机器翻译(Machine Translation)

文本对齐(text alignment)：根据两种语言的文档或双语词典，自动配对组成句子。

*无法使用nltk中的babelizer

（6）文本含义识别(Recognizing Textual Entailment)