要从文本中获取特征，需要先拆分文本。具体如何做呢？这里的特征是来自文本的词条（token），一个词条是字符的任意组合。可以把词条想象为单词，也可以使用非单词词条，如URL、IP地址或者任意其他字符串。然后将每一个文本片段表示为一个词条向量，其中值为1表示词条出现在文档中，0表示词条未出现。
以在线社区的留言板为例。为了不影响社区的发展，我们要屏蔽侮辱性的言论，所以要构建一个快速过滤器，如果某条留言使用了负面或者侮辱性的语言，那么就将该留言标识为内容不当。过滤这类内容是一个很常见的需求。对此问题建立两个类别：侮辱类和非侮辱类，使用1和0分别表示。
接下来首先给出将文本转换为数字向量的过程，然后介绍如何基于这些向量来计算条件概率，并在此基础上构建分类器，最后还要介绍一些利用Python实现朴素贝叶斯过程中需要考虑的问题。
4.5.1 准备数据：从文本中构建词向量
我们将把文本看成单词向量或者词条向量，也就是说将句子转换为向量。考虑出现在所有文档中的所有单词，再决定将哪些词纳入词汇表或者说所要的词汇集合，然后必须要将每一篇文档转换为词汇表上的向量。接下来我们正式开始。打开文本编辑器，创建一个叫bayes.py的新文件，然后将下面的程序清单添加到文件中。
程序清单4-1 词表到向量的转换函数
def loadDataSet: postingList=[[/'my/', /'dog/', /'has/', /'flea/', /'problems/', /'help/', /'please/'], [/'maybe/', /'not/', /'take/', /'him/', /'to/', /'dog/', /'park/', /'stupid/'], [/'my/', /'dalmation/', /'is/', /'so/', /'cute/', /'I/', /'love/', /'him/'], [/'stop/', /'posting/', /'stupid/', /'worthless/', /'garbage/'], [/'mr/', /'licks/', /'ate/', /'my/', /'steak/', /'how/',/'to/', /'stop/', /'him/'], [/'quit/', /'buying/', /'worthless/', /'dog/', /'food/', /'stupid/']] classVec = [0,1,0,1,0,1] #1代表侮辱性文字，0代表正常言论 return postingList,classVecdef createVocabList(dataSet): #❶ 创建一个空集 vocabSet = set() for document in dataSet: #❷ 创建两个集合的并集 vocabSet = vocabSet | set(document) return list(vocabSet)def setOfWords2Vec(vocabList, inputSet): #❸ 创建一个其中所含元素都为0的向量 returnVec = [0]*len(vocabList) for word in inputSet: if word in vocabList: returnVec[vocabList.index(word)] = 1 else: print /"the word: %s is not in my Vocabulary!/" % word return returnVec 第一个函数loadDataSet创建了一些实验样本。该函数返回的第一个变量是进行词条切分后的文档集合，这些文档来自斑点犬爱好者留言板。这些留言文本被切分成一系列的词条集合，标点符号从文本中去掉，后面会探讨文本处理的细节。loadDataSet( )函数返回的第二个变量是一个类别标签的集合。这里有两类，侮辱性和非侮辱性。这些文本的类别由人工标注，这些标注信息用于训练程序以便自动检测侮辱性留言。
下一个函数createVocabList会创建一个包含在所有文档中出现的不重复词的列表，为此使用了Python的set数据类型。将词条列表输给set构造函数，set就会返回一个不重复词表。首先，创建一个空集合❶，然后将每篇文档返回的新词集合添加到该集合中❷。操作符|用于求两个集合的并集，这也是一个按位或（OR）操作符（参见附录C）。在数学符号表示上，按位或操作与集合求并操作使用相同记号。
获得词汇表后，便可以使用函数setOfWords2Vec，该函数的输入参数为词汇表及某个文档，输出的是文档向量，向量的每一元素为1或0，分别表示词汇表中的单词在输入文档中是否出现。函数首先创建一个和词汇表等长的向量，并将其元素都设置为0❸。接着，遍历文档中的所有单词，如果出现了词汇表中的单词，则将输出的文档向量中的对应值设为1。一切都顺利的话，就不需要检查某个词是否还在vocabList中，后边可能会用到这一操作。
现在看一下这些函数的执行效果，保存bayes.py文件，然后在Python提示符下输入：
>>> import bayes>>> listOPosts,listClasses = bayes.loadDataSet>>> myVocabList = bayes.createVocabList(listOPosts)>>> myVocabList[/'cute/', /'love/', /'help/', /'garbage/', /'quit/', /'I/', /'problems/', /'is/', /'park/',/'stop/', /'flea/', /'dalmation/', /'licks/', /'food/', /'not/', /'him/', /'buying/',/'posting/', /'has/', /'worthless/', /'ate/', /'to/', /'maybe/', /'please/', /'dog/',/'how/', /'stupid/', /'so/', /'take/', /'mr/', /'steak/', /'my/'] 检查上述词表，就会发现这里不会出现重复的单词。目前该词表还没有排序，需要的话，稍后可以对其排序。
下面看一下函数setOfWords2Vec的运行效果：
>>> bayes.setOfWords2Vec(myVocabList, listOPosts[0])[0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 1,0, 0, 0, 0, 0, 0, 1]>>> bayes.setOfWords2Vec(myVocabList, listOPosts[3])[0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 0, 0,0, 1, 0, 0, 0, 0, 0] 该函数使用词汇表或者想要检查的所有单词作为输入，然后为其中每一个单词构建一个特征。一旦给定一篇文档（斑点犬网站上的一条留言），该文档就会被转换为词向量。接下来检查一下函数的有效性。myVocabList中索引为2的元素是什么单词？应该是单词help。该单词在第一篇文档中出现，现在检查一下看看它是否出现在第四篇文档中。
4.5.2 训练算法：从词向量计算概率****
前面介绍了如何将一组单词转换为一组数字，接下来看看如何使用这些数字计算概率。现在已经知道一个词是否出现在一篇文档中，也知道该文档所属的类别。还记得3.2节提到的贝叶斯准则？我们重写贝叶斯准则，将之前的x、y 替换为w。粗体w表示这是一个向量，即它由多个数值组成。在这个例子中，数值个数与词汇表中的词个数相同。
我们将使用上述公式，对每个类计算该值，然后比较这两个概率值的大小。如何计算呢？首先可以通过类别i（侮辱性留言或非侮辱性留言）中文档数除以总的文档数来计算概率p(ci)。接下来计算p(w|ci)，这里就要用到朴素贝叶斯假设。如果将w展开为一个个独立特征，那么就可以将上述概率写作p(w0,w1,w2..wN|ci)。这里假设所有词都互相独立，该假设也称作条件独立性假设，它意味着可以使用p(w0|ci)p(w1|ci)p(w2|ci)...p(wN|ci)来计算上述概率，这就极大地简化了计算的过程。
该函数的伪代码如下：
计算每个类别中的文档数目对每篇训练文档： 对每个类别： 如果词条出现在文档中→ 增加该词条的计数值 增加所有词条的计数值 对每个类别： 对每个词条： 将该词条的数目除以总词条数目得到条件概率 返回每个类别的条件概率
我们利用下面的代码来实现上述伪码。打开文本编辑器，将这些代码添加到bayes.py文件中。该函数使用了NumPy的一些函数，故应确保将from numpy import *语句添加到bayes.py文件的最前面。
程序清单4-2 朴素贝叶斯分类器训练函数
def trainNB0(trainMatrix,trainCategory): numTrainDocs = len(trainMatrix) numWords = len(trainMatrix[0]) pAbusive = sum(trainCategory)/float(numTrainDocs) #❶ （以下两行）初始化概率 p0Num = zeros(numWords); p1Num = zeros(numWords) p0Denom = 0.0; p1Denom = 0.0 for i in range(numTrainDocs): if trainCategory[i] == 1: #❷（以下两行）向量相加 p1Num += trainMatrix[i] p1Denom += sum(trainMatrix[i]) else: p0Num += trainMatrix[i] p0Denom += sum(trainMatrix[i]) p1Vect = p1Num/p1Denom #change to log #❸ 对每个元素做除法 p0Vect = p0Num/p0Denom #change to log return p0Vect,p1Vect,pAbusive 代码函数中的输入参数为文档矩阵trainMatrix，以及由每篇文档类别标签所构成的向量trainCategory。首先，计算文档属于侮辱性文档（class=1）的概率，即P(1)。因为这是一个二类分类问题，所以可以通过1-P(1)得到P(0)。对于多于两类的分类问题，则需要对代码稍加修改。
计算p(wi|c1) 和p(wi|c0)，需要初始化程序中的分子变量和分母变量❶。由于w中元素如此众多，因此可以使用NumPy数组快速计算这些值。上述程序中的分母变量是一个元素个数等于词汇表大小的NumPy数组。在for循环中，要遍历训练集trainMatrix中的所有文档。一旦某个词语（侮辱性或正常词语）在某一文档中出现，则该词对应的个数（p1Num或者p0Num）就加1，而且在所有的文档中，该文档的总词数也相应加1❷。对于两个类别都要进行同样的计算处理。
最后，对每个元素除以该类别中的总词数❸。利用NumPy可以很好实现，用一个数组除以浮点数即可，若使用常规的Python列表则难以完成这种任务，读者可以自己尝试一下。最后，函数会返回两个向量和一个概率。
接下来试验一下。将程序清单4-2中的代码添加到bayes.py文件中，在Python提示符下输入：
>>> from numpy import * >>> reload(bayes) >>> listOPosts,listClasses = bayes.loadDataSet
该语句从预先加载值中调入数据
>>> myVocabList = bayes.createVocabList(listOPosts)
至此我们构建了一个包含所有词的列表myVocabList。
>>> trainMat=>>> for postinDoc in listOPosts:... trainMat.append(bayes.setOfWords2Vec(myVocabList, postinDoc)) ...
该for循环使用词向量来填充trainMat列表。下面给出属于侮辱性文档的概率以及两个类别的概率向量。
>>> p0V,p1V,pAb=bayes.trainNB0(trainMat,listClasses) 接下来看这些变量的内部值：
>>> pAb0.5 这就是任意文档属于侮辱性文档的概率。
>>> p0Varray([ 0.04166667, 0.04166667, 0.04166667, 0. , 0. , . . 0.04166667, 0. , 0.04166667, 0. , 0.04166667, 0.04166667, 0.125 ])>>> p1Varray([ 0. , 0. , 0. , 0.05263158, 0.05263158, . . 0. , 0.15789474, 0. , 0.05263158, 0. , 0. , 0. ]) 首先，我们发现文档属于侮辱类的概率pAb为0.5，该值是正确的。接下来，看一看在给定文档类别条件下词汇表中单词的出现概率，看看是否正确。词汇表中的第一个词是cute，其在类别0中出现1次，而在类别1中从未出现。对应的条件概率分别为0.041 666 67与0.0。该计算是正确的。我们找找所有概率中的最大值，该值出现在P(1)数组第26个下标位置，大小为0.157 894 74。在myVocabList的第26个下标位置上可以查到该单词是stupid。这意味着stupid是最能表征类别1（侮辱性文档类）的单词。
使用该函数进行分类之前，还需解决函数中的一些缺陷。
4.5.3 测试算法：根据现实情况修改分类器
利用贝叶斯分类器对文档进行分类时，要计算多个概率的乘积以获得文档属于某个类别的概率，即计算p(w0|1)p(w1|1)p(w2|1)。如果其中一个概率值为0，那么最后的乘积也为0。为降低这种影响，可以将所有词的出现数初始化为1，并将分母初始化为2。
在文本编辑器中打开bayes.py文件，并将trainNB0( )的第4行和第5行修改为:
p0Num = ones(numWords); p1Num = ones(numWords)p0Denom = 2.0; p1Denom = 2.0 另一个遇到的问题是下溢出，这是由于太多很小的数相乘造成的。当计算乘积p(w0|ci)p(w1|ci)p(w2|ci)...p(wN|ci)时，由于大部分因子都非常小，所以程序会下溢出或者得到不正确的答案。（读者可以用Python尝试相乘许多很小的数，最后四舍五入后会得到0。）一种解决办法是对乘积取自然对数。在代数中有ln(a*b) = ln(a)+ln(b)，于是通过求对数可以避免下溢出或者浮点数舍入导致的错误。同时，采用自然对数进行处理不会有任何损失。图4-4给出函数f(x)与ln(f(x))的曲线。检查这两条曲线，就会发现它们在相同区域内同时增加或者减少，并且在相同点上取到极值。它们的取值虽然不同，但不影响最终结果。通过修改return前的两行代码，将上述做法用到分类器中：
p1Vect = log(p1Num/p1Denom)p0Vect = log(p0Num/p0Denom)
图4-4 函数f(x)与ln(f(x))会一块增大。这表明想求函数的最大值时，可以使用该函数的自然对数来替换原函数进行求解
现在已经准备好构建完整的分类器了。当使用NumPy向量处理功能时，这一切变得十分简单。打开文本编辑器，将下面的代码添加到bayes.py中：
程序清单4-3 朴素贝叶斯分类函数
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1): #❶ 元素相乘 p1 = sum(vec2Classify * p1Vec) + log(pClass1) p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1) if p1 > p0: return 1 else: return 0def testingNB: listOPosts,listClasses = loadDataSet myVocabList = createVocabList(listOPosts) trainMat= for postinDoc in listOPosts: trainMat.append(setOfWords2Vec(myVocabList, postinDoc)) p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses)) testEntry = [/'love/', /'my/', /'dalmation/'] thisDoc = array(setOfWords2Vec(myVocabList, testEntry)) print testEntry,/'classified as: /',classifyNB(thisDoc,p0V,p1V,pAb) testEntry = [/'stupid/', /'garbage/'] thisDoc = array(setOfWords2Vec(myVocabList, testEntry)) print testEntry,/'classified as: /',classifyNB(thisDoc,p0V,p1V,pAb) 程序清单4-3的代码有4个输入：要分类的向量vec2Classify以及使用函数trainNB0计算得到的三个概率。使用NumPy的数组来计算两个向量相乘的结果❶。这里的相乘是指对应元素相乘，即先将两个向量中的第1个元素相乘，然后将第2个元素相乘，以此类推。接下来将词汇表中所有词的对应值相加，然后将该值加到类别的对数概率上。最后，比较类别的概率返回大概率对应的类别标签。这一切不是很难，对吧？
代码的第二个函数是一个便利函数（convenience function），该函数封装所有操作，以节省输入4.3.1节中代码的时间。
下面来看看实际结果。将程序清单4-3中的代码添加之后，在Python提示符下输入：
>>> reload(bayes)<module /'bayes/' from /'bayes.pyc/'>>>>bayes.testingNB[/'love/', /'my/', /'dalmation/'] classified as: 0[/'stupid/', /'garbage/'] classified as: 1 对文本做一些修改，看看分类器会输出什么结果。这个例子非常简单，但是它展示了朴素贝叶斯分类器的工作原理。接下来，我们会对代码做些修改，使分类器工作得更好。
4.5.4 准备数据：文档词袋模型
目前为止，我们将每个词的出现与否作为一个特征，这可以被描述为词集模型（set-of-words model）。如果一个词在文档中出现不止一次，这可能意味着包含该词是否出现在文档中所不能表达的某种信息，这种方法被称为词袋模型（bag-of-words model）。在词袋中，每个单词可以出现多次，而在词集中，每个词只能出现一次。为适应词袋模型，需要对函数setOfWords2Vec稍加修改，修改后的函数称为bagOfWords2Vec。
下面的程序清单给出了基于词袋模型的朴素贝叶斯代码。它与函数setOfWords2Vec几乎完全相同，唯一不同的是每当遇到一个单词时，它会增加词向量中的对应值，而不只是将对应的数值设为1。
程序清单4-4 朴素贝叶斯词袋模型
def bagOfWords2VecMN(vocabList, inputSet): returnVec = [0]*len(vocabList) for word in inputSet: if word in vocabList: returnVec[vocabList.index(word)] += 1 return returnVec 现在分类器已经构建好了，下面我们将利用该分类器来过滤垃圾邮件。