最初的Bag of words,也叫做“詞袋”,在信息檢索中,Bag of words model假定對于一個文本,忽略其詞序和語法,句法,將其僅僅看做是一個詞集合,或者說是詞的一個組合,文本中每個詞的出現(xiàn)都是獨(dú)立的,不依賴于其他詞 是否出現(xiàn),或者說當(dāng)這篇文章的作者在任意一個位置選擇一個詞匯都不受前面句子的影響而獨(dú)立選擇的.
現(xiàn)在Computer Vision中的Bag of words來表示圖像的特征描述也是很流行的.大體思想是這樣的,假設(shè)有5類圖像,每一類中有10幅圖像,這樣首先對每一幅圖像劃分成patch（可以是 剛性分割也可以是像SIFT基于關(guān)鍵點(diǎn)檢測的）,這樣,每一個圖像就由很多個patch表示,每一個patch用一個特征向量來表示,咱就假設(shè)用Sift 表示的,一幅圖像可能會有成百上千個patch,每一個patch特征向量的維數(shù)128.
接下來就要進(jìn)行構(gòu)建Bag of words模型了,假設(shè)Dictionary詞典的Size為100,即有100個詞.那么咱們可以用K-means算法對所有的patch進(jìn)行聚 類,k=100,我們知道,等k-means收斂時,我們也得到了每一個cluster最后的質(zhì)心,那么這100個質(zhì)心（維數(shù)128）就是詞典里德100 個詞了,詞典構(gòu)建完畢.
詞典構(gòu)建完了怎么用呢?是這樣的,先初始化一個100個bin的初始值為0的直方圖h.每一幅圖像不是有很多patch么?我們就再次 計算這些patch和和每一個質(zhì)心的距離,看看每一個patch離哪一個質(zhì)心最近,那么直方圖h中相對應(yīng)的bin就加1,然后計算完這幅圖像所有的 patches之后,就得到了一個bin=100的直方圖,然后進(jìn)行歸一化,用這個100維德向量來表示這幅圖像.對所有圖像計算完成之后,就可以進(jìn)行分 類聚類訓(xùn)練預(yù)測之類的了.