在計(jì)算機(jī)視覺(jué)（CV）任務(wù)里常常會(huì)碰到類(lèi)別不平衡的問(wèn)題， 例如：

1. 圖片分類(lèi)任務(wù)，有的類(lèi)別圖片多，有的類(lèi)別圖片少

2. 檢測(cè)任務(wù)。現(xiàn)在的檢測(cè)方法如SSD和RCNN系列，都使用anchor機(jī)制。訓(xùn)練時(shí)正負(fù)anchor的比例很懸殊。

3. 分割任務(wù)， 背景像素?cái)?shù)量通常遠(yuǎn)大于前景像素。

從實(shí)質(zhì)上來(lái)講， 它們可以歸類(lèi)成分類(lèi)問(wèn)題中的類(lèi)別不平衡問(wèn)題：對(duì)圖片/anchor/像素的分類(lèi)。

再者，除了類(lèi)不平衡問(wèn)題， 還有easy sample overwhelming的問(wèn)題。easy sample如果太多，可能會(huì)將有效梯度稀釋掉。

這兩個(gè)問(wèn)題通常都會(huì)一起出現(xiàn)。如果不處理， 可能會(huì)對(duì)模型性能造成很大傷害。用Focal Loss里的話(huà)說(shuō)，就是訓(xùn)練不給力， 且會(huì)造成模型退化：

（1） training is inefficient as most locations are easy negatives…

（2） the easy negatives can overwhelming training and lead to degenerate models.

如果要處理，那么該怎么處理呢？在CV領(lǐng)域里， 若不考慮修改模型本身， 通常會(huì)在loss上做文章， 確切地說(shuō)，是在樣本選擇或loss weight上做文章。

常見(jiàn)的解決辦法介紹

常見(jiàn)的方法有online的， 也有非online的；有只處理類(lèi)間不平衡的，有只處理easy example的， 也有同時(shí)處理兩者的。

Hard Negative Mining， 非online的mining/boosting方法， 以‘古老’的RCNN（2014）為代表， 但在CV里現(xiàn)在應(yīng)該沒(méi)有人使用了（吧？）。若感興趣，推薦去看看OHEM論文里的related work部分。

Mini-batch Sampling，以Fast R-CNN（2015）和Faster R-CNN（2016）為代表。Fast RCNN在訓(xùn)練分類(lèi)器， Faster R-CNN在訓(xùn)練RPN時(shí)，都會(huì)從N = 1或2張圖片上隨機(jī)選取mini_batch_size/2個(gè)RoI或anchor， 使用正負(fù)樣本的比例為1：1。若正樣本數(shù)量不足就用負(fù)樣本填充。使用這種方法的人應(yīng)該也很少了。從這個(gè)方法開(kāi)始， 包括后面列出的都是online的方法。

Online Hard Example Mining， OHEM（2016）。將所有sample根據(jù)當(dāng)前l(fā)oss排序，選出loss最大的N個(gè)，其余的拋棄。這個(gè)方法就只處理了easy sample的問(wèn)題。

Oline Hard Negative Mining， OHNM， SSD（2016）里使用的一個(gè)OHEM變種， 在Focal Loss里代號(hào)為OHEM 1：3。在計(jì)算loss時(shí)， 使用所有的positive anchor， 使用OHEM選擇3倍于positive anchor的negative anchor。同時(shí)考慮了類(lèi)間平衡與easy sample。

Class Balanced Loss。計(jì)算loss時(shí)，正負(fù)樣本上的loss分別計(jì)算， 然后通過(guò)權(quán)重來(lái)平衡兩者。暫時(shí)沒(méi)找到是在哪提出來(lái)的，反正就這么被用起來(lái)了。它只考慮了類(lèi)間平衡。

Focal Loss（2017）， 最近提出來(lái)的。不會(huì)像OHEM那樣拋棄一部分樣本， 而是和Class Balance一樣考慮了每個(gè)樣本， 不同的是難易樣本上的loss權(quán)重是根據(jù)樣本難度計(jì)算出來(lái)的。

從更廣義的角度來(lái)看，這些方法都是在計(jì)算loss時(shí)通過(guò)給樣本加權(quán)重來(lái)解決不平衡與easy example的問(wèn)題。不同的是，OHEM使用了hard weight（只有0或1），而Focal Loss使用了soft weight（0到1之間）。

現(xiàn)在依然常用的方法特性比較如下：

接下來(lái)， 通過(guò)修改過(guò)的Cifar數(shù)據(jù)集來(lái)比較這幾種方法在分類(lèi)任務(wù)上的表現(xiàn)，當(dāng)然， 主要還是期待Focal Loss的表現(xiàn)。

實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)集

Cifar-10， Cifar-100。使用Cifar的原因沒(méi)有別的， 就因?yàn)楦F，畢竟要像Focal Loss論文里那樣跑那么多的大實(shí)驗(yàn)對(duì)大部分學(xué)校和企業(yè)來(lái)說(shuō)是不現(xiàn)實(shí)的。

處理數(shù)據(jù)得到類(lèi)間不平衡

將多分類(lèi)任務(wù)轉(zhuǎn)換成二分類(lèi)：

new_label = label == 1

原始Cifar-10和100里有很多類(lèi)別，每類(lèi)圖片的數(shù)量基本一樣。按照這種方式轉(zhuǎn)變后，多分類(lèi)變成了二分類(lèi)， 且正負(fù)樣本比例相差懸殊：9倍和99倍。

實(shí)驗(yàn)?zāi)Ｐ?/p>

一個(gè)5層的CNN，完成一個(gè)不平衡的二分類(lèi)任務(wù)。使用Cross Entropy Loss，按照不同的方法使用不同的權(quán)值方案。以不加任何權(quán)重的CE Loss作為baseline。

衡量方式

在這種不平衡的二分類(lèi)問(wèn)題里， 準(zhǔn)確率已經(jīng)不適合用來(lái)衡量模型的好與壞了。此處使用F-Score作標(biāo)準(zhǔn)。

實(shí)現(xiàn)細(xì)節(jié)

CE（Cross Entroy Loss）

OHEM

分為以下三步：

1. 計(jì)算ce_loss， 同CE

2. 根據(jù)ce_loss排序， 選出top N 個(gè)sample：

Class Balance CE

形式多種多樣，我個(gè)人最喜歡使用：

優(yōu)化方法

最簡(jiǎn)單的SGD， 初始lr=0.1， 每200，000步衰減一次， 衰減系數(shù)為0.1。Cifar-100上focal_loss的初始lr=0.01。

batch_size = 128.

實(shí)驗(yàn)結(jié)果

CIFAR-10：

Focal Loss的一個(gè)補(bǔ)丁

對(duì)于CIFAR-100，batch_size=128時(shí)， 一個(gè)batch內(nèi)可能會(huì)一個(gè)positive sample都沒(méi)有， 即n_pos == 0， 這時(shí)，paper里用n_pos來(lái)normalize loss 的方式就不可行了。測(cè)試過(guò)兩種簡(jiǎn)單的選擇：一是用所有weight之和來(lái)normalize， 二是直接不normalize。前者很難訓(xùn)練甚至訓(xùn)練不出來(lái)， 后者可用。所以上面的Focal loss計(jì)算代碼應(yīng)該補(bǔ)充為：

經(jīng)驗(yàn)總結(jié)

Code Available On Github

https://github.com/dengdan/test_tf_models

Branch:focal_loss

References Focal Loss for Dense Object Detection， https://arxiv.org/pdf/1708.02002.pdf

RCNN， https://arxiv.org/abs/1311.2524

Fast RCNN， http://arxiv.org/abs/1504.08083

Faster-RCNN， http://arxiv.org/abs/1506.01497

Training Region-based Object Detectors with Online Hard Example Mining， https://arxiv.org/abs/1604.03540

審核編輯 ：李倩