Experiments

[bonlime]

Буду тут рассказывать что пробовал и какой вышел результат.

• Пока лучший результат дала модель FPN из репы qubvel. 0.722 Local. 0.708 LB

Хочу понять какой способ мерджить предикты в конце лучше: conv1x1 или conv3x3. Поставил 2 эксперимента со своим unet (где 1x1) и unet_sm (где 3x3).

• conv1x1 и conv3x3 работают примерно одинаково. 0.691 vs 0.696 Dice

[bonlime]

• Дефолтный Deeplab работал очень плохо. поменял dilation_rates в ASPP с [6, 12, 18] на [2, 4, 6] - сразу стало значительно лучше. мотивация такая: у нас тут не COCO, контекст объекта очень маленький и слишком большие dilation rates не помогают. Даёт 0.731 Local на size=256

[bonlime]

• Novograd в данной задаче работает сильно лучше чем Adam. пока на нем и остановимся

[bonlime]

Вот полный конфиг на 3е место.

Spoiler text. Note that it's important to have a space after the summary tag. You should be able to write any markdown you want inside the <details> tag... just make sure you close <details> afterward.

arch: se_resnet50
augmentation: medium
bs: 32
cutmix: false
datasets:
- opencities
- inria
decoder_warmup_epochs: 30
epochs: 100
lr: 0.001
model_params:
  merge_policy: cat
optim: novograd
segm_arch: segm_fpn
size: 384
tile_size: 512
val_percent: 0.1
weight_decay: 0.0001
workers: 8
zoom_level: 19

[jzakirov]

Вчера читал обсуждения и лучшие решения Kaggle Severstal challenge.
Несколько идей от победителей и золотых медалистов:

1. Train with BCE loss in the beginning -> Choose best model according to metrics (not loss) -> Train with Lovasz / Hinge loss.
   Обоснование такое, что Lovasz плохо работает вначале, когда сетка часто ошибается, но подходит для finetunning'a весов.

2. Use Focal loss.
    Хз насколько хорошо подойдёт для нашего случая, это больше для multi-class сегментации.

3. Use FP16
   Уже делаем так используя APEX

4. Собрать ансамбль из разных моделей:

• усреднять их предсказания
• выбирать голосованием (если большинство сказало "да", то брать)

---

Тут мои идеи:

5. Sharper Images during training and testing.
   Поскольку основной элемент для нахождения границы это края, если помочь сетке и заранее сделать их более заметными, результаты могут улучшиться.

[bonlime]

я почему-то нигде не могу найти Hinge loss для сегментации. он даже не гуглится.
лично у меня Lovashz вообще не сходится, хз почему.

[jzakirov]

Ребята на работе подсказали, что можно использовать adaptive thresholding, вместо обычного. Стоит попробовать, вдруг даст результат получше?
upd1: Не, стандартные из CV2 выдают какую-то ерунду. У них тоже есть параметры, которые нужно бы в идеале подобрать, но зачем? Я увидел, что обычный трешхолд в целом даёт неплохие границы, особенно если сеть хорошо обучена. Нужно только их подровнять

[bonlime]

Надо вообще над пост-процессингом подумать. Я все в сторону active contours копаю, но их может быть очень сложно сделать.

[jzakirov]

Почему-то все мои модельки работают очень плохо.
Обучил segm_fpn с se_Resnext50 и выбил 0.35 =(

[bonlime]

у меня что-то тоже перестало получаться выбивать нормальные результаты. учу пока deeplab, выдает вроде красивые картинки, а на LB скор плохой. Зато впервые за всю сореву результаты локально и на LB похожие: 0.7428 Local => 0.7436 LB. Хотя это может быть просто совпадением.
конфиг:

Full config

arch: resnet50
augmentation: medium
border_thickness: 20
bs: 32
config_file: configs/exp.yaml
criterion:
- bce
- '0.5'
- dice
- '0.5'
cutmix: true
data_path: /home/zakirov/datasets/opencities/train_tier_1/
datasets:
- opencities
decoder_warmup_epochs: 0
epochs: 100
lr: 0.01
model_params:
aspp_dilation_rates:
- 2
- 4
- 6
name: 4.baseline_deeplab_nov_cutmix
opt_level: O1
optim: novograd
outdir: logs/4.baseline_deeplab_nov_cutmix_20200220_192427
random_val: false
resume: logs/4.baseline_deeplab_nov_warmup_20200220_190111/model.chpn
segm_arch: deeplab
short_epoch: false
size: 384
sub_folder: tier1
tile_size: 512
val_percent: 0.15
weight_decay: 0.0001
workers: 8
zoom_level: 19

[bonlime]

Вот так выглядят предсказания с высоким IoU на картинку:

А вот так выглядят предсказания если веса выше потренить 10 эпох с Hinge. местами лучше, местами хуже:

Как мне кажется основная проблема в том, что есть много предиктов в пару пикселей на пустых картинках и это портит метрику в целом. Можно бороться с этим с помощью пост-процессинга или (что гораздо лучше) пытаться обучить сеть нормально, чтобы она сама понимала где пусто а где нет.

[bonlime]

Пробую перейти на чисто pixel-wise лоссы, потому что мне кажется что они лучше чем всякие dice, которые наказывают за лишний пиксель на пустой картинке. попробовал обучить чисто на hinge - получил 0.7758 на LB. (в то время как локально у меня всего 0.7395, хех. локальная валидация полное говно)

Full config

arch: se_resnet50                                                                                                                                                                                           
augmentation: medium
border_thickness: 20
bs: 32
config_file: configs/exp.yaml
criterion:
- hinge
- '1'
cutmix: true
data_path: /home/zakirov/datasets/opencities/train_tier_1/
datasets:
- opencities
decoder_warmup_epochs: 0
epochs: 100
lr: 0.001
model_params:
merge_policy: cat
name: 4.segm_fpn_nov_cutmix_cos_hinge
opt_level: O1
optim: novograd
outdir: logs/4.segm_fpn_nov_cutmix_cos_hinge_20200226_144237
phases:
- ep:
- 0
- 100
lr:
- 0.01
- 0
mode: cos
random_val: false
resume: logs/4.segm_fpn_nov_cutmix_cos_warmup_hinge_20200226_143308/model.chpn
segm_arch: segm_fpn
short_epoch: false
size: 384
sub_folder: tier1
tile_size: 512
val_percent: 0.15
weight_decay: 0.0001
workers: 8
zoom_level: 19

[bonlime]

BiFPN 2 layers + dice 0.5 hinge 0.5 дает 0.7502 Local => 0.7789 LB
Посмотрел предсказания глазами - выглядят очень хорошо. запустил на ночь:

• тот же конфиг на tier1 + inria upd. 0.7824 LB с предсказанием на картинках размера 384
• тот же конфиг на tier1 + inria с 3мя BiFPN layers upd. 0.7891 LB с предсказанием на картинке размером 384

[bonlime]

Исходя из того, что одной модели выше достаточно для того чтобы залететь в top10 предлагаю начать уже пробовать TTA и ансамбли, чтобы взлететь повыше

[bonlime]

новый супер крутой лосс - Reduced Focal Loss. Сочетает в себе сразу много хорошего. и pixel-wise, а значит легко оптимизировать и борется с дисбалансом классов и не так сильно штрафует за плохую разметку, а значит можно докидывать tier2 датку.
еще сегодня добавил параметр drop_rate во все модели, для борьбы с оверфитом - работает отлично. при небольших значениях вроде 0.1 лосс на валидации стабильно ниже чем на трейне
запустил эксперимент на ночь, завтра посмотрим что получается

upd. успех. bifpn 2 layers обученный на tier1 + inria дает 0.8136 LB при инференсе на картинках размером 512.

Full config

arch: se_resnet50
augmentation: medium
border_thickness: 20
bs: 32
config_file: configs/exp.yaml
criterion:
- reduced_focal
- '1'
cutmix: false
data_path: /home/zakirov/datasets/opencities/train_tier_1/
datasets:
- tier1
- inria
decoder_warmup_epochs: 0
epochs: 100
lr: 0.001
model_params:
drop_rate: 0.1
merge_policy: cat
num_fpn_layers: 2
name: 10.bifpn_2l_2dtst_reduced_focal
opt_level: O1
optim: novograd
outdir: logs/10.bifpn_2l_2dtst_reduced_focal_20200303_202324
phases:
- ep:
- 0
- 50
lr:
- 0.01
- 0
mode: cos
random_val: false
resume: logs/8.bifpn_reduced_focal_20200302_191335/model.chpn
segm_arch: segm_bifpn
short_epoch: false
size: 384
sub_folder: tier1
tile_size: 512
val_percent: 0.15
weight_decay: 0.0001
workers: 8
zoom_level: 19