[Sky Replacement] Sky Segmentation 모델 학습

[hyoseok1223]

Background

Segmentation의 정확도가 sky replacement의 퀄리티로 직결됨을 #10 에서 몇가지 결과를 통해 확인했습니다.

Content

MMsegmentation Library를 활용해 Sky Segmentation 모델을 학습시켜보려고 합니다. ( img - mask 포맷을 학습에 사용해 바로 이용하기 편한 상태 )

Details

• ADE20k에서 sky label은 모두 1로 바꾸고 나머지 클래스들은 전부 0으로 바꾸는 전처리 -> sky optimization 에서 사용한 데이터셋 발견 사용하면 될 듯- 대략 21000장 -> 다만, 하늘이 없는 이미지가 많이 존재해서 이를 추가 전처리 필요, 전처리 된 데이터셋인 줄 알았으나 그냥 샘플링 된 데이터셋인듯
• SkyReplacement Repo에서 사용한 약 500장의 이미지도 사용
• 윤곽을 더 깔끔하게 잡을 수 있는 모델에 초점을 맞춰서 학습 ( 클래스는 중요하지 않음 )

[hyoseok1223]

Rule Base(filter) VS Learning Base

원본 | Filter(edge) base mask generation | Segmentation 모델 추론

보시는 바와 같이 challeng한 case가 아닌 일반적인 이미지들에 대해서는 filter base가 edge를 훨씬 깔끔하게 따내기 때문에 더 깔끔하게 동작하는 것 같습니다. -> 우선은 segmentation모델과 filter를 같이 고려하는 방법을 시도해보려고 하고 있지만, 구성상 쉽지는 않아보입니다. ( prototype으로 정리한 후에 시도해보겠습니다. )

이렇게 challenge한 일부 케이스들에 대해서 rule base 방법이 아예 하늘을 잡아내지 못하는 경우가 많습니다. 위에서 이야기했던 같이 고려하는 방법을 추후에 시도해보고자 하고 이를 잘 해결하는 것이 중요할 것 같습니다.

사실 이러한 케이스들에 대해서는 피크닉 앱에서 동작하는 방식이 무척 좋은 것 같긴 합니다. ( 다시 보고 있으니 어떻게 동작하는지 잘 모르겠습니다. ) -> 이러한 문제를 Segmentation learning base로 해결하고자하는 것이 맞는지 고민해볼 필요가 있다고 생각합니다.

picnic | Segmentation 모델 추론

[Dongwoo-Im]

현재의 Segmentation 방식으로 sky를 찾고,
찾은 sky와 거리가 가까우면서 value가 비슷한 것들까지 sky로 인식하게 하는 것도 방법이 될 수 있을 것 같습니다.
Network에서 학습하거나 후처리로 간단히 적용해볼 수도 있겠네요. 다만 어떻게 구현하지 싶네요.. ㅠ
그리고 이 방식을 사용할 경우, 이미지 크기를 줄이더라도 성능에 큰 영향은 없을 것 같습니다.