영상처리 기술 소개

1. 영상인식: 딥러닝 이전

Viola & Jones Face Detection

• 카메라를 통해 취득되는 사진이나 동영상에서 정보를 취득하는 과정
• 간단한 필터를 많이 사용 관련 논문

Building Rome in a Day

• 딥러닝 이전에 영상 빅데이터를 사용한 콘텐츠 생성의 가능성을 보여준 연구
• 수천장의 일반 관광사진으로부터 관광지를 3차원으로 재구성
• 빅데이터 사용
• 연구그룹: University of Washington, Cornell University, Microsoft Research 관련 논문

Scene Completion using Millions of Photographs

• 지우고 싶은 영역을 인페인팅(Inpainting) 영역으로 지정후 다른 영상의 콘텐츠로 바꾸는 기술
• Flick 사이트로부터 다운로드 받은 수 많은 영상중에서 인페인팅할 영역에 가장 적합한 영상으로 채움
• 빅데이터 사용
• 연구그룹: Carnegie Mellon University 관련논문

2. 딥러닝 기반 영상분류 기술 소개

Classification

• Figure from: CIFAR10 dataset

Localization & Object Detection

• Figure from: http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture11.pdf

Semantic Segmentation, Instance Segmentation

• Figure from: https://towardsdatascience.com/single-stage-instance-segmentation-a-review-1eeb66e0cc49

Realtime Multi-Person 2D Human Pose Estimation using Part Affinity Fields

• Heat Map과 Affinity Field를 이용하여 사람의 주요 관절을 검출하는 인공신경망 개발
• 다수의 인물들에 대해서 실시간으로 검출이 가능
• 연구그룹: OpenPose
• https://github.com/CMU-Perceptual-Computing-Lab/openpose

Image Generation

• Source: https://www.researchgate.net/publication/321307104_Sketch-to-Image_Generation_Using_Deep_Contextual_Completion

A Style-Based Generator Architecture for GAN

• 얼굴영상을 여러 스케일의 스타일의 합성으로 이해하여 스타일의 합성으로 새로운 영상을 생성
• Course Style, Middle Style, Fine Style의 다양한 조합으로 스타일에 변화
• 연구그룹: NVIDIA
• https://arxiv.org/pdf/1812.04948.pdf

Image Superresolution

• Source: https://arxiv.org/pdf/1811.11482v1.pdf

Style Transfer

• Source: https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Gatys_Image_Style_Transfer_CVPR_2016_paper.pdf

Photorealistic Style Transfer via Wavelet Transforms

• Style 사진의 style을 Target 사진에 적용할 때 결과물이 실제 사진처럼 보이도록 한 Style Transfer
• 웨이블렛 Pooling을 이용하여 가능한 정보를 잃어버리지 않도록 함
• 연구그룹: Clova AI Research, NAVER Corp.
• https://arxiv.org/pdf/1903.09760.pdf