이번 게시글에서는 가상피팅에 대해서 소개드려 보려 합니다.
가상피팅 (virtual try-on 또는 virtual fitting) 은 지정한 모델(사람)에게 원하는 옷을 가상으로 입혀보는 기술입니다.
가상으로나마 옷에 대한 착용감을 느껴볼 수 있어 가상피팅 기술은 온라인 쇼핑몰 운영자 뿐만 아니라 소비자들에게도 반품 등에 따른 돈과 시간의 낭비를 줄일 수 있는 유용한 기술입니다.
인공지능 기술 중 영상 생성 기술의 발전 뿐만 아니라 온라인 쇼핑몰 시장의 가파른 성장 또한 가상피팅 기술에 대한 많은 사람들의 관심을 이끌고 있는 중 입니다.
이 글에서 다룰 이미지기반 2D 가상피팅에서는 입히는 대상이 되는 ‘피팅모델’과 의류의 사진을 입력받아 피팅모델이 입력의류를 입고 있는 형태의 이미지를 출력합니다.
가상피팅은 입력된 의류 모양과 패턴, 로고 등을 정확히 표현하는 동시에 피팅모델의 신체도 정확히 생성해야 합니다.
이 목표를 달성하기 위해서 가상피팅에서는 일반적으로 의류이미지 워핑과 착용 이미지 생성 이라는 두 단계 과정을 거칩니다.
(물론, 방법에 따라 워핑이나 생성 한쪽 방법에 많이 의존하는 경우도 있습니다.)
첫 단계 의류이미지 워핑에서는 입력된 의류이미지가 피팅모델의 신체와 자세에 맞춰서 워핑됩니다.
여기서, 이미지 워핑이란 이미지 픽셀의 위치를 변화시켜 원하는 형태로 변형시키는 기술 입니다.
생성모델의 학습을 통해서는 다양한 의류의 패턴 정보를 정확히 생성하는 것에는 제한이 있는 반면,
이미지워핑은 의류의 모양, 패턴, 로고 등의 정보를 최대한 원본과 가깝게 유지할 수 있다는 점에서 장점이 있습니다.
두번째 단계인 착용 이미지 생성에서는 워핑된 의류이미지와 피팅모델의 정보를 입력받아 최종 가상착용 이미지를 생성합니다.
긴 팔을 입고 있는 피팅모델에게 반팔 의류를 입히는 경우와 같이 보이지 않던 신체부위와 워핑된 의류와 피팅모델의 신체가 정확하게 일치(align)하지 않아 발생하는 의류 결손 부분 등을 생성하여야 하기 때문에 이 단계에서는 GAN과 같은 영상 생성 기술이 큰 힘을 발휘하게 됩니다.
상기의 단계들을 거쳐 그림 1과 그림 6에서 볼 수 있는 것과 같은 가상피팅 결과를 얻게 됩니다.
긴 팔을 입고 있던 피팅모델이 짧은 팔 또는 민소매 의류를 입고 있는 모습도 볼 수 있고, 의류의 로고나 글자, 줄무늬 등과 같은 패턴이 가상피팅 결과에서도 왜곡되지 않고 나타나고 있는 것을 확인할 수 있습니다.
이 글을 통해 가상피팅 기술에 대해서 간단한 소개를 해드렸는데요. 현재 NHN Cloud 에서는 유용한 가상피팅 서비스를 선보일 수 있도록 연구 개발 중에 있습니다.
* 본 글에서 사용된 이미지들은 LA-VITON[1] 논문에서 발췌(그림 1, 2, 3, 5)하였거나 직접 실험을 통하여 얻은 결과 입니다.
참고문헌
[1] H. J. Lee, R. Lee, M. Kang, M. Cho, and G. Park, “LA-VITON: A Network for Looking-Attractive Virtual Try-On,” ICCVW, 2019.
[2] X. Han, Z. Wu, Z. Wu, R. Yu, and L. S. Davis, “VITON: An image-based virtual try-on network,” CVPR, 2018.
[3] B. Wang, H. Zheng, X. Liang, Y. Chen, and L. Lin, “Toward characteristic-preserving image-based virtual try-on network,” ECCV, 2018.
[4] A. Neuberger, E. Borenstein, B. Hilleli, E. Oks, S. Alpert, "Image Based Virtual Try-On Network From Unpaired Data," CVPR, 2020.
[5] H-J. Lee, B. Koo, H-E Ahn, M. Kang, R. Lee, and G. Park, "Full body virtual try-on with semi-self-supervised learning," Electronics Letters, 2021.
그림 2. icon 출처: https://www.flaticon.com/free-icon/artificial-intelligence_8036446?term=ai&page=2&position=72&origin=search&related_id=8036446