The IEEE/CVF Conference on Computer Vision and Pattern Recognition 2023 (이하 CVPR)은 18년째 개최된 학회로, 컴퓨터 비전 분야에서 세계 최고의 권위를 가지고 있는 학회이다. 올해는 캐나다 벤쿠버에서 6월 18일부터 22일까지 총 5일간 진행되었으며, 약 2400편의 논문이 발표되었다. 컴퓨터 비전 전문 학회라는 명성에 걸맞게 action recognition, video retrieval, image classification, motion generation 등 대다수의 컴퓨터 비전 분야의 논문들이 골고루 발표되었으며, 해당 분야에서 뛰어난 연구자를 구인하는 apple, amazon, 현대 등 유수 대기업들이 스폰서로 참석하였다. 또한, Andrew Wang과 같은 세계적인 AI 대가들도 참석하여 학회에 대한 높은 관심을 알 수 있었다. 대부분의 세션이 오프라인으로 진행되었으며 학회 참석자들의 커뮤니케이션을 위한 banquet 등 많은 자리가 제공됨에 따라, 발표 시간과 더불어, 자유로이 질문 및 토론을 할 수 있는 환경이 갖추어져 있었다. 

CVPR은 IEEE와 CVF의 공동 학회로서, 컴퓨터 비전 분야의 논문들이 발표되었음에 따라, 필자가 연구하는 분야와 관련된 연구를 많이 접할 수 있었다. 그 중 text-video-audio 등 여러 데이터 형식에 구애 받지 않고 한 번에 학습 및 사용을 하는 multimodality 연구가 상당히 많이 발표되었고, 개인적으로는 그 중 Text to Video Retrieval task에 관련한 아래 두 발표가 인상깊었다.

첫 번째는 Poster 세션이자 Highlight를 받은『Video-Text as Game Players: Hierarchical Banzhaf Interaction for Cross-Modal Representation Learning』 (이하 HBI) 이다. 해당 논문은 Text to Video Retrieval task 중 첫 번째로 “강화 학습”의 방법을 적용시키며, 경제학 등에서 사용되는 Game theory를 인공지능 모델에 적용시킨 논문이다. 같은 분야를 연구하는 연구자로서, 인공지능 모델을 학습시키기 위해 다양성을 추가시켜주는 “일반적인” 방법만을 고심하고 있었는데, 이렇게 사회 현상에서 사용되는 방법으로도 모델이 잘 작동할 수 있는 사례를 봄으로써, 연구에 대한 시야가 조금 더 넓어질 수 있었다.

두 번째로 인상 깊었던 연구는 마찬가지로 Highlight를 받은 『Cap4Video: What Can Auxiliary Caption Do for Text-Video Retrieval?』(이하 Cap4Video)이다. 본 연구는 사실 다른 방향으로 인상 깊었는데, 연구 자체가 크게 Novelty가 있지 않았다. 본 학회는 사실 인공지능 연구자라면 모를 수가 없을 정도로 높은 위상을 가지고 있는 학회이다. 이에 따라 상위 5% 내외에 주어지는 Highlight는 많은 연구자들이 집중하는 연구인데, 해당 연구의 경우 단순히 “modality gap을 해결하기 위해 GPT-2를 사용해서 좀 더 좋은 결과를 얻도록 시도했다.”라는 것이 주요 내용이었기 때문에 개인적으로는 이런 논문 조차도 Highlight를 받을 수 있는가? 라는 의문이 생겼다.

이외에도 좋은 논문들이 많이 있었지만, 사실 이번 CVPR에 캐나다에서 중국인에게 비자를 내 주지 않는 사태가 발생하여 많은 중국인 저자들이 참석하지 못하였다. 이에 따라 실제로 내가 가장 기대하고 집중했던 여러 논문들에 대해서는 저자와 실제로 대화를 해 보지 못하였다. 이 부분에 가장 아쉬웠으며, 위에 언급한 여러 논문 이외에 한국 연구자 분들도 대단히 많았으며 다들 상당히 좋은 논문들을 발표해 주어서 연구에 많은 도움이 되었다. 또한 연구자들과 생산적인 토론을 하고 많은 피드백을 받아 이후 연구에도 많은 도움이 될 수 있었다.. 

[사진 2] CVPR 등록 장소