[CV] SAM Demo 활용해보기 | 위성사진 탐색, 동영상 객체 트래킹

SAM

Segment Anything Model(SAM)은 Meta 인공지능 연구소(FAIR)에서 연구개발을 하고 있는 대표적인 이미지 분할 모델로 별도의 학습 없이도 이미지 객체를 분할해주는 Zero-shot 모델이다.  Demo는 SAM & SAM2 모델의 Demo는 여기서 확인할 수 있다.

 

• SAM : 이미지에 적용
• SAM2 : 동영상에 적용

 

실제로 가져다가 쓰기 위해서는 GitHub에서 안내해주는 방법에 따라 클론해서 사용할 수 있으며, 여기서는 위성 이미지와 스포츠 영상에 테스트하였다.  

적용 1. 위성 이미지

위성 이미지를 활용하면 지상의 물체 및 활동을 포착할 수 있다. 다만, 고도에 따라 물체의 크기가 달라져서 포착하지 못하는 경우도 발생하기 때문에 적절한 고도를 설정하는 것이 필요하다. 예를 들어, 154kV 보다 4배까지 크게 설계될 수 있는 365kV 송전탑은 100m 고도에서도 충분히 탐지하지만, 154kV 송전탑은 대략 80m는 되어야만 적절히 이미지를 분할한다.

지상 80m에서 바라본 지표면 (154kV 송전탑 포함)

 

지상 100m에서 바라본 365kV 송전탑

 

여러 이미지들을 슬라이딩 윈도우 방식으로 탐색하고 찾은 객체들을 GeoJSON이나 GeoPandas 형태로 저장해 특정 지도 GIS 파일을 만드는 프로젝트를 시도해볼 수 있을 것 같다. 

 

적용 2. 스포츠 

축구의 세트피스 상황(코너킥)에서 특정 선수들의 움직임을 추적할 수도 있다. 이러한 기술은 특정 상황에서 움직임을 분석하는데 요긴하게 사용 가능할 것으로 보인다.