며칠 전 막을 내린 지구촌 축구 축제에서는 비디오 판독 시스템 ‘VAR’이 뜨거운 화제였습니다. 대한민국 역시 VAR 때문에 스웨덴 전에서는 페널티킥 판정을 받고, 독일 전에서는 오프사이트 판정을 뒤엎기도 했죠. 축구뿐 아니라 많은 스포츠 경기에서 각 종목에 특화된 비디오 판독 시스템을 적용하고 있는데요. 테니스처럼 공의 시속이 200km를 넘나드는 종목에서는 단순한 비디오 재생이 아닌, 이를 보조하기 위한 ‘호크아이’ 시스템이 적용됩니다. 오늘은 지난 6월 출시된 게임 ‘마리오 테니스 에이스’와 함께 테니스의 승부를 가르는 호크아이에 대해 알아보는 시간을 마련했습니다.
얼마 전 배관공 ‘마리오’가 등장하는 테니스 게임, ‘마리오 테니스 에이스’가 출시됐습니다. 제작사인 닌텐도에서는 마리오가 등장하는 다양한 장르의 게임을 내놓는데, ‘마리오 테니스 에이스’는 제목처럼 마리오 캐릭터로 테니스를 하는 게임입니다.
‘마리오 테니스 에이스’의 CF에는 테니스 남자 단식 부문 1위인 스페인의 라파엘 나달이 깜짝 등장해 눈길을 끌기도 했는데요. 영상 속 라파엘 나달은 마리오와 함께 다양한 기술을 선보이며 막상막하의 랠리를 펼칩니다.
그러다가 마리오의 강력한 스매시를 라파엘 나달이 막아내지 못하는데, 심판은 라인 아웃으로 판정을 내립니다. 이에 마리오는 심판에게 비디오 판독을 요청합니다. 비디오 판독 결과, 심판은 라인 아웃이 맞는 것으로 판정합니다.
▲ '마리오 테니스 에이스' CF 中 비디오 판독 장면 캡처 (출처: Nintendo)|
테니스에서 비디오 판독을 요청하는 것을 ‘챌린지’(Challenge)라고 부릅니다. 종목 별로 다르지만, 테니스의 경우 비디오 판독을 아무 때나 신청할 수 없습니다. 세트당 3회로 제한되어 있죠.
챌린지를 요청했을 때 결과가 변하지 않을 경우, 챌린지 기회는 하나 사라집니다. 모든 기회를 사용하면 불합리한 판정이 나오더라도 비디오 판독 요청을 할 수 없습니다. 다만, 타이 브레이크(듀스일 경우 12포인트 중 7포인트를 먼저 획득한 자가 승리하는 경기 방식)일 때는 추가로 챌린지 기회가 주어집니다.
▲ 호크아이 시스템이 적용된 경기 영상 (출처: 호크아이 이노베이션)
테니스의 비디오 판독 방식 호크아이(Hawk-Eye)는 코트 천장에 여러 대의 카메라를 설치해 테니스공의 위치를 파악하는 컴퓨터 시스템입니다. 2006년 US 오픈 때 처음 도입되었습니다.
다른 스포츠에서는 비디오 판독을 슬로 모션 리플레이로 확인하지만, 테니스의 호크아이는 여러 대의 카메라를 통해 촬영된 공의 궤적을 자체적으로 판독해 3차원으로 변환시켜 보여줍니다.
▲ 호크아이 시스템은 테니스 경기장에 10대의 카메라를 설치해 공의 궤적을 확인하는 방식이다. / 공의 궤적은 실시간으로 분석돼 곧바로 결과를 확인할 수 있다. / 공의 궤적은 실시간으로 분석돼 곧바로 결과를 확인할 수 있다. (출처: 호크아이 이노베이션)
호크아이는 경기장 내 다양한 각도 및 위치에 설치된 여러 대의 초고속 카메라가 제공하는 영상 및 타이밍 정보를 종합하여 공의 궤도를 추적하는 방식입니다. 테니스에서는 코트를 기준으로 베이스라인 뒤편에 3개씩, 사이드라인 쪽에 2개씩 총 10대의 카메라가 경기장 꼭대기에 설치돼 각각의 저장된 영상 정보가 컴퓨터 시스템에서 고속으로 처리됩니다.
카메라로부터 전달된 영상은 각각 프레임을 분석하고 두 대 이상의 카메라에서 얻어진 영상을 비교해 3차원 공간상의 공의 위치를 계산합니다. 프레임별로 계산된 공의 위치를 쭉 나열하면 공이 이동한 궤도가 재구성돼 확인할 수 있습니다.
테니스공의 움직임은 호크아이를 통해 만들어진 그래픽 영상으로 재현되며, 심판과 관중, 코치 등에게 실시간으로 제공됩니다. 또한, 데이터베이스와 연계돼 각 선수들 및 경기의 내용 등을 통계적으로 분석하는 데에도 활용되죠.
호크아이 시스템에도 역시 반도체가 필수로 적용됩니다. 우선 카메라에는 피사체의 정보를 읽어 전기적인 영상신호로 변환해주는 이미지센서가 장착되어 있죠. 이 이미지센서는 카메라 렌즈를 통해 들어온 영상 정보를 디지털 신호로 변환해 저장한 후 디스플레이 장치로 볼 수 있게 만들어주는 반도체입니다.
이미지 센서(CIS)는 이러한 호크아이 시스템 뿐만 아니라 가전 제품, 웨어러블 제품, 자동차, 의료 제품 등의 다양한 IoT 디바이스에 채용되고 있습니다.
10대의 카메라로 찍어 저장된 영상을 분석하고 그래픽 영상으로 재현하는 데 사용되는 것은 당연히 컴퓨터입니다. 컴퓨터에는 흔히 알고 있는 CPU(중앙 처리 장치)와 GPU(그래픽 처리 장치)가 장착되는데요.
CPU는 데이터를 연산/처리하는 반도체 부품으로, 동작 클럭을 의미하는 GHz 단위가 크면 클수록 더 빠른 속도로 연산/처리가 가능합니다. GPU는 컴퓨터에서 그래픽을 처리하는 장치로, 흔히 컴퓨터에서 그래픽카드라고 불리는 부품에 장착되어 있습니다. PC 게임을 즐길 때 꼭 필요하기도 한 부품이기도 하죠. 이러한 다양한 반도체들이 경기의 내용을 분석, 재현하는데 활용되고 있습니다.
▲ 테니스 코트에 설치된 카메라를 통해 녹화된 영상을 컴퓨터가 분석해 주는 스마트 코트./ 스마트 코트는 공의 궤적, 속도, 선수가 뛴 거리 등을 알려줘 보다 효율성 높은 연습이 가능케 한다.
최근 구기 종목에서 이슈로 떠오르고 있는 것이 바로 ‘스마트 코트’(Smart Court)입니다. 스마트 코트는 이스라엘 벤처기업 ‘PlaySight’가 개발한 테니스 전용 영상 분석 시스템으로, 개발 전부터 세르비아의 노박 조코비치 등의 선수들이 투자하는 등 큰 관심을 받았습니다.
스마트 코트는 테니스 코트에 설치된 5~6대의 카메라를 통해 서브 속도와 포핸드·백핸드 스트로크 속도, 공의 바운드 지점, 네트를 통과한 높이, 공 스핀양, 선수가 뛴 거리, 소모된 칼로리 등 각종 데이터를 바로 분석해줍니다. 분석된 데이터는 자동으로 ‘PlaySight’ 서버로 전송되고 스마트폰이나 태블릿PC 등에서 영상과 데이터를 확인할 수 있습니다.
비록 경기에서는 아직 적용되고 있지 않지만, 테니스 교육과 코칭 효율성을 크게 향상시켜주는 스마트 코트는 전 세계 50여 개국에서 100여 곳 이상 설치됐다고 합니다. 다만 한 가지 단점이 있다면, 1만 달러(한화 약 1,100만 원)에 달하는 고가의 설치비라고 합니다.
테니스 코트가 이렇게 스마트해질 수 있었던 이유에는 반도체가 핵심 역할을 톡톡히 했기 때문일 텐데요. 앞으로 반도체와 함께 더 스마트해질 테니스 코트, 호크아이 만큼이나 테니스 경기에 큰 변화를 몰고 올 듯 합니다.
기술이 발전함에 따라 스포츠의 모습도 조금씩 변해가고 있습니다. 스포츠는 어디까지나 인간의 주체가 되어 인간의 한계를 시험하는 것이지만, 경기 중 생기는 오심 등으로 명승부를 망치는 경우도 있죠. 이러한 아쉬운 점을 명확하게 해소해주기 위해서라도 기술의 발전은 스포츠에서도 계속 필요할 것입니다.
※ 본 칼럼은 반도체/ICT에 관한 인사이트를 제공하는 외부 전문가 칼럼으로, SK하이닉스의 공식 입장과는 다를 수 있습니다.