“표절 꼼짝마”…전문가도 못 찾는 미세한 차이 AI가 잡는다 [사이언스 브런치]
화가의 붓 터치, 소설가의 문장 구조, 연주자의 미세한 화성과 리듬의 변형 등 예술가들은 작품 속에 저마다 자신만의 흔적을 남긴다. 이를 예술가들이 무의식적으로 남기는 ‘지문’이라고 부른다. 재즈는 특정 연주자에게 고유한 작곡, 즉흥 연주, 연주 기법 등이 결합되기 때문에 애호가라고 하더라도 예술적 지문을 파악하기란 쉽지 않다. 그런데 최근 과학자들이 예술의 영역으로만 알려진 창작과 즉흥 연주의 비밀을 데이터로 파악할 수 있는 기술을 내놔 눈길을 끈다.
영국 케임브리지대 음악 및 과학 연구센터, 런던 퀸메리대 디지털 음악 연구센터 공동 연구팀은 녹음된 음원으로부터 개별 연주자들을 정확히 인식할 수 있게 해주는 음악적 지문을 식별할 수 있는 인공지능을 개발했다고 밝혔다. 이 기술은 논쟁이 있는 예술 작품의 저작자를 판별하고 예술가의 스타일을 구분할 뿐만 아니라 문화유산이나 음악 교육에 있어서도 통찰력을 제시할 수 있을 것으로 기대된다. 이 연구 결과는 인공지능 분야 국제 학술지 ‘네이처 머신 러닝’ 8월 18일 자에 실렸다.
재즈 음악의 경우 작곡은 미리 쓰인 아이디어를, 즉흥 연주는 아이디어를 자발적으로 구체화하는 방식을, 연주는 다른 음악가들과 함께 물리적으로 실험하는 방식을 의미한다. 대부분의 재즈 연주가 오디오 녹음 형태로 존재하고 녹음 환경이나 장비 유형에 따라 달라지기 때문에 재즈에 대한 컴퓨터 분석은 그동안 어려움을 겪어 왔다.
이에 연구팀은 빌 에번스, 오스카 피터슨, 델로니어스 몽크, 칙 코리아, 키스 자렛, 맥코이 타이너, 아마드 자말 등 유명 재즈 피아니스트 20명이 공연한 1629회의 연주회에서 발췌한 84시간 분량의 데이터셋으로 연주자를 식별하도록 지도학습 모델을 훈련시켰다. 녹음들은 음표가 연주되는 시점과 음높이를 보여주는 디지털 표현 방식인 ‘미디 피아노 롤’ 형식으로 변환됐다.
그 결과, 가장 성능이 뛰어난 모델은 94.4%의 정확도로 연주자를 식별해 냈고 멜로디, 화성, 리듬, 완급 등을 분리해 해석 가능성을 높인 모델은 91.3%의 정확도를 보였다. 각 요소를 개별적으로 테스트했을 때 화성이 가장 정확한 예측 결과를 제공했고 그다음으로 리듬, 멜로디였으며 완급으로 구분하는 것이 가장 부정확한 것으로 나타났다.
이번에 개발된 인공지능 기술을 활용해 분석하면 빌 에번스가 하행하는 장7도 또는 단7도 아르페지오를 빈번하게 사용한다는 점과 오스카 피터슨이 선율적 인클로저를 적극적으로 활용한다는 점 등 기존 재즈 교과서의 분석과 정확히 일치하는 음악적 특징을 성공적으로 포착했다. 연구팀은 누구나 사용할 수 있도록 오픈소스 모델과 웹 애플리케이션을 공개하기도 했다.
연구를 이끈 휴 체스턴 케임브리지대 박사는 “이번 기술은 음악가들이 흔히 화성 진행, 리듬 구조, 선율적 모티브 등 연주에서 나타나는 독특한 패턴이나 지문을 쉽게 파악할 수 있도록 돕는다”고 설명했다.