이세돌 9단의 은퇴 기념 고별전 상대 바둑 AI 한돌은?

이세돌 9단과 바둑 AI ‘한돌’의 기념비적인 대국이 18일 드디어 시작된다. 대중의 관심은 자연스럽게 관심은 바둑 AI ‘한돌’에 쏠리고 있다.

‘한돌(HanDol)’은 NHN이 1999년부터 ‘한게임 바둑’을 통해 쌓아온 바둑 데이터를 기반으로 자체 개발한 인공지능 바둑 프로그램이다. 국내 게임업계 중 자체 개발해 일반인이 상시 대국 가능한 바둑 AI로는 최초인 동시에 유일하다.

NHN은 2017년 초부터 10개월간의 개발 기간을 거쳐 2017년 12월 ‘한돌’ 버전 1.0을 출시했다. 이후 두 번의 판올림을 거치면서 ‘한돌’ 2.0은 1.0에 비해 90%이상의 승률, ‘한돌’ 3.0은 2.0에 비해 90% 이상의 승률을 기록하고 있다.

‘한돌’은 2018년 12월 출시 1주년을 기념해 한 달간 다섯 명의 최상위 랭킹 바둑 프로기사들과 릴레이 대국을 펼치는 <프로기사 TOP5 vs 한돌 빅매치> 이벤트를 진행해 신민준 9단, 이동훈 9단, 김지석 9단, 박정환 9단과 국내 바둑 랭킹 1위 신진서 9단까지 연이어 승리를 거뒀다.

또한, 올해 8월 20일부터 25일까지 중국 산둥성에서 열린 <2019 중신증권배 세계 인공지능(AI) 바둑대회>에 참여해 처음으로 참가한 세계 AI 바둑대회에서 3위 달성하기도 했다.

AI 바둑대회 데뷔전에서 ‘한돌’은 벨기에의 ‘릴라제로(Leela Zero)’(4위), 대만의 ‘씨쥐아이 고(CGI GO)’(8강전 탈락), 일본의 ‘글로비스 에이큐제트(Globis-AQZ)’(8강전 탈락) 등 각국을 대표하는 AI들과의 경기에서 승리하며 국내 AI 기술력을 세계에 선보였다. 대회의 우승과 준우승은 이전 대회 우승 경력으로 유력한 우승 후보로 꼽히던 중국의 ‘절예(FineArt)’, ‘골락시(GOLAXY)’가 차지했다.

바둑 인공지능의 핵심은 대국 시 이길 수 있는 다음 수를 예측하는 것이다. 이를 위해 개발 초기 ‘한돌’은 ‘한게임 바둑’ 데이터 등 사람이 둔 기보를 학습해서 다음 수를 예측하는 정책망을 사용했다. 정책망은 바둑 AI에서 다음 후보 수를 결정하는 딥러닝 모델로, 기보에서 특정 수순과 다음 수순을 각각 입력과 출력으로 하여 다음 수에 대한 확률을 얻어 내도록 학습한 모델을 말한다.

NHN은 ‘한돌’ 출시 시점에 사람이 둔 기보로 학습한 정책망으로 후보 수를 선택한 후 자가 대국을 한 기보로 학습한 가치망과 패턴으로 끝까지 빠르게 둔 롤아웃으로 다음 수에 대한 승리 확률을 얻었다. 가치망은 바둑AI에서 현재 수순에서 승리 확률을 구하는 딥러닝 모델이다. 자가대국 후 나온 각 수순을 입력으로, 대국 결과(승/패)를 출력으로 학습한 모델을 말한다. 롤아웃은 알파고 리/알파고 마스터까지 쓰였고, ‘한돌’은 1.0에서 썼던 알고리듬이다. 바둑판에서 좁은 영역에 돌이 4개나 9개 정도 놓일 수 있는 곳에 특정 패턴의 돌이 놓이면 미리 만들어둔 패턴으로 돌을 두는 것을 말한다. 가치망이 있기 전에 이 롤아웃을 사용하여 현재 수순에 대한 승리 확률을 랜덤하게 여러 번 둬서 얻어낸다. 현재 수순이 얼마나 이길지에 대한 것을 알아 보는 것이다.

이렇게 선택하고 얻은 수에 대한 승리 확률에 MCTS라는 수읽기 알고리듬을 사용하여 다음 수를 예측했다. MCTS는 바둑이나 장기처럼 상대방과 내가 한 번씩 번갈아 가면서 두는 게임의 경우, 내 턴에서 내가 제일 좋은 수, 상대 턴에서 상대가 제일 좋은 수를 번갈아 가면서 시뮬레이션 하여 좋은 수를 찾는 방법이다. 정책망을 포함해 가치망이나 롤아웃 등의 방법으로 평가를 해서 좋은 수를 찾는 알고리듬이다.

NHN은 2019년 현재 버전의 ‘한돌’은 무작위/자가대국으로 만든 기보로부터 학습한 정책망 및 더 정확한 가치망을 사용해 롤아웃 없이 MCTS 수읽기 알고리듬을 통해 다음 수를 예측한다. 여기에 자가 대국을 통해 생성한 기보를 이용하여 학습하는 과정을 반복하여 지속적으로 성능을 개선시키고 있다.

관계자 설명은 따르면 ‘한돌’은 2018년 인간 프로기사 9단의 기력과 비슷한 수준에서, 현재는 2016년 이세돌 9단과 대국한 알파고 리, 2017년 커제와 대국한 알파고 마스터의 수준을 넘어서는 기력을 선보이고 있다.

이번 이세돌 9단 은퇴기념 대국에 나서는 한돌의 경우, 최신 버전인 3.0이 나선다. 한돌 3.0은 프로기사들의 기력을 측정할 때 쓰이는 ‘ELO레이팅’ 기준으로 4500점을 넘는 수준으로 내부적으로 예측하고 있고 한다. 이는 2016년 이세돌과 대국한 알파고 리, 그리고 2017년 커제와 대결했던 알파코 마스터 보다 높은 기력이다. 최정상권인 신진서, 박정환 커제9단은 현재 3,600점대 후반으로 추정된다.

한편, NHN은 바둑 이용자를 늘리는 데 도움이 되고자, ‘한게임 바둑’ 내에서 한게임 바둑 대국실에 상주하며 한게임 9단과 대국 진행하는 ‘한돌 9단 대국’, 대국 중 ‘한돌’이 알려주는 강력한 다음 수 힌트 서비스인 ‘한돌 찬스’, 종료된 대국에 대해 승부에 결정적인 영향을 미친 패착/승착을 확인하고 승부 흐름 파악을 도와주는 ‘한돌 승률 그래프’ 등 바둑 이용자들을 위해 다양한 서비스를 지원하고 있다.

‘한돌’의 개발 및 서비스 목표는 ‘바둑의 기력이 높은 AI뿐만 아니라, 바둑을 배우고 싶고 바둑을 즐기는 모든 이용자에게 도움을 줄 수 있는 AI를 만들어, 보다 재미있는 서비스를 만들어나가는 것’이다.

바둑 프로기사뿐 아니라 일반 유저나 바둑을 전혀 모르는 유저도 쉽게 접근할 수 있는 바둑 인공지능이 되기 위해 덤 조절이나 접바둑, 페어바둑 등의 다양한 대국 서비스, 기풍을 활용한 신규 컨텐츠, 성능이 좋은 바둑 인공지능을 개발하려고 노력 중이다. 또한 ‘한돌’에서 사용한 기술을 활용해 장기, 퍼즐 등으로의 확장도 계획하고 있다.