Alpha Go Zeroの論文の翻訳　その5

Posted on by 後藤 暁子

うわぁ。

以前、下記を書いて、「まだまだ続くよ！」とか言ってましたが…

Alpha Go Zeroの論文の翻訳　その4

7月20日のことでした。(;^ω^)

もう4か月も経ってるやんけ！！！( ﾟДﾟ)

いやー、光陰矢の如し。7月末からいろんなことがあったなぁ…( ˊᵕˋ )

…と、ついつい楽しい夏の思い出を思い返しちゃいましたが、本題は、Alpha Go Zeroの論文の翻訳の最後を書くことでした。

仕事でもAIの開発を進めておりまして、少し詳しくなったと思います。

では、Go!

 

原文はこちら。

https://www.nature.com/articles/nature24270.epdf

 

前回の続きということで、付録的な、「METHODS」という部分の後半になります。

 

Domain knowledge　というところからですね。ではGo!

 

 

Domain knowledge

 

Domain knowledgeとは、専門知識のことである。碁のプログラムでいえば、碁のうちかた、どうやって強い手を繰り出すか、というような専門知識のことである。

Alpha Go Zeroの一番の功績は、専門知識なくして人間を超える知力を達成したということにある。

この功績を明らかにすべく、Alpha Go Zeroが使っている専門知識をトレーニングプロシージャーやMCTS内にかかわらず、数え上げてみることにする。

これらは、ほかのゲーム（マルコフゲーム　プレーヤーが1対1で進める手によって勝率などが左右される、オセロ・将棋・碁などのゲームの総称と思われ。）に使うときは、置き換えられるものである。

 

①ゲームのルール

Alpha Go Zeroはゲームのルールについては、完全に知っている。MCTSのポジションのシミュレーションや最終手を打った時のスコアをつけるのに使われている。

ゲームは両方のプレーヤーがパスしたときと722手進んだ時に終了する。また、プレーヤーはルールにのっとって、有効な手を打つ必要がある。

②スコアリング

Alpha Go ZeroではMCTSのシミュレーションとセルフプレイのトレーニングの最中にTromp-Taylorスコアリングを使っている。

なぜかというと、韓国式・日本式・中国式にせよ、人間のスコアリングはよく定義されてないからである。

ちなみにAlpha Go Zeroで採用しているのは中国式である。（この辺、私が囲碁わからないのでよくわからなかったです(;´･ω･)）

③盤面

盤面は、19×19の画像的なイメージで扱われる。ニューラルネットワークはこのボードに合わせた形になっている。

④盤面の回転など

碁のルールは盤面を回転しても反転しても盤面の強さは変わらない。

それを利用して、MCTSの途中で、盤面の回転と、反転状態もデータの中に入れることができている。

komiっていうものを抜かせば、碁は色を取り換えてもなりたつ。色を変えても成り立つことにより、盤面をどちらのプレーヤーから見るか、と言ったことが成り立たせられる。

 

以上が、Alpha Go Zeroが使っている専門知識の全部である。Alpha Go Zeroがディープニューラルネットワークを使っているのは、MCTSの末端のノードを評価するときと、手を選択するときだけ。

ロールアウトポリシーも使ってないし、ツリーポリシーも使っていないし、MCTSは他のヒューリスティックだったり専門知識によるルールによって評価されたりもしない。

ルール違反の手は使わない。プレーヤーの「目」を埋めることもしない。（多分、碁の話と思われ）

 

このアルゴリズムはランダムな初期パラメーター（ニューラルネットワークに入れるやつ）で始められた。

ニューラルネットワークの構造は、先進的な画像認識の構造である。ハイパーパラメーターは学習の中で変わっていく。

MCTSの探索パラメーターは1個前にトレーニングしたニューラルネットワークを使ったセルフプレイを最適化するために、ガウス過程最適化（でいいのかな？）を使って選択されていく。

より大きい実行のために（40ブロック、40日かける実行）MCTSの探索パラメータはより小さい実行でトレーニングされたニューラルネットワーク（20ブロック、3日）を使って再最適化される。

トレーニングのアルゴリズムは人間が介在することなく、自主的にアップデートされていくのである。

 

Self-play training pipeline

 

Alpha Go Zeroのセルフプレイのトレーニングパイプラインは3つに分かれていて、全部が非同期で平行に動作する。

ニューラルネットワークのパラメーターΘは継続的にセルフプレイのデータで最適化されていく。

Alpha Go Zeroのプレーヤーαは継続的に評価されていく。

ベストなプレーヤーはセルフプレイのデータを生み出すために使われていく。

 

今日はここまで~　ハァハァ(*´Д`)

231 thoughts on “Alpha Go Zeroの論文の翻訳　その5”

  4. I don’t know iif it’s just mme or if perhaps everybody else enccountering issues with yohr site.
    It appears as though some of the text in your posts are running
    off the screen. Can somebody else please provide feedbak and let me know
    if this is happening to them as well? This might be a issue
    with my internet brolwser because I’ve had this happen previously.
    Thank you

    My homepage … online business

  22. I am sure this paragraph has touched all the internet viewers,
    its really really pleasant post on building up new webpage.

  24. Hello There. I found your weblog the use of msn. That is a really neatly written article.
    I’ll make sure to bookmark it and return to read extra of your useful information.
    Thank you for the post. I’ll certainly return.

  38. I loved as much aas yoou will receive carried out right here.
    The sketch is tasteful, your authored subject matter
    stylish. nonetheless, you command get gott an edginess over that you
    wish be delivering thee following. unwell unquestionably come moore formerly again as ecactly the same nearly a lot often inside case you shield
    thios hike.

    Also visit my site: dansöz kiralama fiyatları

  39. Please let me know if you’re looking for a article author for your site.
    You have some really great articles and I bekieve I wouldd
    be a good asset. If yoou evr want tto take some of the load off, I’d really like to wrie some content foor your blog in exchange for a link
    back to mine. Please blast me an email if interested. Cheers!

    My wweb blog: Bodrum Gulet kiralama

  43. Its likje youu read my mind! You seem to know so much
    about this, like you wrote the book in it or something.
    I think that you could do with some pikcs to drive the message
    homme a little bit, but instead of that, this is wonderful blog.
    A fantastic read. I will definitely be back.

    Heere is my web blog … tekne kiralama

Comments are closed.