Alpha Go Zeroの論文の翻訳　その5

Posted on by 後藤 暁子

うわぁ。

以前、下記を書いて、「まだまだ続くよ！」とか言ってましたが…

Alpha Go Zeroの論文の翻訳　その4

7月20日のことでした。(;^ω^)

もう4か月も経ってるやんけ！！！( ﾟДﾟ)

いやー、光陰矢の如し。7月末からいろんなことがあったなぁ…( ˊᵕˋ )

…と、ついつい楽しい夏の思い出を思い返しちゃいましたが、本題は、Alpha Go Zeroの論文の翻訳の最後を書くことでした。

仕事でもAIの開発を進めておりまして、少し詳しくなったと思います。

では、Go!

 

原文はこちら。

https://www.nature.com/articles/nature24270.epdf

 

前回の続きということで、付録的な、「METHODS」という部分の後半になります。

 

Domain knowledge　というところからですね。ではGo!

 

 

Domain knowledge

 

Domain knowledgeとは、専門知識のことである。碁のプログラムでいえば、碁のうちかた、どうやって強い手を繰り出すか、というような専門知識のことである。

Alpha Go Zeroの一番の功績は、専門知識なくして人間を超える知力を達成したということにある。

この功績を明らかにすべく、Alpha Go Zeroが使っている専門知識をトレーニングプロシージャーやMCTS内にかかわらず、数え上げてみることにする。

これらは、ほかのゲーム（マルコフゲーム　プレーヤーが1対1で進める手によって勝率などが左右される、オセロ・将棋・碁などのゲームの総称と思われ。）に使うときは、置き換えられるものである。

 

①ゲームのルール

Alpha Go Zeroはゲームのルールについては、完全に知っている。MCTSのポジションのシミュレーションや最終手を打った時のスコアをつけるのに使われている。

ゲームは両方のプレーヤーがパスしたときと722手進んだ時に終了する。また、プレーヤーはルールにのっとって、有効な手を打つ必要がある。

②スコアリング

Alpha Go ZeroではMCTSのシミュレーションとセルフプレイのトレーニングの最中にTromp-Taylorスコアリングを使っている。

なぜかというと、韓国式・日本式・中国式にせよ、人間のスコアリングはよく定義されてないからである。

ちなみにAlpha Go Zeroで採用しているのは中国式である。（この辺、私が囲碁わからないのでよくわからなかったです(;´･ω･)）

③盤面

盤面は、19×19の画像的なイメージで扱われる。ニューラルネットワークはこのボードに合わせた形になっている。

④盤面の回転など

碁のルールは盤面を回転しても反転しても盤面の強さは変わらない。

それを利用して、MCTSの途中で、盤面の回転と、反転状態もデータの中に入れることができている。

komiっていうものを抜かせば、碁は色を取り換えてもなりたつ。色を変えても成り立つことにより、盤面をどちらのプレーヤーから見るか、と言ったことが成り立たせられる。

 

以上が、Alpha Go Zeroが使っている専門知識の全部である。Alpha Go Zeroがディープニューラルネットワークを使っているのは、MCTSの末端のノードを評価するときと、手を選択するときだけ。

ロールアウトポリシーも使ってないし、ツリーポリシーも使っていないし、MCTSは他のヒューリスティックだったり専門知識によるルールによって評価されたりもしない。

ルール違反の手は使わない。プレーヤーの「目」を埋めることもしない。（多分、碁の話と思われ）

 

このアルゴリズムはランダムな初期パラメーター（ニューラルネットワークに入れるやつ）で始められた。

ニューラルネットワークの構造は、先進的な画像認識の構造である。ハイパーパラメーターは学習の中で変わっていく。

MCTSの探索パラメーターは1個前にトレーニングしたニューラルネットワークを使ったセルフプレイを最適化するために、ガウス過程最適化（でいいのかな？）を使って選択されていく。

より大きい実行のために（40ブロック、40日かける実行）MCTSの探索パラメータはより小さい実行でトレーニングされたニューラルネットワーク（20ブロック、3日）を使って再最適化される。

トレーニングのアルゴリズムは人間が介在することなく、自主的にアップデートされていくのである。

 

Self-play training pipeline

 

Alpha Go Zeroのセルフプレイのトレーニングパイプラインは3つに分かれていて、全部が非同期で平行に動作する。

ニューラルネットワークのパラメーターΘは継続的にセルフプレイのデータで最適化されていく。

Alpha Go Zeroのプレーヤーαは継続的に評価されていく。

ベストなプレーヤーはセルフプレイのデータを生み出すために使われていく。

 

今日はここまで~　ハァハァ(*´Д`)

231 thoughts on “Alpha Go Zeroの論文の翻訳　その5”

  1. 360883 419793I was suggested this blog by way of my cousin. Im no longer certain whether or not this put up is written by him as nobody else realize such detailed about my trouble. Youre fantastic! Thanks! 308737

  2. Olá, eu quero para se inscrever para este webpage para tomar
    mais recentes atualizações, , portanto, onde posso fazê-lo por favor ajudar.

  3. ” To guarantee durability, the Elitebook 8530w is constucted from a magnesium alloy which is stronger than conventional plastic by 18 times – Specifications:CPU:Intel(R) Core(TM) 2 Extreme Processor X9100 (3. These games are certainly not rated as seen games but are successful in providing quality entertainment. The 4 GB 1333 MHz SD RAM allows running all types of speed demanding software, tools, apps, games.

  5. Probola228 Situs Judi Online Sbobet dan Agen Maxbet yang Menyediakan Bonus Terbanyak dan TerbesarKami Probola228 situs Agen Maxbet
    yang paling banyak memberikan Bonus bagi para seluruh member yang sudah mau bergabung bersama kami,
    mulai dari Bonus Member baru game Slot hingga 120%,
    Bonus Member baru Sportbook sebesar 100% dan juga Bonus Member Baru Casino 50%.
    Bukan hanya memberikan banyak bonus, Probola228 juga merupakan salah satu Situs Judi Online yang mempunyai
    layanan Customer Service yang ramah serta online secara 24 jam.
    Dengan memakai tenaga Operator dan Customer service yang sudah sangat pengalaman Probola228
    pasti akan memberikan layanan yang terbaik dan tercepat bagi seuruh member yang sudah mau bergabung bersama kami.

    Dengan Teknologi Server yang paling bagus sudah pasti menjadi setiap member yang
    bermain di Probola228 akan merasa Aman tidak perlu ragu untuk bermain bersama Situs Judi Bola Terpercaya dan Terbaik di Indonesia.

  12. He searched around the large space trying to determine how to find the $2-$4 game. Find your favorite craps how-to site and make the effort to read the material it provides.

  26. I was wondering if you ever thought of changing the page
    layout of your blog? Its very well written; I love what youve got to
    say. But mmaybe you could a little more in the wayy of
    content so people could connect with it better. Yoyve got an awful lot of text for only having onee or 2 images.
    Maybe you could spache it out better?

    my webpage … branda istanbul

  31. Do you have a spam issue on this site; I also amm a blogger, and
    I was wanting to know your situation; we have crezted some
    nice methods and we are looking to swap techniques
    with other folks, why not shoot me an e-mail if interested.

    my homepage; Refrigeration system

  34. I was wondering if you ever thought of changing the page layout of your
    blog? Its very well written; I love what youve got to say.
    But maybe you could a littlle more in the way of cohtent so people could connect with it better.
    Youve got an awful lot of text for only having 1 or two images.
    Maybe you could space it out better?

    Have a look at my site … Eskişehir Oto Ekspertiz

  35. Pretty nice post. I jus stumbled upon your blog and wishdd tto saay that I’ve rrally enjoyed browsing yohr blog posts.
    After alll I wll be subscribing to your rss feed and I hope you
    write again very soon!

    my page deneme bonusu

  36. Hellpo there! This is my 1st comment here so I just wanted to give a quick shout out and say I truly enjoy reading your articles.
    Can youu recommend any other blogs/websites/forums that go over the same subjects?
    Thanks a lot!

    my web page :: brust op in türkei

  37. Pretty nice post. I just stumbled upoin your blog and
    wanted to say that I’ve really loved surfing around your blog posts.
    After all I will be subscribing on your rss feed aand I am hoping you write again soon!

    My blog: Bromelain

  38. Can I simply say what a comfort to uncover somebody tha actually understands what they’re discussing online.

    You certainly understand how too bring an issue to light
    and make it important. A lot mire people
    ought to read this and understand this side of the story.
    I can’t beliesve you are nnot more popular because you most certainly have the gift.

    Also visit my web site Bodrum pansiyon

  39. PENTA Yıkama’nın kaliteli hizmeti ve müşteri odaklı yaklaşımı sayesinde aracım her zaman kusursuz bir görünüme sahip. Teşekkürler!

Comments are closed.