Alpha Go Zeroの論文の翻訳 その5

うわぁ。

以前、下記を書いて、「まだまだ続くよ!」とか言ってましたが…

Alpha Go Zeroの論文の翻訳 その4

7月20日のことでした。(;^ω^)

もう4か月も経ってるやんけ!!!( ゚Д゚)

いやー、光陰矢の如し。7月末からいろんなことがあったなぁ…( ˊᵕˋ )

…と、ついつい楽しい夏の思い出を思い返しちゃいましたが、本題は、Alpha Go Zeroの論文の翻訳の最後を書くことでした。

仕事でもAIの開発を進めておりまして、少し詳しくなったと思います。

では、Go!

 

原文はこちら。

https://www.nature.com/articles/nature24270.epdf

 

前回の続きということで、付録的な、「METHODS」という部分の後半になります。

 

Domain knowledge というところからですね。ではGo!

 


 

Domain knowledge

 

Domain knowledgeとは、専門知識のことである。碁のプログラムでいえば、碁のうちかた、どうやって強い手を繰り出すか、というような専門知識のことである。

Alpha Go Zeroの一番の功績は、専門知識なくして人間を超える知力を達成したということにある。

この功績を明らかにすべく、Alpha Go Zeroが使っている専門知識をトレーニングプロシージャーやMCTS内にかかわらず、数え上げてみることにする。

これらは、ほかのゲーム(マルコフゲーム プレーヤーが1対1で進める手によって勝率などが左右される、オセロ・将棋・碁などのゲームの総称と思われ。)に使うときは、置き換えられるものである。

 

①ゲームのルール

Alpha Go Zeroはゲームのルールについては、完全に知っている。MCTSのポジションのシミュレーションや最終手を打った時のスコアをつけるのに使われている。

ゲームは両方のプレーヤーがパスしたときと722手進んだ時に終了する。また、プレーヤーはルールにのっとって、有効な手を打つ必要がある。

②スコアリング

Alpha Go ZeroではMCTSのシミュレーションとセルフプレイのトレーニングの最中にTromp-Taylorスコアリングを使っている。

なぜかというと、韓国式・日本式・中国式にせよ、人間のスコアリングはよく定義されてないからである。

ちなみにAlpha Go Zeroで採用しているのは中国式である。(この辺、私が囲碁わからないのでよくわからなかったです(;´・ω・))

③盤面

盤面は、19×19の画像的なイメージで扱われる。ニューラルネットワークはこのボードに合わせた形になっている。

④盤面の回転など

碁のルールは盤面を回転しても反転しても盤面の強さは変わらない。

それを利用して、MCTSの途中で、盤面の回転と、反転状態もデータの中に入れることができている。

komiっていうものを抜かせば、碁は色を取り換えてもなりたつ。色を変えても成り立つことにより、盤面をどちらのプレーヤーから見るか、と言ったことが成り立たせられる。

 

以上が、Alpha Go Zeroが使っている専門知識の全部である。Alpha Go Zeroがディープニューラルネットワークを使っているのは、MCTSの末端のノードを評価するときと、手を選択するときだけ。

ロールアウトポリシーも使ってないし、ツリーポリシーも使っていないし、MCTSは他のヒューリスティックだったり専門知識によるルールによって評価されたりもしない。

ルール違反の手は使わない。プレーヤーの「目」を埋めることもしない。(多分、碁の話と思われ)

 

このアルゴリズムはランダムな初期パラメーター(ニューラルネットワークに入れるやつ)で始められた。

ニューラルネットワークの構造は、先進的な画像認識の構造である。ハイパーパラメーターは学習の中で変わっていく。

MCTSの探索パラメーターは1個前にトレーニングしたニューラルネットワークを使ったセルフプレイを最適化するために、ガウス過程最適化(でいいのかな?)を使って選択されていく。

より大きい実行のために(40ブロック、40日かける実行)MCTSの探索パラメータはより小さい実行でトレーニングされたニューラルネットワーク(20ブロック、3日)を使って再最適化される。

トレーニングのアルゴリズムは人間が介在することなく、自主的にアップデートされていくのである。

 

Self-play training pipeline

 

Alpha Go Zeroのセルフプレイのトレーニングパイプラインは3つに分かれていて、全部が非同期で平行に動作する。

ニューラルネットワークのパラメーターΘは継続的にセルフプレイのデータで最適化されていく。

Alpha Go Zeroのプレーヤーαは継続的に評価されていく。

ベストなプレーヤーはセルフプレイのデータを生み出すために使われていく。

 


今日はここまで~ ハァハァ(*´Д`)

1分間マネージャーという本を読みました

この前に、ケン・ブランチャードさんの別の本を読んだんですが、それに感動して即買いしちゃったのがこれ。

新1分間マネジャー――部下を成長させる3つの秘訣

とにかく、すぐ読めます。

内容は簡単。

A4のチラシ1枚でも収まるような内容ですが、物語形式になってるというところが深いわけですね(*ˊᵕˋ*)੭ ੈ。

でも、最後はエッツ ってなる展開でした(๏д๏)

私が大事だな~と思ったポイントは次の箇所。

①目標を、上司と部下で一緒にたてる。上司が部下に求めること、部下が自分の仕事だと思ってることはえてして違うから。一緒にする!

②重要な目標は毎日見直してもらう。

③フィードバックはこまめに。人間にとっての最大の動機付けは結果に対するフィードバックだから。
この点は目からうろこですね。ゲームも、結果がわからなければやりませんよね?そういうことなのですよね。

④よいことをしていればほめる(1分以内) やり方が間違っていれば修正する(1分以内)

⑤最初は相手の行動に対して厳しく、後で相手の人格に対して優しくしたほうがうまくいく
これは、さもありなんですね~。私も新人教育について、そう思います。
厳しいことは、後になるほど言えなくなったり、変に受け止められるんですよね。
最初に許されていたことを、後で注意されると、人は
「昔は許してくれていたのに、なんで」
「今更そんなこと言わなくてもいいじゃないか」
って思ってしまうものなんですよね~。
最初は厳しいことを言いづらいのはわかりますが、最初こそ厳しくしないといけないもんなんですよね。

⑥ほとんどの企業が資金の大半を従業員の給与に使うのに、従業員を育てるために使う予算はほんのわずか
よくない、そういうのほんとよくない。

実践しよ!!

 

「数学ガールの秘密ノート/場合の数」という本を読みました  

最近、AIの勉強をしてますが…

それって数学のことばっかり(´;δ;`)ううう

高校生のころ…一番苦手だった数学…。

しかし、やらねばねばねばですね!

 

で、リハビリ的になんか読もうと思いまして、これもamazonさんから

「ユー!これ読んじゃいなよ」

とおすすめされたのでポチりました。

 

結城浩さんの本だというのも大きかったです。

プログラムの本などでも、結城さんのJavaのデザインパターンの本を持っていますが、実にわかりやすく、そしてためになった覚えがあります。

 

んで、数学ガールの秘密ノートですが…。

内容は簡単だし、わかりやすい!

なるほど~ と頭の体操になります。⊂(^-^)⊃

しかし、変にラノベ調なんですよね~。(´・ω・)

 

3人のかわいい女子高生が出てきて、主人公の数学大好き男子がなぜかモテモテ的な設定なのですが…。

いるのかな?この設定…。

きっと、男子読者にはいるんでしょうね。

じゃないと、ただの数学の教科書みたいになっちゃうんだろうから。

 

中途半端感が気になるので、いっそ

「とある数学オタクな俺がモテモテハーレムなのだが ゼロから始める場合の数を考えてみた編」

とかタイトルを変えて、異世界モノとかにしてガチラノベ風にしてみるのもいいかもしれませんね。(ただの勝手)

 

データサイエンティスト養成読本という本を読みました

急に春っぽくなったり、寒くなったりしてますね!

私は、春が一番好きです!!⊂(^-^)⊃ ビバ!!暖かさ!

周りで風邪ひく人も多いので、気を付けてくださいね~。

私は、寒いとすぐ風邪をひくので(>_<)、3月は冬服を着る!って決めてます。

実のところ、4月の半ばまで冬服着ていたいぐらいですが、さすがに4月を過ぎて冬のコート着てるとファッション的にどうなの…(´・ω・) ってなりそうですからね~。

 

さてさて、表題の本を読みました!

AIとかに興味があって仕事でも使いますので~。

わかりやすくてよかったです⊂(^-^)⊃

プログラマー向けなので、一般の方にお勧めはしません。

 

以前、

ゼロから作るDeep Learningという本を読みました

って書いたように、「ゼロから作るDeep Learning」って本を読んだんですけど、今回読んだ

「データサイエンティスト養成読本」

から読めばよかった。

流れ的に、機械学習→ディープラーニングの方がわかりやすい気がします。

今回、「データサイエンティスト養成読本」読んで、「ゼロから作るDeep Learning」で書いてあったことであまりわからなかったことが、今わかるようになって、また「ゼロから作るDeep Learning」を読み直しています。

 

 

明けましておめでとうございます。

新年あけましておめでとうございます。今年も宜しくお願い致します。

さて、新年の計は元旦にあり!

なので、毎年元旦にはこのブログを更新していて、目標と達成率を発表しているのですが!

今年は「格付け」の後「相棒」を見るという毎年恒例のコンボにはまって、今日が終わらないか…今、はっきり言ってめちゃ焦ってます(”◇”)ゞ

ってか、タケモトピアノさんのCM量スゴ… いったいいくらかけてるのでしょうか???

 

さて、去年はどうだったかというと!

新年明けましておめでとうございます。

 

①目標 売上 ●円!!

具体的な目標は書けませんが、達成できそうです!!(ノ´▽`)ノオオオオッ♪

結構無理目の目標を立てたんですが、スタッフの皆さんがよくあきらめずにがんばってくれたものだと思います!!

ありがとう~!!

 

②本も、毎月読む!

これは…ちとだらけてましたね(;’∀’) 半分ぐらいかな…アハハ

 

③ジムに、月に4回以上行く!

これも…まったくだらけててだめだめだめでした!!

 

2017年は、仕事が一段落飛躍した年として、私にとってはメモリアルな一年となりました。

Smart動態管理という運送会社・配送会社さん向けのパッケージが超大手のお客様から、中小のお客様に広く導入していただけました。
ありがたいことです。

プライベートでも、よい友人たちに恵まれ、楽しくすごした一年でした(⌒∇⌒)

 

2018年は、この勢いにのって、さらなる飛躍を遂げたいです。

なので、目標は変えません!

①目標 売上 ●円!!

やる!がんばる!!去年以上に、頭使っていかないと、ですね。

 

②本も、毎月読む!

①に関係するんだけど、結局、知恵って本当に大事ですよね~。

なんで、小説とかはカウントしなくって、技術書かビジネス書ですね。小説はシュミなんで、ほっといても読みますから(;^_^A

 

③ジムに、月に4回以上行く!

ほぼ毎年言っててww 無理ゲーと化しているこの目標なんですがwww

去年の年末に、ほんっと健康って大事だな!!って思うことがありまして。

ポートフォリオの一番上に、健康を置きたい。

だから、運動はしたほうがいいよね~。すわりっぱなしの仕事なので(´;ω;`)

 

 

今年も晴れ着着ました!

自分で着ようとしたんですが、二重太鼓というのを初めて知りまして( ゚Д゚) 結局母に帯はやってもらいました(;^_^A

 

そして、今年の会社から皆様にお送りしている年賀状はこちら!

謹賀新年

http://mailchi.mp/eb15fb351663/v8d3s4mjor?e=[UNIQID]

 

今年は、どうぶつタ〇ーバトル。

このネタ、どれぐらいの方がわかってくれるだろうか…。

そして、今年は戌年ということで、うちの実家のシェルティのサスケです。(^▽^)/

 

ああっ 元旦が終わってしまった(´;ω;`)

 

ですが、今年もどうぞ弊社と弊社スタッフ一同、より精進していきます。

今日も、元旦でももちろん会社は休みですが、テストプログラムに不具合があって、アラートメールが来たので、うちのスタッフが対応してくれたりしました。ありがとう!!

今年もオンラインコンサルタントをよろしくお願いいたします。

高校の文集に寄稿させて頂きました。

私は熊本の熊本高校という高校を卒業したんですが、そこの高校生さんが読む、将来の進路の参考になる文集

「君は何をめざすかⅣ」

という文集に寄稿させて頂きました。

名誉な機会を頂きまして、誠に有難うございました。m(_ _)m

 

最初に迷ったのが、高校生のころって仕事のイメージってあんまりないと思うんですよね。

ドラマでやっている、医者、弁護士、教師、刑事などはイメージつくと思います。

しかし、ITの会社で8時間机に向かってカチャカチャやっている仕事はあまりイメージがつかないんじゃないでしょうか。

 

なので…私の仕事の話よりも、私が日ごろ思っていて、高校生さんたちに伝えたいことをだいぶストレートに書きました。

そのきっかけとなったできごとは、ある日、コンビニのマンガのコーナーで、一段の全部が

「大人が高校生のころにタイムリープする(あるいは疑似的なやつ)」

 

だったんですよ。

なんかですね、世相かな~ って思いまして。

「大人というのはつまらないに違いない!高校生のころがマックス楽しいに違いない!大人になったら高校生のころに戻りたいと思うに違いない!」

と高校生自身が思ってるんだろうな~ って思ったんです。

…。

なので、高校生も楽しいだろうけど、大人ももっと楽しいよ!!ということを伝えたかったんです。

大人が楽しいのは、「自由」!「お金」!「仕事」!の3つがキーワードですかね。

 

書いた本文を残しておきたいので、下記に投稿しておきます。

高校生さん向けなので、大人さんに読んでいただくにはちょいと口はばったいですし、今読むと文章が変で直したいところいっぱいですけどね…。(;^ω^)

重ねてになりますが、ご紹介有難うございました。


タイトル:「大人になっても毎日楽しく生きる」

本文:

熊本高校を卒業してから、22年が経ちますが、今でも高校生活が毎日楽しかったことをよく思い出します。

 

私は現在、横浜で、株式会社オンラインコンサルタントという会社を経営しています。起業して、11年になりました。現在はスマホアプリで運送業・配送業さん向けのシステム「Smart動態管理」をメインに開発・販売しています。

 

さて、高校生の皆さんに、起業がどうだとか仕事がどうとか話しても、スマホアプリ開発会社の仕事はあまりイメージできないと思います。ですので、もっと平たく、大人になっても楽しく生きる、ということについて書きます。

 

大人になって、働く、ということに皆さんはどういうイメージを持っていますか?

月曜日から、金曜日、朝の9時から5時まで、働く。金曜日の夜は飲みに行ってハッピー。日曜日の夜はサザエさんを見て、「はぁー 明日からまた一週間仕事か~」とため息をつく。

これが、労働する大人のテンプレートイメージだと思います。

 

しかし、私は今まで一度もそんなことを感じたことはありません。金曜日の夜は、次の日休みだからこそ夜中まで仕事に没頭したり、日曜日だって、夜中まで遊べばいいのです。

これは、私が経営者だから言っているのではありません。私がサラリーマンをしている頃からそうでした。

なぜそう思えるか?

それは、自分が選択したことをやっているからです。

やりたいと思って選んだ仕事をしているから、苦にならないのです。

皆さんは、ゲームやマンガ、本に夢中になって、何時間も続けてしまうことがありませんか?仕事も、そのように、楽しければ何時間でもできるのです。

 

高校生の頃は毎日楽しかった、と書きました。

しかし、現在の方が高校生の頃よりもっと楽しいです。⊂(^-^)⊃

高校生の頃は、毎日高校に行かないといけなかったし、お金もありませんね。自分で選ぶ何かはあまりありませんでした。

大人になったら、すべてが自分で選択できます。

住む場所、やる仕事、時間の使い方、食べるもの、何にお金を使うか、すべてが自由です。仕事で何かほかの人に影響を与えられるのは、ものすごい楽しさがあります。仕事をしていなければ味わえない楽しさですよね!

 

私は、起業という道を選択し、時には辛いことがないわけではありませんが、夢に向かって少しずつでも前進するのが、私にとっては最高に楽しいことなのです。

 

よくないのは、

「〇〇しないと他人からバカにされるから」

とかという考えです。

これは、他人基準で自分が選んだことではありませんね。こういう考えでいると、自分で選んだことができないので欲求不満ばかりがたまります。

 

自分が選んだことをする、選んだことに自分で責任を持つ。

それが、大人になっても楽しく生きるヒミツです。

大人になって、

「高校生の頃は楽しかったな~ あの頃に戻りたいな~」

とぼやく大人にはならないでください。

東京Node学園祭に行きましたが、英語が難しくてコーヒー飲んで終わっちゃったよぉ ふええ

ま、タイトル通りでそれ以上ないんですけどね~(つД`)

Node.jsの勉強会、東京Node学園祭に行きました。

http://nodefest.jp/2017/

25日のほうね。

 

Node.jsについては、私はExpressでちょこちょこっといろんなことをやるだけですw

ただ、Node.jsがはやり始めた当初から追っかけてる、という自負はあります。

2010年のブログが発見されました… ( ^ω^)・・・

node.jsに注目中

node.jsに注目中

 

これは売れたバンドのことを、

「あ、そのバンド、昔から知ってる~」

ってドヤ顔でいうアレと同じですね。

7年前から私はくだらないことしか言ってないな…。

 

さて、Node.js界も、カオスを極めてきましたね!!

こちらのサイトによれば

もう迷わない!人気JavaScriptフレームワーク、ライブラリー、ツール総まとめ

 

>GitHubのクイックリサーチによれば、JavaScriptプロジェクトは2017年5月時点で110万以上存在しています。npmjs.orgには利用可能なパッケージが50万個あり、ダウンロード数は毎月約100億>回にのぼります。開発者の数よりもJavaScriptフレームワーク、ライブラリー、ツールの数のほうが多いかもしれません。

だそうです。

 

ひぇぇぇぇ。

そんなんで、一度はこのNode学園祭に行って、情報収集などしようと思ったわけです。

しかし。

しかししかし。

英語のプレゼンで、同時通訳とかないのね~(>_<)

 

…。そのため実のところ、あまりわからなかった。。。ρ(。・_・、)

コード見て、なんとか。

3000円も払ったのにw

コーヒー飲みに行っただけみたいな感じでした。

 

 

唯一、Webassemblyのプレゼンだけが、きれいな英語をゆっくりしゃべってくださったので、なんとなくわかりました。(つД`)

地獄に仏~!!!

しかし、Webassembly、どう使えばいいんでしょうかね。

 

Javascriptより早いわけでもなく、ただコンパクトで型とか構文がいい感じに書けるようです。(間違ってたら誰か教えてください)

GCとかはまだ実装されていないそうです。

 

私はあまり使いたくはありませんがwww

メモリ管理とか気にしたくない( ´∀` )

でも、今後は熱くなるんですかね(`・ω・´)

注目ではあります。

そして、用事があったので夕方で帰ったんですが、懇親会とかどんな感じだったんだろう??

ちなみに、法政大学さんで行われたんですが、川沿いのケヤキとかが紅葉していて綺麗でしたね~。(^_^)

フルートを吹いている方がいて、紅葉の川沿いの散歩がとっても文化的な気分になりました⊂(^-^)⊃

キャンパスも新しくてきれいでした!!

IoT縛りの勉強会! IoTLT vol.33 @ LINE でちょびっとだけLTします

ちょびっとだけLTって頭痛が痛いみたいなことですがw

3分~5分LTなんで、本当にLightningさんなのよ~ w

IoT縛りの勉強会! IoTLT vol.33 @ LINE

https://iotlt.connpass.com/event/67583/

 

Mapboxの話をします。

孫さんのファンドから出資された件でも、ググっと知名度は上がったと思いますが!

まだMapboxを広めたい~⊂(^-^)⊃

 

ほかの登壇者さんの話も、とても楽しみです。

勉強しないとな~。シャキ(`・ω・´)

Lineさんに行くのも楽しみですねヾ(´ω`○).

「道は開ける」を読みました

私が紹介するまでもない、有名な名著ですが!!

デール・カーネギー 「道は開ける」


悩んだことのない人っていないですよね?!

小学生だって、大学生だって、大人も高齢者も若者も悩んでると思います。

どうそれに付き合うか??

人生の、大きな問題ですよね。

 

結局のところ、何が起ころうとも

「要は気の持ちよう」

というのが真実だと思います。

貧乏になっても、村八分になっても、誰かに何かを言われても、自分の心の中が幸せであれば、それでいいわけです。

 

もちろん、例えば親が亡くなったときとか、明らかに悲しみレベルが高いときとかに、そんなこと言われたらむかつきますので、状況にもよりますが。

 

・人生は、「今」という時間の連続なんだから、明日のことを悩んでもしょうがない

・悩んでることを書き出す → できることを書き出す → 何をするか決めて実行する

・他人の幸せに思いをはせる

・祈りが精神的安定をもたらす(私についていえば、無宗教ですが)

・失敗もするが気にしない 大体の人が失敗する

 

などが、私が覚えておこう!と思った点です。

 

私は悲しいことがあったとき、どうするかというと、それはごまかしてもいけないと思うんですよ。

体が傷つけば痛いように、心が傷つけば、悲しくなる。

悩んでることに、正面から向き合うのが、一番いい気がします。

そして、傷も早く治ったほうがいいように、悲しみも早く去ったほうがいいですよね。

悩み、悲しむ時間を少しでも少なくしてくれる、それがこの本のよいところです。

あと、私はなるべく人に話すようにしてます。

自分のことをよく知ってくれてるとか、その状況を理解してくれている人、がいいんじゃないですかね。

 

人生にいろんな苦難があると思いますが、後々考えると、あの時あの苦労があってよかったな、って思ったりします。

他人の痛みとかわかんないですよね。

苦労は買ってでもしろ、というのはよく言ったもんです。

 

だから、世間ではやたらと女性誌なんかで

「愛されるハッピーオーラの持ち主」

とかって見出しが並んでいて、SNSなどでも

「幸せ!幸せ!幸せよう!ドヤァ!」

という時代ですが、

「幸せじゃない状態も受け入れる」

ってことも重要かと思います。

誰にだって苦難は訪れるし、人生は思い通りにはならない。

しかし、自分の人生は自分のものでしかないし、一回しかないので、誰かと比べるのが一番くだらないことだと感じます。

 

それにしても、今アドラーって流行ってるじゃないですか。

ここには書きませんが、アドラーがこの本の中で出てきますが、アドラーが「うつ病」のことに言及している下りは、なかなか過激で波紋を呼びそうだぜ…という感じでした。

 

 

「人を動かす」

はビジネス本として有名なので、以前読んだことがありましたが、こっちの「道は開ける」ももっと早く出会いたかった。

それぐらい、いい本です。

デール・カーネギーさんに感謝感謝です。(⌒∇⌒)

 

達人プログラマーという本を読みました

この本は、去年からずっと読んでて一時中断しちゃったりしたんですが、良書でした~。(^_^)

プログラミングに日々追われていると、どうしてもおろそかになってくるところがあります。

 

コード全体の品質、

後でやればいいやという言い訳(そして後でやらない)、

テストに対するこだわり、

ドキュメント

 

とかですかね。

 

そういう心構え的なところを心構えと実践的にどうすればいいか、ということについてアドバイスをくれる本です。

読むと、意識高くプログラミングしていかなきゃな!(`・ω・´) シャキーン と思いますね。

割れ窓理論とか、確かにその通りで、ダメなところを放置しておいちゃいけないんですよ。

どんどん直していく。

そうじゃなきゃ、全体の品質が劣化していってしまうんですね~。

 

実践的なところでは

・結合度を最小にする

・直行性を大事にする

ということでの実践的なエピソードや方法論も参考になりました。