Alpha Go Zeroのすごさを機械学習とか知らない人向けに説明してみる

Deep Mind社のAlpha Goという囲碁のAIが人間のプロ棋士を負かした、というニュースは皆さんご存知かと思いますが、実はAlpha Goはそれからさらに進化していて、Alpha Go Zeroになっています。

Alpha Go Zeroの何がすごいかっていうと、

①自分自身との対戦で強くなった(教師とするデータがいらない)

②GPUなどの消費がずっと少なくなった

③以前のAlpha Goが数か月で達成した強さをAlpha Go Zeroは数日で達成

③それでいてAlpha Goよりずっと強い(100-0でAlpha Goに勝利)

 

というところなのです!!

この教師とするデータがいらない、というのはすごいことで、なぜかというとデータを集めるのが大変なんですよね。

碁の棋譜データとかは、もうデータになってるんですが(1000年以上分ぐらいらしい(´ω`))昔に紙に書かれたものを、集めるのも大変だっただろうし、データにするのはさぞかし大変だっただろうし、というわけです。

 

2017年10月19日に学術誌Natureに下記のAlpha Go Zeroの論文が発表されていますので、今これを勉強してます。

Mastering the game of Go withouthuman knowledge

https://www.nature.com/articles/nature24270.epdf?author_access_token=VJXbVjaSHxFoctQQ4p2k4tRgN0jAjWel9jnR3ZoTv0PVW4gB86EEpGqTRDtpIz-2rmo8-KG06gqVobU5NSCFeHILHcVFUeMsbvwS-lxjqQGg98faovwjxeTUgZAUMnRQ

 

自分でも考えをまとめるために、いろいろとここに記述しておきたいと思います。

このブログでは、あまり技術的なことは書かないつもりなんですが、現在弊社の技術的なオウンドメディアはメンテナンス中なので、ここに書きます。

 

さて、私の好きな名言に

『6才児に説明できなければ、理解したとはいえない byアインシュタイン』

というのがありますので、ならってやってみようと思います。

Alpha Go Zeroの理論のすごさをAiとか機械学習とかまったく知らない人に説明したいと思います。

 

私の大好きなマンガ、ドラゴンボールの主人公、孫悟空にたとえてみますね!

———————————————————————————————————————————-

孫悟空は亀仙人とか、カリン様とか、界王様とか、いろんな師匠に教えられたり、ピッコロ、ベジータ、フリーザなどの強敵と戦って強くなるじゃないですか。

しかし、孫悟空のクローンが作れるとしたら、孫悟空は自分自身のクローンとずっと対戦してた方が、いろんな先生に教わるよりも、敵と戦うよりも強かった。ということ発見されたわけですね。

 

ここでミソとしては、ただたんにクローンと対戦しててもダメなのです。

6人ぐらいの孫悟空のクローンが同時にいたとして、2人ずつ3組に分けます。

3組は同時に戦います。うち一組を①とすると、①チームは

「最初は軽いパンチ、次にカメハメ波を出したほうが強い」

とかそういうことをひたすら研究します。研究結果はメモって記録していきます。

もう一つの2組目②は、①の研究結果を使って実践で対決します。

んで、本当に強いのー??ということを研究します。研究結果はメモって記録していきます。

最後の3組目③は、②の結果を使って、本当に試合形式で対決します。

そして、勝ったクローンを残し、負けたほうは消滅する、という手段で最強のクローンを残します。

(③の結果は、①チームにも②チームにもフィードバックされます。)

 

これが同時に繰り返し行われることで、この最強のクローンがどんどん強くなっていく、ということです。

ただ、100万回ぐらい繰り返さないとダメなんですけどね(;^ω^) 「精神と時の部屋」でやればいいんでしょう。

 

悟空が強くなるためには、最初に格闘技の知識すら必要ありません。

———————————————————————————-

 

 

以上はだいぶ概略のイメージです。

伝わったでしょうかー?!( ゜Д゜)

 

しかし、6歳児には説明できてないなw

 

ドラゴンボール好きな人には説明できたかもしれないww

実はこのたとえ話を書きたかったw

 

AIの強さがどんどんインフレしていく感じが、少年漫画っぽいじゃないですか。

前回のシリーズで敵だったキャラが、今回の敵キャラにまったく歯が立たない、というのはよくある展開ですよね!!

Alpha Goは、もうAlpha Go Zeroにまったく歯が立たないんです。

「おめー、つええなぁ。オラ、わくわくすっぞ!!」

 

 

ところで、この仕組みを

「いたって単純」

という人がいます。上のたとえを読んだ人も、そう思われたのではないでしょうか?!

スゴイプログラムというのは、なんかもっとそんな単純なことじゃなくって、何万行もあったり、その中でヽ(*`Д´)ノ【ス】【ゴ】【イ】ヽ(`Д´*)ノことが行われたんじゃないか、と思われたのではないでしょうか?!

 

ちなみに、論文読んでるだけではわかりにくい部分もあるので、下記のソースコードをサンプルにして勉強しました。

下記はオセロをAlpha Go Zeroの仕組みで学習する、というプログラムです。

https://github.com/suragnair/alpha-zero-general

確かに、とってもシンプルです。

 

 

印刷すると、ホワイトボード一枚に収まるらしいですね。

 

「AlphaZeroのソースコードはわずかホワイトボード一枚に収まる : 情熱のミーム 清水亮」

https://japanese.engadget.com/2018/02/12/alphazero/

 

わかってしまえばそうだな、なんぜ今までやらなかったんだ!ということって、結局それを発見、発案した人はすごいですよね。

コロンブスの卵と一緒ですよね。

 

単純なことだとしても、「わかる」までの道のりは、果てしなく遠かったわけじゃないですか。

今までのAlpha Goでの取り組み、モンテカルロ木探索、強化学習、ResNetとか今までの研究結果のいろんなことを詰め込んでなされたわけですよね。

 

この仕組みを考えた方の努力と天才性に拍手喝采、そしてそれを公開してくれることに感謝感激です。

 

実用性に異議を唱える人もいますが、世のいろいろな人が試してみたところ

・完全情報公開ゲーム

・ゼロサムゲーム

では、この方法が相当強いことがだいぶ証明されているようです。

 

 

次回は論文の中身を真面目に紹介する予定でーす(`・ω・´)

レディプレーヤーワン最高でしたo(>▽<)o

気の合う友達や、姉がおすすめしてくれたので、絶対見に行かねば!と思っていたレディプレーヤーワン。

見てきました!安定のJ嬢と一緒に💛

 

めっちゃ面白かった~!!(つД`)

4DXで見たんですけど、それもよかった。3200円もしたんだけど、大枚はたいた甲斐があった!!( ゚Д゚)

今まで見た4DXの映画は「スターウォーズ」だけでしたが、あまりシーンと揺れがあってないなって気持ちだった。

でも、今回は、4Dについての認識を新たにした!!!

アバターを見たときに、3Dとはこういうものなんだ!と思ったように!!

ああー 言いたい~ でも言うとネタバレになる~

最初のうちに金田のバイク出てくるから、これぐらいはいいか。

オタ属性の方はより楽しめると思いますo(>▽<)o

オタが世界を作り、オタが世界を救う… そういう映画なのでw

ついにそこまで来たかw

何かの折に

「俺はガンダムで行く!」

って言いたい…(●^o^●)

 

…もちろん、別にオタクでなくても普通に楽しめます。

 

 

しかし、残念なことに!!

冒頭のシーンを見逃したんですよ!!(つД`)

大好きなVAN HALENのJUMPが流れるシーンって冒頭ですか??

JUMPを聞かなかったんですが(>_<)

 

 

なぜ遅れたかというと…

横浜イングリッシュガーデンなるものに行っていたからです⊂(^-^)⊃

バラが~ バラが~

めっちゃある!!

しかも、かなり凝ってる!

去年、花菜ガーデンというところに行ってきたんですが↓

花菜ガーデンというところにバラを見に行ってきました

花菜ガーデンよりちょっと規模が劣るぐらいで、何より横浜から近い!!バラ好きな人におすすめ(`・ω・´)

はぁぁ~ バラ最高♪ 見た目、香り、その先初めから終わりまで、やっぱり最高ですね。

 

雨降ってて寒かったんですけど、雨に濡れたバラも美しかった~ はぁぁ

いつも、楽しいことを提案してくれるJ嬢に感謝💛

 

しかし、ここにたどり着くのにめっちゃ時間かかったんですよ。地元だから、電車からいつも見れるとこだから行けるだろうと思っていたら。

線路、川に阻まれた要塞ですよ?!ここは。

たどり着くのに1時間近くかかった(>_<)

時間がなくなってゆっくり見れなかったのと、晴れの時を見たいし、バラが盛りの間にまたリベンジしたい!

今度は一眼レフ持って写真撮りまくりたい!!

どうやら、朝からやってるみたいだから~。

朝出社前に行こうかな?!

 

でも、要塞だし。

あー、こういう時、小回りきくバイクとか、自転車とかあったらいいのに~

ハッ( ゚Д゚)

 

 

俺はガンダムで行く!!!!!!

 

 

 

竜の夜からの脱出

先日のことですが、リアル脱出ゲーム「竜の夜からの脱出」に行ってきました!

よみうりランドであったので、ゲームが始まるちょっと前に行って遊んできました⊂(^-^)⊃

普通、遊園地とか行くと、ジェットコースターとか乗りません??

でも、脱出ゲーム勢でいったので… 当然アトラクションも脱出ゲーム系に…www

みんなどれだけ自分の知力、体力を試したいねんw

オリジナルのUFO作ったり、クレープ食べたりして、もちろん楽しかったですo(>▽<)o

Sちゃんが

「私、大学時代にこんなことしてなかった!(´・ω・`)今、大学生みたい!!」

というので、

私「そうやで、Sちゃん今、私たち、オレンジデイズの中にいるんやで(≧ω・)」

♪とどいて くれると いいな

どこからともなく流れるミスチルのSign…。

って、私、オレンジデイズって2回ぐらいしか見てないんですけどね!(ノ≧ڡ≦)

 

バンジージャンプをやろうと人生で初めて思ったんですが、なんと!艦これのイベントがあって、提督さんたちがたくさんバンジーをなさっていて、なんと1時間待ち!!

残念ながらw やれませんでしたー!!(内心、ノリでやろうとして後悔してたんでホッ)

 


 

そのあと、脱出ゲーム。

結果は…。

脱出できませんでした!!!

むずい。

 

個人的な望みを言えば、なんか柔軟なエンディングができたら楽しいですけどねo(>▽<)o

昔、「SUITS」というアメリカのドラマが好きだったんですがその中で好きなセリフに

「頭に銃を突き付けられたとしても、逃げる方法が127通りある」

ってのがあります。

こういう考え方好きなので、脱出ゲームでも、なんかアイデア次第で脱出できたことにしてくれるといいんですけどね~w

ま、それだと大量の人をさばけないから、ビジネス的に無理か~。

 

とはいえ、ゲーム自体はなぞもよくできてるし、楽しかったですo(>▽<)o

さすがスクラップさん。

また脱出ゲームしたいな~!!!と思いました。

目黒川にお花見とフォークナーの読書会というのに行きました

先日のことですが、人生で初体験×2!!

その一。目黒川にお花見。

桜、大好きだけど、目黒川って一度も行ったことなかったんですよ~。

なんかさ、できればお花見って、自然の中の方がいいんだよな~。桜ONLYよりも、緑に囲まれた桜を見たいというのが私の好みだったんで、今まで行ってなかったんですよw

というわけで、初上陸!!

いや、楽しかった!!!!⊂(^-^)⊃

あったかいし、天気いいし、お祭り気分で楽しいし💛

お花見って、なかなかあったかくない問題ありますよね。(´・ω・)

それが、今年はどうですか!!!毎日、あったかいし、晴天だし!!!この世の春を満喫しないでどーする!!!

ジャスミン嬢と一緒~

かわいい💛、かわいいよ、ジャスミン!!(*´Д`)ハァハァ(定期)

ジャス嬢の写真を100枚以上撮るの巻。

花も団子もいただきたい!⊂(^-^)⊃

 

その二。

お花見の後、読書会なるものに初めて参加しました~。

読書家のジャスミン嬢に誘ってもらったのです(^_^)

課題本があって、フォークナーというアメリカの作家さんでした。

なんかね~ 読みづらかったんですけどね。

結論から言うと、私は好きです!!!⊂(^-^)⊃

ワイルドで硬派というか、ややダークサイドというか。美学なんですよね~。

で、フォークナーのことが大好きっこが集まるのかと思ってたら、そうではなく

「わかんないね」
「読みづらいね」

って意見が多く、みなさん教養として、このぐらい読まなきゃ~ って感じでしたので、肩透かしを食らいました。(;^ω^)

しかし、いろんな方の感じたことを聞いていると、そんな感じ方があるのかと驚いたり、小説に対する理解が深まったり、もう一度読み直しているようでしたね。

人と会話することって大事なんだな~。

めっちゃ知的なエンタメだなぁと感じました(^_^;

 

さて、読書会になんとドレスコードがありw その日のドレスコードは「アメリカ」

白のハイネックに赤と青と白のチェックのスカートで、

「これで赤・青・白でアメリカじゃろ??」

と思ったんですが、ジャス嬢にダメ出しされまして。

急きょサンキューマートというお店に行きました。

 

す、すごい、サンキューマート!!

こんなお店が世の中にあったなんて…!かわいいチープなもの一杯で、楽しすぎる~。⊂(^-^)⊃

 

二人でいると、悪ノリの大天使がいつも降りてきちゃうんで、Yeahってサングラス(?)とハート型のサングラスを「こりゃUSAですわ」ということで購入。

あと、謎のソフトクリーム。

 

 

@横浜駅。浮いてますね!!

 

最後はいきなり真面目な話ですが、フォークナーの小説の中でドゥルーシラさんという女性が要約すると

「何かに夢中になっている間に死んだ方がいいわね。」

っていうシーンがあるんですが、実はこれにめっちゃ同感しちゃったんですよ~。(`・ω・´)

夢に夢中になっている間に死ねたら美しいだろうなって思うんです。

桜もきれいな内に散るからいいんですよね。

夢がかなったり、あきらめてしまったりした後…なんか失望したり、無気力に生きていきたくないな。(´・ω・)

とは言っても、

「んじゃ、死ねよ!!」

と言われたらもちろん嫌ですけどねwww

その美学と、実際は生きていたいなって葛藤が描かれてて深いな~ って思いました。

Helloweenのライブに行ってきました

以前、ちょびっと書きましたが

HELLOWEEN

私の大好きなドイツのメタルバンド「Helloween」のライブに行ってきました!

マイケル・キスクの歌うEagle fly free が生で聞けるとは!!!
。・°°・(((p(≧□≦)q)))・°°・。ウワーン!!

マイケル・キスクとアンディ・デリスのデュエット(?)でKeeper of the seven keys が聞けるとは!!!
。・°°・(((p(≧□≦)q)))・°°・。ウワーン!!

カイ・ハンセンとヴァイカートとサシャのトリプルギターが聞けるとは!!!
。・°°・(((p(≧□≦)q)))・°°・。ウワーン!!

と、終始感動しっぱなしでした。

しかも、2時間50分も演奏してくれたんですね~。

感謝×感謝。⊂(^-^)⊃

 

私が人生でカラオケで一番歌った曲は、「Eagle fly free 」です。(`・ω・´)

 

Eagle fly free、I want out、Future world、Sole survivor、Powerなどの名曲は外さず!

カイと言えばこの曲!「Ride the sky」もありましたし!o(>▽<)o

それにしてもカイの髪型が変だったw

 

あえて…あえて言えば!

「March of time」聞きたかった~(>_<)

すっごく好きなんですよ。

皆さんが書いたセットリスト見てたら、ほかの日はやってたみたいです。

でも、十分すぎるほど楽しんだんですけどね⊂(^-^)⊃

Helloweenの曲には夢と希望があります…(そう思うのは私だけかもしれないけど)

メンバーの皆さんに感謝です。

 

人生、生きてるといいことあるなぁ~ と実感した日でした。

チケット取ってくれたうえちゃん、ありがとう!!大感謝です💛ヾ(´ω`○).

 

「数学ガールの秘密ノート/場合の数」という本を読みました  

最近、AIの勉強をしてますが…

それって数学のことばっかり(´;δ;`)ううう

高校生のころ…一番苦手だった数学…。

しかし、やらねばねばねばですね!

 

で、リハビリ的になんか読もうと思いまして、これもamazonさんから

「ユー!これ読んじゃいなよ」

とおすすめされたのでポチりました。

 

結城浩さんの本だというのも大きかったです。

プログラムの本などでも、結城さんのJavaのデザインパターンの本を持っていますが、実にわかりやすく、そしてためになった覚えがあります。

 

んで、数学ガールの秘密ノートですが…。

内容は簡単だし、わかりやすい!

なるほど~ と頭の体操になります。⊂(^-^)⊃

しかし、変にラノベ調なんですよね~。(´・ω・)

 

3人のかわいい女子高生が出てきて、主人公の数学大好き男子がなぜかモテモテ的な設定なのですが…。

いるのかな?この設定…。

きっと、男子読者にはいるんでしょうね。

じゃないと、ただの数学の教科書みたいになっちゃうんだろうから。

 

中途半端感が気になるので、いっそ

「とある数学オタクな俺がモテモテハーレムなのだが ゼロから始める場合の数を考えてみた編」

とかタイトルを変えて、異世界モノとかにしてガチラノベ風にしてみるのもいいかもしれませんね。(ただの勝手)

 

「君たちはどう生きるか(漫画)」を読みました

確か、この本↓

「ウシジマくん×ホリエモン バカは最強の法則」という本を読みました

を買ったときにamazonさんから

「ユー!これも買いなよ!」

っておすすめがあって、表紙の絵が印象的だったので買っちゃいました。

本屋さんでも平積みされていて、売れているらしいですね。

実際、いい本です!


途中、ちょっとうるっときてしまいました(つД`)

 

最近、こういう漫画&ちょっと文章 という構成の本増えてるんですね。

読みやすいし、時代にあっていていいと思います。

 

生き方については、常々考えさせられますよね。

自分が後悔しない生き方をしていきたいもんです(`・ω・´)

宮さん人狼LINEスタンプの販売を始めました!

私が、「人狼」というゲームにはまってるのはちょこちょこ紹介してますが、中でも、宮川さんという方の人狼にはよく行きます。

ゲームって、誰とやるかは大きな問題だと思うんですが、中でも人狼はほぼ会話で進めるゲームなので、誰とやるか、は重要だと思います。

宮川さん=宮さんのところの会は、その点、統制がしっかり取れていて、暴言を吐く人や、あまりマナーがよくない方はいらっしゃらないので、気持ちよくやれます。

加えて、強いプレーヤーさんが多いんですよね~。⊂(^-^)⊃

そこが宮さん会の魅力だと思います💛

 

さて。

ある日、人狼のLINEスタンプほしいな~ って思ったんですよ。

人狼やる友達と会話するときに、「いるな」wってw

しかし、スタンプショップに、「これだ!」ってのなかったんですよ。なので、自分で作っちゃおうかとwww

前から、LINEスタンプの制作は若干興味あったんですが、種類を多く作らなきゃいけないのが大変、と聞いてたんですよね。

ですが、調べてみたところ、今は最低8個でも発行できるらしい!

なので、作っちゃいました⊂(^-^)⊃

 

https://store.line.me/stickershop/product/3118240

 

苦労した点①

宮さんの写真の切り抜きで、宮さんの髪の毛のギザギザを切り抜くのがめんどかったw

このね、矢印の部分ねw

Photoshopで作るんですが、Photoshopperにとって、人間の髪の毛の切り抜きは永遠の課題と言っていいでしょう…。

 

苦労した点②

LINEにリジェクトを3回もくらったw

 

人狼のカードを持ってる画像があるんですが、この著作権にひっかかるからダメ、と。

人狼のカードは、しかし、宮川さんに著作権があるものなのですけどね。

LINEって、メッセージ送っても、まったく返事返してくれないんですよ。

返事をしないと決めているなら、メッセージセンターって名前じゃないほうがいいと思うんですけどね。

通知センターですね。

AppleとかGoogleの方が、まだフレキシブルだぞ?!

ここで、足止めをほぼ1か月くらいました。。。。

 

そして、著作権問題をクリアした後、またリジェクト。以下、LINEさんからのメッセージ。


 

また、お客さまに申請いただいたスタンプは、世界の異なる文化・習慣の観点から
販売国を25カ国に限定させていただきます。

アルゼンチン
オーストラリア
ベルギー
ブラジル
カナダ
デンマーク
イギリス
フィンランド
フランス
ドイツ
アイスランド
アイルランド
日本
ルクセンブルク
ニュージーランド
ノルウェー
ポルトガル
南アフリカ
スペイン
スウェーデン
台湾
タイ
オランダ
ウルグアイ
アメリカ合衆国


 

マ?w

どして??(´・ω・)

天国、とかそういう表現があるから、宗教的にNGというのはわからないでもないけど、韓国や中国で売れないの?( ゚Д゚)

台湾はOKで??

フランスはOKでイタリアだめなの?

 

ま、しょうがないので、この点を修正…。

 

という苦労の末に、宮さん人狼のLINEスタンプがやっと発売になりましたヾ(´ω`○).

宮さん人狼スタンプ

https://store.line.me/stickershop/product/3118240

ちなみに、LINEスタンプでは全然儲かりません!!

クリエイターの取り分は…

まず、Apple、Googleが手数料を30%取ります。

120円×0.7=84円

そこから、LINEが手数料を50%取ります。(鬼!!)

84円×0.5=42円

1個スタンプが売れても42円しか儲からない(つД`)

 

ま、営利目的じゃないんでいいんですが( ・∀・)

 

ちなみに、弊社名(株式会社オンラインコンサルタント)で売り出してますが、あまり会社は関係ないです(^_^;。

 

個人的には久しぶりにデザイナー的なことをしたので楽しかったですね!ヾ(´ω`○).

最近は、業務用アプリのデザインばっかりなので、純粋に見た目を楽しんでもらう、ということがなかったからですね。

友達や、宮さん会の方が早くも使ってくれていて、そういうの見るととっても嬉しいです💛

 

麻雀ェ

友達二人が、麻雀覚えたいというので、教えました!!⊂(^-^)⊃

って、私も麻雀は初心者なんだけどw

 

麻雀って、あらゆるゲームの中で、一番面白いと思うんだよね。

今、人狼にはまっている私でも、そう思う。

運、駆け引き、頭脳、獏才、経験、勇気

その全部が試される!!(`・ω・´)

そのゲーム性がすごい。麻雀考えた人天才。

しかも、このゲームはインスト一日じゃ終わらないんだよね(笑)ルールは複雑。

なのに、こうやって世代を超えて愛される💛 それがもう、麻雀スゲエエエってなりません??

人狼始めてから、ゲームクリエイターの方とお会いすることも多くなりましたが、ゲーム作るってすごい楽しいよね。

麻雀超えるゲームを作れたらすごいですよね。

 

雀荘で、女3、男1で打っているのは相当めずらしい気がする⊂(^-^)⊃

ジャスミンが一生懸命考えてるのがかわいい~💛 もえもえきゅん

あ、ちなみに私、めっちゃ弱いです。

この日も、初心者二人に上がれないという展開だからwwwww

心の中では福本マンガ的な進行をしてるんですけどね!

「この手… スーアンに化けるぞ…っ!!」

とかね。

ざわ…ざわ…。

データサイエンティスト養成読本という本を読みました

急に春っぽくなったり、寒くなったりしてますね!

私は、春が一番好きです!!⊂(^-^)⊃ ビバ!!暖かさ!

周りで風邪ひく人も多いので、気を付けてくださいね~。

私は、寒いとすぐ風邪をひくので(>_<)、3月は冬服を着る!って決めてます。

実のところ、4月の半ばまで冬服着ていたいぐらいですが、さすがに4月を過ぎて冬のコート着てるとファッション的にどうなの…(´・ω・) ってなりそうですからね~。

 

さてさて、表題の本を読みました!

AIとかに興味があって仕事でも使いますので~。

わかりやすくてよかったです⊂(^-^)⊃

プログラマー向けなので、一般の方にお勧めはしません。

 

以前、

ゼロから作るDeep Learningという本を読みました

って書いたように、「ゼロから作るDeep Learning」って本を読んだんですけど、今回読んだ

「データサイエンティスト養成読本」

から読めばよかった。

流れ的に、機械学習→ディープラーニングの方がわかりやすい気がします。

今回、「データサイエンティスト養成読本」読んで、「ゼロから作るDeep Learning」で書いてあったことであまりわからなかったことが、今わかるようになって、また「ゼロから作るDeep Learning」を読み直しています。