オセロニア ら に。 【オセロニア】リセマラ当たりランキング(12/09更新)

【オセロニア】リセマラ最新当たりランキング【6月24日更新】|ゲームエイト

オセロニア ら に

オセロニアの無課金でおすすめするキャラは少なくありませんが、特に優秀なのが 神属性と 竜属性です。 スキルでは攻撃力の高さはもちろん、発動条件のハードルの低さも戦局に大きく影響します。 また、 コンボスキルでは補助的な能力を持つキャラクターが重宝するのが特徴です。 この記事では、無課金の決戦イベントや逆転コインでゲットできる優秀なAランク駒とSランク駒合わせて10駒紹介するとともに、逆転コインを裏技で入手する方法も紹介します。 また、それぞれのキャラクターの能力についても解説していきます。 コンボスキル コンボスキルもかなり強力で、発動時に 自分のHPが低いほど相手に与えるダメージが高くなるのが特徴です。 最大で 3,600のダメージを狙うことも可能です。 サディエルは 神属性のSランクというだけに ステータスも高いですが、入手するために必要な決戦イベントの「絶級」はクリアがかなり厳しいです。 手に入れれば役立つこと間違いなしなので、 毒スキルなどを駆使しながらクリアを目指しましょう。 オセロニア 無課金でおすすめのキャラ2|イモードラ イモードラは、「 決戦!イモードラ」という決戦イベントで入手できる 竜属性の A駒です。 スキルと発動条件 優秀なATKステータスバフのスキルを持っており、補助キャラとして活躍が期待できます。 パフスキルはイモードラが 盤に出てから表になっている2ターンのあいだ、味方竜駒のATKステータスを 1. 3倍にするというものです。 コンボスキル さらにコンボスキルもパフスキルで、 「竜統一デッキ」かつ「2枚以上ひっくり返せる場合」という条件を満たせば、通常ダメージを 1. 6倍にまで引き上げられます。 バトル中盤以降であればこれらの条件もそこまで厳しくないため、A駒としては屈指のサポートスキルだと言えるでしょう。 デッキにSレアの竜駒などがあれば、凄まじい火力を発揮できます。 そのためとても使いやすく、初心者はもちろん中上級者でも使用しているプレイヤーは少なくありません。 無課金で誰でも入手可能な竜駒の中でも、スタメン 最有力候補だと言えます。 オセロニア 無課金でおすすめのキャラ3|ハーピストエンジェル ハーピストエンジェルは、「 決戦!ハーピストエンジェル」という決戦イベントで手に入る 神属性のA駒です。 スキルと発動条件 返された際に、 受けた通常攻撃ダメージを25%に軽減するというとても優秀な防御スキルを所持しているのが特徴です。 コンボスキル コンボスキルも強力ながらお手軽なのが魅力です。 6倍の特殊ダメージを与えられます。 ダメージが合計で 実質2. 6倍になることに加え、通常ダメージパフなどと 掛け合わせることでより大ダメージを狙うことも可能です。 同じような性能のコンボスキルは他の駒にもあるものの、ここまで発動条件が容易いのはハーピストエンジェルならではと言えるでしょう。 オセロニア 無課金でおすすめのキャラ4|アムジェラ アムジェラは、 逆転コインとの 交換限定でゲットできる 神属性のSランク駒です。 スキルと発動条件 スキルは 自分のデッキがすべて神属性の駒であるときに発動できるという条件で、 相手に 2,100のダメージを与えられます。 神デッキという条件こそあるものの、序盤でも大ダメージを狙えるのがメリットです。 また、スキルレベルを MAXまで上げると、 2,500の 特殊ダメージを与えることができます。 コンボスキル コンボスキルに関しても、 スキル同様デッキが神属性の駒で統一されていることが条件で、駒をひっくり返したあと、盤面に残っている自分の駒数に応じてHPを回復します。 残駒 1枚につき 220を回復できるため、駒数の多い中盤以降に使うことで大幅な回復も狙えます。 複数回発動することで、戦局を立て直すことも可能となるでしょう。 スキルによる特殊ダメージ、コンボスキルのHP回復と非常に バランスの良いキャラクターなので、 アタッカーとして 補助役としても活躍が期待できます。 オセロニア 無課金でおすすめのキャラ5|アルン アルンは、「 決戦!赤竜騎士・アルン」という決戦イベントでゲットできる 竜属性のAランク駒です。 スキルのバフ効果が非常に優秀なことに加え、竜デッキのなかでも屈指の攻撃力を誇るのがアルンの魅力です。 スキルと発動条件 スキルは 「2枚以上返せる場合」に発動できる条件のもと、発動したターンに与えた 通常攻撃のダメージを最大で 1. 9倍にまで引き上げます。 コンボスキル コンボスキルでは 相手が神属性リーダーのときに限り発動できるという条件で、発動したターンの ダメージを最大で 1. 9倍まで上昇させることができます。 発動条件も容易で、バフ値1. 9倍というのはAランク駒の中でも最強クラスです。 相手リーダーが神属性以外では使えないというコンボスキルの条件はなかなか厳しいですが、逆に考えれば 神属性デッキが相手のときは恐ろしいほど実力を発揮します。 さらに決戦イベントで 必ず入手できることから、育てやすいのも魅力です。 オセロニア 無課金でおすすめのキャラ6|祝融 祝融は、「 決戦!祝融」という決戦イベントでゲットできる 神属性Aランク駒です。 スキルと発動条件 スキルは、通常ダメージのうちの 何割かを特殊ダメージとして相手に与えるというものです。 通常ダメージが高いぶん特殊ダメージも上昇するため、バフと合わせて使うことで大ダメージを狙うことも可能です。 コンボスキル コンボスキルは駒を返したあと、盤面の 自分の駒数に応じて特殊ダメージを与えます。 MAXまで育てると駒1枚につき150の特殊ダメージを追加で与えることが可能です。 発動条件がないことに加え、駒数によっては大ダメージを与えることができます。 決戦イベントで 必ず入手できるので、ガチャを引かなくてもスキルをMAXにすることが可能です。 スキルとコンボスキルのどちらもダメージを与える効果となっているので、 アタッカーとして重宝するでしょう。 オセロニア 無課金でおすすめのキャラ7|ブリッツドラゴン ブリッツドラゴンは、「 決戦!ブリッツドラゴン」という決戦イベントで入手できる 竜属性のAランク駒です。 スキルと発動条件 スキルは、 盤面上に自分の魔属性駒が1枚もないことを条件に発動でき、 通常攻撃ダメージを最大で 2倍にまで上昇させることが可能です。 魔駒さえなければ良いという発動条件の低さが魅力で、竜統一デッキで使うならかなりの活躍が期待できるでしょう。 コンボスキル コンボスキルは 「2枚以上返せる場合」ということを条件に、 通常攻撃のダメージを最大で 1. 8倍にする効果があります。 スキルよりはやや発動条件のハードルが上がるものの、2枚以上ひっくり返せる場合はバトル中盤以降であれば頻繁に狙えるので、比較的発動しやすいコンボスキルだと言えます。 スキル発動時の 火力もさることながら、コンボスキルでの 補助能力も非常に役に立ちます。 ただし、 HPが低いのがウィークポイントで、他のAランク竜駒と比べると約半分となります。 オセロニア 無課金でおすすめのキャラ8|アムルガル アムルガルは、 逆転コインとの 交換限定でゲットできる 神属性のSランク駒です。 総合力が非常に高く、Sレアキャラの中でもトップクラスの性能だと言えるでしょう。 スキルと発動条件 アムルガルのスキルは、 自分のデッキがすべて竜属性の駒のときに発動可能です。 アムルガルを含め、盤上にある自身の竜駒の数に応じて通常ダメージを上昇させます。 スキルのバフ値は 竜駒1枚につき 1. 3倍です。 スキルレベルをMAXまで上げると 2. 2倍まで上昇でき、他のキャラのバフスキルと 掛け合わせることで 5,000以上のダメージを与えることも可能となります。 コンボスキル コンボスキルの効果もスキルと同様で、 デッキの駒がすべて竜属性のときに発動できます。 アムルガルを含む盤上の 竜駒1枚につき通常攻撃が 1. 3倍に上昇します。 最大では2. 2倍のダメージを与えます。 逆転コイン限定キャラなので、無課金でもゲットできるとは言えスキルレベルMAXまで上げるのは手間がかかります。 オセロニア 無課金でおすすめのキャラ9|ファウスト ファウストは、「 決戦!ドクトル・ファウスト」という決戦イベントで入手できる 魔属性のAランク駒です。 ステータスの高さに加え、スキル・コンボスキルともに非常にハイスペックです。 スキルと発動条件 スキルは 毎ターン400の毒ダメージを与えることができ、無条件で発動できるスキルのなかではかなり強力になります。 安定して相手のHPを削ることが可能です。 コンボスキル コンボスキルは、 「3枚ひっくり返せる場合」が条件なので比較的ハードルは高めですが、 通常攻撃ダメージの 1. 7倍という大ダメージを 特殊ダメージで与えることができます。 コンボスキルの攻撃力に関してはSランクと肩を並べるレベルだと言えるでしょう。 発動条件に属性のリンクが必要ないのがファウストの魅力です。 安定して毒ダメージを与えながら、コンボスキルを組み合わせることで最強クラスの攻撃力を発揮できます。 属性を問わず役に立つので、混合デッキで重宝すること間違いなしです。 オセロニア 無課金でおすすめのキャラ10|グレリオ グレリオは、 逆転コインとの 交換限定でゲットできる 竜属性のAランク駒です。 スキルと発動条件 スキルは発動条件がなく、通常ダメージを 上昇させます。 スキルレベルをMAXまで上げることで最大1. 5倍まで効果を上げることが可能。 さらに、相手の罠やカウンター、防御といった効果を受け付けない 貫通効果を備えています。 攻撃力こそアルンやブリッツドラゴンに劣るものの、発動条件がないことに加え貫通効果でカウンターなどを恐れる必要が無いのは大きな魅力です。 コンボスキル コンボスキルは、 自身のデッキがすべて竜属性の駒という条件で通常攻撃の ダメージを最大で 1. 6倍に上昇させられます。 竜統一デッキで挑むなら発動条件を意識する必要はなく、 補助役として非常に役立ちます。 竜デッキで使用するのであれば 使いやすさは屈指のレベルです。 ステータスに関しては、HPやATKともに竜属性Aランクの平均程度です。 貫通効果を上手く使うことでかなりの戦力になるでしょう。 オセロニアの無課金でおすすめキャラ 今回、無課金で手に入るおすすめキャラを神属性と竜属性をメインに10駒ご紹介しましたが、いかがだったでしょうか? 中には無課金でも入手が困難なものもありますが、 組み合わせ次第でSランクをも凌駕するキャラもいます。 それらを うまく組み合わせたり、 毒スキルなどを駆使して強敵に挑んでいきましょう。 さて、ここからは番外編として、オセロニアの星のかけらを裏技で入手する方法を紹介していきます。 オセロニア 無課金でおすすめ|星のかけらを無料で大量入手!? オセロニアの星のかけらはガチャで消費するアイテムですから、いくらでも欲しいアイテムです。 新しいキャラクターが発表されたり、イベントやコラボなどで限定キャラクターがいる場合などはガチャを引くためにすぐになくなってしまうでしょう。 頑張って集めた星のかけらで目当てのキャラクターが当たれば良いですが、外れた場合の悔しさと言ったらありません。 そんなことが繰り返されると、ついつい「課金してしまおうか」とか「オセロニアをもうやめてしまおうか」なんて考えてしまうプレーヤーも少なくないでしょう。 でもちょっと待ってください。 裏技を使えば星のかけらを無料で大量に入手することが可能です。 星のかけらが足りなくて欲しいキャラをまだ入手できていない、という方は是非試してみてください。 ポイントサイトとは会員に対してアプリなどの紹介を行い、その度にポイントを付与してくれるサイトのことです。 オセロニア 無課金でおすすめ|星のかけらを無料で大量に入手する裏技 おまけ 下記で紹介しているポイントサイトは会員登録時の高額ポイント付与のようなキャンペーンはしておりませんが、アプリなどをダウンロードした時にもらえるポイントが とても多いことで知られています。 そのため オセロニアの星のかけらも集めやすいとして人気があります。 キャンペーンでもらえる星のかけらだけでは物足りないと言う方は、下記のポイントサイトにも登録すれば 継続的に星のかけら分のポイントを稼ぐことができます。

次の

“逆転オセロニア”における深層強化学習応用

オセロニア ら に

オセロニアにおける駒がどのような特徴を持つかなど,オセロニアで用いられる基本的な用語の意味を以下に示す. 駒(キャラクター駒) オセロニアにおいて白または黒の駒(リバーシにおけるディスクの役割を担っている)にはそれぞれキャラクターが宿り,条件を満たすことで対戦相手や自分にダメージや,特殊な効果をもたらす.リバーシのルールによってほかの色に挟まれ,一度でも色を反転させられると駒に宿るキャラクターや継続的に発生している効果は消失する.駒には属性(神・魔・竜) が存在し,属性ごとに「神は耐久値が高め」,「魔はトリッキーな戦術向き」,「竜は攻撃力が高め」という傾向が存在する. 個々の駒のスキルなど,より詳細なルールは参考サイト[], []に記載されている. 3.オセロニアにおけるゲームバランス オセロニアに限らず PvP の対戦ゲームのゲームバランスとは,プレイヤーのプレイ戦術以外の何らかの要素で勝敗に大きな偏りを産んでしまわないかが重要になる.たとえば,将棋のようなターン制ゲームで後攻が必ず勝つ戦術が容易に見つかる場合,それはゲームバランスが崩壊しているといえる .ナッシュ均衡解が容易に見つかる簡単な零和ゲーム と異なり,将棋や囲碁などのナッシュ均衡解が見つかっていない複雑なゲームでは,初期状態(先攻・後攻)のみからでは勝敗は分からない .しかしこれらのゲームとは異なり,近年の対戦ゲームではプレイヤーの対戦開始時に有している初期条件(先攻・後攻以外の要素)が互いに異なる場合が多い.オセロニアであればこの初期条件にデッキの内容が該当する. 3. 他方,囲碁は非常に取り得る状態数が多く,さまざまな戦略を相手取るため,人工知能が人間に対戦で勝利するのは困難と考えられていた.しかし近年,ゲーム木探索,深層学習,強化学習の知見の融合により人間のプロプレイヤーに勝る強さをAIプレイヤーが示し,チェスや将棋などの二人零和完全情報ゲームへ転用可能なアルゴリズムとして発表されている[]. 1 学習ゲーム課題としての逆転オセロニア 前述の通り,人工知能技術は深層学習と強化学習やゲーム木探索との融合により,従来不可能だったゲームプレイの学習を可能とした.他方,既存のゲーム課題での強化学習における行動の学習には,深層ニューラルネットワークなどによる関数近似が用いられるが,多くの場合,出力はあらかじめ固定の行動種類数で学習される. しかし現在の一般に頒布されている最新ゲームにおいては,前述の通りゲーム内容がオンラインに更新されていき,入力情報や出力行動数が増加するなど,レトロなビデオゲームにはない性質を持つ.これは入出力の増加に応じて学習ネットワークも指数的に巨大化するため,更新が継続的に続いていくと学習が困難なネットワークサイズになることを意味している.このように現代のゲームで深層強化学習を行うためには,増加していく入出力サイズを前提とし,それに対処する必要がある.たとえば,学習課題と見なしたときのオセロニアは以下の特徴を有する. (1)二人零和不完全情報ゲーム(本研究では課題の簡略化のため完全情報に変更)• (2)ターン制かつ1ターンにつき1回の行動選択• (3)可能な行動の集合が現在の手駒,場の駒配置で決定• (5)駒が盤面にとどまるため,すべての駒を離散的に定義すると,駒の種類数の増加に対して指数的に状態空間が拡張される• (6)手駒としての駒の出現順番が確率的で予測不能なため,ゲーム木探索が有効ではない• (7)デッキの組合せが数多くあるため,すべてに対応としようとする場合は膨大なパターンへのマルチタスク学習になる 5.研究目的:オセロニアにおける戦術AIを作る困難の解決 オセロニアでは入力情報でありながら行動としての出力でもある駒の種類数がゲームの更新のたびに増え続けていく.そのため人工知能のアーキテクチャはその増加を前提に設計する必要がある.クラスタリングにより膨大な数の入出力を抽象化する手法は存在するが,ゲーム進行上のそれぞれの駒の特徴や役割は複雑かつ自明ではないため,有効とは限らない. また,人手による個々の駒の特徴量のハンドエンジニアリングも頻繁にゲームが更新されるため,現実的ではない. そこで本研究では,状態・行動両方の要素である駒の特徴を状態遷移軌跡 から自動的に分散表現としてベクトルに埋め込む表現学習手法を提案する. 後述する提案手法は膨大かつ拡張されうる駒の種類数の長さを持つ one-hot ベクトルを,固定次元の実数ベクトル(表現ベクトル) に変換する( 図1).こうすることでプレイ戦術を学習する際のネットワークのサイズが駒の種類数に依存しなくなり,継続的な拡張に対処可能になる. この手法は逆転オセロニアに限らず,ゲーム要素が継続的に追加されるさまざまなゲームに有効であると考えられる. 図1 駒を表現するベクトルのサイズ(グレースケールの濃淡が値を表現) 6.プレイ戦術の学習 現在のゲーム状況に応じて適した行動を選ぶ人工知能を知能エージェントと呼ぶ(以下,断りがない場合,単にエージェントと記載する).エージェントは特定の評価関数や確率分布に基づき行動する.評価関数は人間が試行錯誤を元に数値化して設計することもできるが,ゲームが複雑になるほど良い評価関数を与えることは困難になる.その評価関数を何らかの手法で学習・自動獲得させることが深層学習の役割である.深層学習には膨大なデータが必要であるため,サービス向上のためにプレイヤーの対戦ログを収集しているオセロニアのようなオンラインゲームと相性が良い.その対戦ログから人間の選択を教師信号として教師あり学習(Supervised Learning,SL)を行うことで,人間の選択を模倣する評価関数を獲得することができる.教師あり学習で学習したエージェントも,本研究が目的とするリリース予定の新規駒のバランス調整にはある程度有効だと考えられる.しかしながら,それはバランス調整対象の駒がそれ以前の駒に類似している場合に限られ,まったく新しいスキル,ゲーム要素の追加に際してはデータのない未知の状況からの学習が必要になる.そこで重要になるのが,未知の環境から試行錯誤を通じてゼロから良い行動パターン(価値関数,行動選択確率分布=方策)を学習していく,強化学習(Reinforcement Learning,RL)という手法である.近年の研究では囲碁において深層強化学習で学習した方が対戦ログからの深層学習より高い成績を有することが示されている[].しかしここで前述の,オセロニアを始めとしたオンラインゲームが有する,ゲーム要素が追加されていく性質が深層ニューラルネットワークで行う教師あり学習,強化学習の両方にとって大きな問題になる. 6. そしてある行動選択肢の評価値の計算・学習には近似関数を使用する. また2値分類であるため,手駒中の選択されなかった駒,設置可能だが選択されなかったマスも学習データに用いる. しかし毎ターン選択可能な行動の種類数 A t の中で選択されない行動数 A t - 1 の方が圧倒的に多いため,学習時には負例(選択されなかった行動の入力ベクトル)はダウンサンプリングしている. 7. 4 ゲームシミュレータからの強化学習 本研究ではオセロニアのゲームシミュレータを用いて行動選択の強化学習も行った. またネットワークには Noisy-net [] を使用し,自律的な探索を促している.通常の Noisy-net [] を本アーキテクチャで用いると,行動がバッチ方向に展開されている都合上,すべての行動に同様のノイズがかかってしまう.そこで本研究では,最終出力のみ,バッチ方向にそれぞれ異なるノイズが発生するよう,バッチ数分のノイズサンプリングをするよう設計した. 7. 具体的には話者特徴を表現ベクトルとして埋め込むペルソナモデル[] を元に,状態行動対中の離散的な行動要素など,ある部分集合(オセロニアでは駒のことを指す)に,状態遷移の要因としての表現を表現ベクトルとして埋め込む方式を考案した. しかし良い行動の評価関数を作るため,実用上は一定のリテラシーを持ったエージェント,あるいはプレイヤーの対戦ログから得た状態遷移軌跡が望ましい. 8. しかしそれは現実的ではないため,何らかの別の特徴量を設計するのが妥当だと考えられる. 8. 3 表現ベクトル導入の効果 表現ベクトルのネットワークの入出力を固定するのみでなく,ユニット数の節約と学習時間の削減や,表現空間上での類似行動の汎化による学習の効率化が期待できる.また,ほかにもプレイ戦術の学習器に駒の表現の学習を任せなくてもよいため,プレイ戦術に特化した学習のチューニングサイクルが早くなる利点があげられる.以降の実験でその利点の検証を行う. 9.プレイ戦術の学習実験 本研究では表現ベクトルの導入しても成績が保たれているか,また学習時間の削減ができているか検証するため,それぞれ表現学習と教師あり学習(実験1),強化学習による行動評価値の学習(実験2)を組み合わせた際の実験により定量評価を試みた. 1 逆転オセロニアでのプレイ戦術学習の共有設定 実験1, 2ともに状態・行動特徴の中に存在する駒特徴には共通の表現ベクトルを用いた. また実験1の教師あり学習,実験2の強化学習には同様の中間層の構造を用いる. 各種学習器の構造やハイパーパラメータは 表1に示す通りである. また Dropout ,L2 正則化の汎化は表現学習,教師あり学習のみにしか使用しておらず,強化学習には使用していない. 表1 各種パラメータ 9. 1 入力特徴 各学習器の入力特徴は状態 s t としてターン数や選択側の色(白・黒),自分・敵の残り体力,手駒,デッキ,盤面などを,行動 a t には任意の選択可能な駒や設置可能なマス座標,スキルやコンボスキルなどの特殊効果の発動の可否を用いた. 表現ベクトルを使用しない場合は one-hot ベクトルを手駒,デッキ,盤面の駒の表現として用い,駒の表現ベクトルを使用する場合は,そのすべてを前述したベクトル長30の表現ベクトルに置き換えた. そのため両実験とも比較対象である表現ベクトルを使うか否かで第一層の入力数とパラメータの数が異なる. ターン数を対数にした値など入力の特徴量エンジニアリングも行われているが,入力特徴や表現学習時の教師信号,損失関数は実サービスのゲームを用いている都合上,詳細な言及は避ける. 異なるゲームに本研究内容を応用する場合,ゲームごとに入力特徴を設計する必要がある. 9. 2 勝率の定義 オセロニアでは非対人対戦イベントや通信が切れた際の代打ちとして,ルールベースAIが実装されている. ルールベースAIの行動はある得点表の合計値(評価関数)を参照し生成された確率分布によって選択される. 強さが固定であることと,決定論的な行動でないことから, 本研究の勝率の定義にはルールベースAIとの戦績を用いた. 勝率は各試合,各々異なるシードでデッキのシャッフルと先攻後攻を決定した1,000試合中何勝したかで評価した.勝率評価の試合時には学習された行動評価の近似関数の出力に対して greedy な行動選択を行った. 2 実験1:表現ベクトルを用いた対戦ログでの教師あり学習 実験1では表現ベクトルを用いた場合とそうでない場合での学習効率の比較を示す. ここでいう効率とは計算時間に対する勝率の向上速度や,最終的な到達勝率の高さを意味する. 勝率はさまざまなデッキの組み合わせによって測るべきだが,現実的にあらゆるデッキの組合せで評価するのは困難であるため,ここでは代表として2017年1月の時点でよく使われていたデッキバリエーションである4種を用いた.限定された駒種類数での勝率評価であるため,表現ベクトルの有無で大きな差が現れないことが予想される. そのため minibatch で学習した学習回数(step)に対する勝率以外に,同条件で学習にかかった経過時間を提示する. 9. 1 実験設定 教師あり学習でも表現学習と同じく2017年1月に集計されたプレイヤーランクが76~200同士の対戦ログを使用した. 勝率評価に4種の内訳はデッキ内の駒の属性を神(耐久値が高い傾向),魔(戦術がトリッキーな傾向) ,竜(攻撃力が高い傾向)の駒で主に構成した3種とそのバランス的な組合せを用いた. 学習と評価に使用したデッキの構築はアソシエーション分析と階層的クラスタリング手法の一種であるウォード法と k-means 法を組合せたクラスタリングにより抽出した頻出する駒の組合せから [],任意の組合せによるデッキを自動生成した. プレイ戦術の学習ネットワークの表現ベクトルを使用する場合の入力サイズは5,649になった. 前述の通り,実際にプレイヤーが選択した行動(正例)と選択しなかった行動(負例)の教師データ数の偏りが大きいため,正例と負例の割合が1:5になるようダウンサンプリングして学習を行っている(可能な行動の集合の数 A t が6より小さかった場合はのぞく).すなわち,学習データの量はすべての対戦の総ターン数に対して約6倍になる. 9. 2 結果および考察 図5に各 step での勝率と,同条件の GPU で学習させた場合の経過時間を示す. 毎 step の勝率はほぼ等しいが,50万 step 時の経過時間が約5. 6倍になった. これは約900の駒種類数を想定したものであり,学習コストは駒の増加に伴いさらに大きくなる. 本研究ではアソシエーション分析とクリスタリングにより生成されたメジャーなデッキ構成を用いたため,マイナーな駒の学習などに影響を評価できていないが,駒表現ベクトルが計算的な時間削減に寄与し,成績に影響を及ぼさない示唆が得られた. 図5 表現ベクトル+教師あり学習モデルの勝率と学習にかかった実時間の推移 9. 3 実験2:表現ベクトルを用いたマルチタスク強化学習 強化学習でも表現ベクトルの使用に対して成績に変化が表れるか実験を行った. 1 実験設定 対戦相手には初期1,000対戦はランダムで,その後1,000対戦ごとに保存される過去の近似関数を対戦毎にランダムに読み込み,対戦相手の行動選択に用いた. アーキテクチャには表現ベクトルのあり, なしをぞれぞれ学習し,勝率を比較した. 5 )により抽出された minibatch での学習を 1 step として2対戦ごとに 32 step 学習を繰り返し行った. 2 結果および考察 図6に対戦回数に対する勝率の推移を示す. 対戦回数ごとの勝率はほぼ等しく,強化学習でも表現ベクトルの使用により,成績に悪影響を及ぼさない示唆が得られた. トレーディングカードゲームなど,離散化された状態や行動の要素数がトランプの枚数とは比較にならない数で存在する意思決定課題に対処するためには,そのゲームのドメインに基づいた個別要素の特徴付けが重要になる. それにより複雑なゲームへの機械学習,強化学習の応用範囲を広めることができたといえる. また,本研究はゲームルールが明示されている際に,スクロールやクリックなどの低次な行動の学習を無視し,一足飛びで高次な意思決定の学習を行えることを意味している. そのとき,低次の行動から高次行動(スキル,プラン)の発見と汎化が前提となることが予想される. そこでは本研究のように拡張され得る特徴空間を想定し,潜在的に膨大な行動の種類数に対して意思決定していける学習設計が重要になると考えられる. そのメタ設計,メタ構造はゲームジャンルに依存せず転用可能である. 11.今後に向けて 本研究の試みにより,最大の問題の1つである,継続的に増えていくゲーム要素を考慮した戦術の学習(教師あり学習,強化学習)を行うことができた.しかしながら,未知のゲーム要素を加えた環境下での膨大なデッキの組合せすべてに対して最適な戦術を学習するというマルチタスク強化学習への対処は未だ不十分である.強化学習は対戦ログのデータがなくとも未知の要素にも対応し得る教師あり学習にはない優れた性質を有する.しかし前述のマルチタスクなど,すべての問題に対処するのは現実的でない.ゲームバランス調整のような人間の複雑な仕事を補助するためにも,現代のゲームタイトルに強化学習を用いた際の問題の分解の仕方,その成果を共有していくことが今後の業界全体に対する貢献になると思われる. 参考文献• 1)株式会社ディー・エヌ・エー:『逆転オセロニア』公式サイト.入手先()• 2)株式会社ディー・エヌ・エー:『逆転オセロニア』最速攻略wiki.入手先()• 3)Mnih, V. , Kavukcuoglu, K. , Silver, D. , Hassabis, D. , et al. : Human-level Control through Deep Reinforcement Learning, Nature, 518 7540 , pp. 529-533 2015. 4)Silver, D. , Hassabis, D. , et al. : Mastering the Fame of Go without Human Knowledge, Nature 550 7676 , pp. 354-359 2017. 5)Sutton, R. and Barto, A. : Reinforcement Learning : An Introduction, MIT Press 1998. 6)Hessel, Matteo, et al. : Rainbow : Combining Improvements in Deep Reinforcement Learning, arXiv preprintarXiv:1710. 02298 2017. 7)Schaul, T. , Quan, J. , Antonoglou, I. and Silver, D. : Prioritized Experience Replay, arXiv preprint arXiv:1511. 05952 2015. 8)Van Hasselt, H. , Guez, A. and Silver, D. : Deep Reinforcement Learning with Double Q-learning, arXiv preprintarXiv:1509. 06461 2015. 9)Le, Q. and Mikolov, T. : Distributed Representations of Sentences and Documents, ICML2014, Volume14, pp. 1188-1196 2014. 10)Li, J. , Galley, M. , Brockett, C. , Spithourakis,G. , Gao, J. and Dolan, B. : A Persona-based Neural Conversation Model, ACL2016 2016. 11)濱田晃一,藤川和樹,小林颯介,菊池悠太,海野裕也,土田正明:対話返答生成における個性の追加反映, 研究報告自然言語処理(NL), 2017-NL-232 12 , pp. 1-7, 2188-8779 2017. 12)Agrawal, R. and Srikant, R. : Fast Algorithms for Mining Association Rules in Large Databases, VLDB'94 Proceedings of The 20th International Conference on Very Large Data Bases, pp. 487-499 1994. kono dena. com 1987年生.2016年東京電機大学大学院先端科学技術研究科博士課程修了.2017年DeNAに入社.実運用中のモバイルゲームにおけるゲームAIの強化学習の研究開発に従事. 田中 一樹(非会員) 2015年慶應義塾大学理工学部卒業,2017年同大学院理工学研究科総合デザイン工学専攻修士課程修了.電力系統に関する数理計画法や機械学習の工学的応用を専攻.2017年DeNAに入社.主にデータサイエンスや機械学習のビジネス応用に興味を持っている. 岡田 健(非会員) 数論幾何を研究する身から一転,2015年にDeNAに新卒入社.ゲーム開発・運用を経て,2018年から『逆転オセロニア』のGame AI開発にてエンジニアリング全般を担当している.学習高速化,強化学習,実サービスへの応用に興味を持つ. 奥村 エルネスト 純(非会員)jun. okumura dena. com 京都大学,東京大学,米ローレンス・バークレー国立研究所にて宇宙物理学の研究に従事し,2014年DeNA入社.データアナリストとしてゲーム事業のデータ分析に携わり,2016年末よりAIエンジニアに転身.強化学習,深層学習を活用したGame AI研究開発プロジェクトをリード..

次の

“逆転オセロニア”における深層強化学習応用

オセロニア ら に

オセロニアの星のかけらについて 逆転オセロニアでは 星のかけらを使ってガチャを引いたり、アイテムを購入したりできます。 アイテムには様々な役割があるので、必要に応じてアイテムを購入しましょう。 オセロニアで課金はするべき? のろのろと遊ぶのであれば必要なし オセロニアでは、様々なキャラクターが登場します。 キャラクターにはそれぞれ特徴がありますが、ゲームの根幹をなしているのは基本的に世界的に有名なゲームである「オセロ」です。 そして、オセロニアでは対人要素が主なゲーム内コンテンツになっています。 よって、当たったキャラクターで適当に勝った負けたをしたいだけであれば、課金は必要ありません。 環境の最前線にいたいのならば課金 オセロニアにおける課金アイテムの「星のかけら」の主な用途は基本的にガチャです。 オセロニアは対人ゲームというゲームの特徴上、いわゆる「メタゲーム」が存在しています。 メタゲームは刻一刻と変化しているため、かつては最高レベルの性能を誇ったキャラクターが、没落してしまうことも少なくありません。 よって、逐一環境の最前線の強力キャラクターを持っておきたい場合は、課金が必要になってくるでしょう。 星のかけらの使い道 ガチャ 星のかけらを使うことで、新規キャラクターを入手することができます。 コラボキャラクターなど様々なキャラクターがいるので、ガチャを引いてキャラを入手しましょう。 アイテム購入 オセロニアでは、星のかけらでアイテムを購入することができます。 星のかけらで入手できるアイテムはコラボアイテム等、有用性が高いものが多いので入手しておきましょう。 星のかけらを入手する方法 ログインボーナス 毎日ログインすることで、ランダムに星のかけらを入手することができます。 必ず一回はログインするようにしましょう。 クラスマッチ報酬 オセロニアでは、クラスマッチの報酬として星のかけらが配られています。 クラスマッチの上位に行けば行くほどたくさん星のかけらが入手できるので、できる限り上位を目指すようにしましょう。 ショップ経由で購入 オセロニアでは、当然 課金(お金)することで星のかけらを購入することもできます。 星のかけらは前述した通り使い道の多いアイテムですが、大量に入手することはできません。 たくさん入手するためには、課金が必須だといえるでしょう。 星のかけらの値段について オセロニアの星のかけらは、一度にたくさん購入するほど一個あたりの値段が安くなります。 たくさん購入するのであればはじめからたくさん購入しておきましょう。 個数 購入金額 星のかけらの単価 1個 120円 120円 6個 480円 80円 30個 2000円 約63円 80個 4800円 60円 180個 9800円 約58円 購入できない時はどうするの? 再起動して確認してみる もし星のかけらを購入した時にきちんと反映されていない時は一度アプリを中断し、再起動して確認しましょう。 ただの表示エラーや通信状態が悪い可能性があります。 購入履歴を確認する 再起動しても購入した星のかけらが反映されていない場合は購入履歴を確認してみましょう 自分が利用するストアの購入履歴を確認してください。 運営に問い合わせする 履歴を確認したうえで、課金履歴があるのにも関わらずゲーム内に反映されていない場合は、課金した証拠を備えたうえで運営に報告しましょう。 具体的には、 ・ユーザーID ・購入履歴のスクリーンショット ・購入した日時 これら3つをメールに添付し問い合わたいところです。 星のかけらを無課金で購入する裏技! オセロニアは欲しいキャラがいないのであればわざわざ課金する必要はありませんが、特定のキャラを入手しようとすると課金が必要になってきます。 そんなときは ポイントサイトをうまく活用することで無課金でも星のかけらを購入してストレスなくゲームを進めることができます! 1. ポイントサイトに無料で登録する 2. 広告を見てポイントを貯める 3. 貯めたポイントで星のかけら購入 のたった3ステップで簡単、そして無料で逆転オセロニアのショップで課金アイテムの星のかけらを無課金でも入手することができるのでお金をかけたくないという人には超おすすめです! まとめ オセロニアでは、環境についていこうと思うとどうしても課金が必要になってきます。 ただ、配布される星のかけらが多いので、メタの最前線を走るつもりでなければふつうに遊ぶことが可能です。 どんな遊び方をしても自由なので、自分の気持ちと財布事情をあわせて、うまく課金と付き合っていきたいところですね。 お得に課金をするマル秘裏ワザ POMを使うおすすめの理由!.

次の