NEWS

“CEDEC 2020” 講演者インタビュー特集
第2回 ディープラーニングを使った自動QA、実用化へ向けて

2020年9月にオンラインで開催された「CEDEC2020」(コンピュータエンターテインメントデベロッパーズカンファレンス2020)のセッションに、Luminous Productions のメンバーが登壇いたしました。それぞれの講演内容をより詳細に、クリエイターの想いとともにご紹介していきます。

Facebook Share Twiiter Share Linkedin Share Reddit Share Tumblr Share

■「ディープラーニングを使った自動QA、実用化へ向けて」の講演者

まずは、今回の講演について簡単に概要をご説明いただけますでしょうか。

岩崎氏 :大規模開発においてQAにかかる負担やコストがとても大きく、それを削減するために色々取り組んでいるのですが、その中の1つとして、機械学習の技術を使って削減できないか?という取り組みについての話になります。2019年のCEDECで発表させていただいた「大規模開発のためのLUMINOUS ENGINEのログ分析と自動テスト」の中の、機械学習を使った部分についてのその後、にあたる内容で、株式会社アラヤさんと機械学習を使った自動テストのゲームエンジン側の技術と、機械学習側の技術の両面からお話させていただきました。

株式会社アラヤさんと技術協力することになった経緯を伺えますでしょうか?

岩崎氏 :昨年のCEDECを終えた後、特に機械学習に絡む部分を進めるには、その分野の専門家がいないと厳しいなと思っていました。そんな時に、偶然三宅さん(スクウェア・エニックス テクノロジー推進部 リードAIリサーチャー、スクウェア・エニックス・AI&アーツ・アルケミーCTO三宅陽一郎氏)の紹介でアラヤさんにお会いしたんですよね。

谷村氏 :そうですね。こちらもディープラーニングや強化学習といった技術が、ゲーム開発のQA自動化に応用できるのではないかという仮説は持っていましたが、当初はそうした仮説の検証方法に悩んでいました。試しに自分たちでサンプルゲームを作ってみて、強化学習を使ってそのゲームの操作を自動化する、みたいなこともやってみましたが、どこかマッチポンプ感が強いといいますか、やはりそれだけでは実際のゲーム開発現場で生じる課題というのはあまり具体的にはならなかったんですよね。そんな時に、三宅さんにご相談に伺ったところ、Luminous Productions(以下LP)さんをご紹介いただけました。

まさにドンピシャですね。
アラヤさんはこれまでAIを専門に研究されてきて、ゲーム開発会社と組むのは初めてだったかと思いますが、いかがでしたか?

谷村氏 :大規模なゲーム開発実績のあるLPさんと一緒に取り組みができることになった時は非常に嬉しかったですね。実際にゲーム開発がダイナミックに進んでいく環境で検証させていただけるということで、大規模開発の現場ではどのような課題が生じているかですとか、ゲーム開発サイドの方々がどのような課題を解決したいと思っているかなど、様々な知見を直接伺うことができました。今回の取り組みを通して非常に貴重な経験を積む事ができたと思います。

岩崎さんはアラヤさんとの取り組みについていかがでしたか?

岩崎氏 :理想的な形で進めることができたと思います。やはり我々の専門はゲーム開発ですから、自動QAに向けた研究をしたいというよりは、その技術を利用したかったんですよね。ただ世の中にはまだそういったツールもないので、自分たちで取り組まざるを得なかったのが昨年です。それまでは全般的に開発効率をあげるという取り組みでしたが、今回はその中でも特に機械学習を使ったところにフォーカスをあて、こちらが提供した環境でアラヤさんに機械学習を検証していただけたので、効率よく進められたと思います。

協業したからこそ大変だった、ということはありましたか?

谷村氏 :やはり「開発中のゲーム環境を対象として技術検証を行う」という点が一番難しかったですね。通常、ディープラーニングや強化学習などを用いて新しい学習アルゴリズムを試す際は、アルゴリズム自体の作り込みに専念するため、対象となる環境の方は固定されている事が前提になるかと思います。ですが、今回は環境が流動的で、日を追うごとにゲームの開発が進んでいくということで、学習させたAIが想定通りに動かないという場合に、その原因が我々の設計したアルゴリズムやコードにあるのか、それともゲーム側の仕様が変わったことで取得できる情報の内容に変化が生じたのか等の切り分けが難しいことがありました。幸いにもLPさんはもともとディープラーニングに関する事前知識をお持ちだったので、何かとお話が早く、迅速に解決していけました。ただ、こうした課題は今回に限らず、実際の開発現場で強化学習技術を応用した自動QAをやろうとなった場合に必ず発生すると思うので、ディープラーニングや強化学習の部分を担うエンジニアとゲーム開発者の間のコミュニケーションや相互理解が非常に重要になると思いました。

岩崎氏 :自分としては、思ったよりも分業ができたな、という印象でした。当初はもっとお互いにコードを修正し合わないと成立しない可能性も考えましたが、お互いの領域がはっきりと分かれていて分業はしやすかったです。ただ、AI側、エンジン側、ゲーム側と3チームが同時に作業を進めていたので、必要な情報の擦り合わせ等をしていく比較的初期の段階でのやりとりは、少し大変でしたね。

■まだまだゴールは遠い、自動QAは長期的な課題

岩崎氏 :自動QAは長期的な課題であるということが今回の協業を通してよく分かりました。 この取り組みを始める際、心のどこかで、ほんの僅かに「自分では無理だが、もしかしたら、AIの専門家がやれば魔法のようにあっさりと解決するのではないか」という、捨て切れぬ淡い期待があったんですよね。もちろん自分で機械学習をやった経験から、ディープラーニングは魔法ではない、というのは分かっていました。ですが、専門家の方ならもしかして・・・という期待が。でも、いざやってみて、我々の課題というのは、専門家の方にとっても課題なんだなというのが、改めて分かりました。

谷村氏 :発表されているセンセーショナルな論文等を見ると、現在のAI技術でも魔法のようにすべてを解決してくれるように見えるものもありますよね。

岩崎氏 :そうなんですよね。頭ではわかっていても、インパクトの強い物が多く、魔法のように見えちゃう。ついついミラクルを期待してしまう瞬間があるのですが、やはりそんなことはなくて、地道な学習が必要、学習してくれないことはしてくれない、ということが改めて良く分かりました。ただ、魔法ではないが、やはり機械学習と自動QAの相性は良くて、きちんとした手順を踏めばちゃんと学習してくれる。この方向性は間違いではないという自信も深めることができました。とはいえ、ある程度の下地があるプロジェクトでないと、簡単にいかない部分もあるかな、とも感じました。

―新しいプロジェクトで機械学習を導入しようと思ったら、それ前提の作りをしていく必要があるということでしょうか

岩崎氏 :機械学習的に欲しい機能を、エンジン側が提供することがなかなか難しい、と言うケースはあるかと思います。例えば、「任意のフレームに戻す」という機能がLuminous Engineにありますが、今回その機能がないと結構厳しかったと思います。アラヤさんから「そういう機能が欲しいです。ほぼ必須です。」とお話いただいた際は、比較的あっさりと「できます!」とお答えできましたが、たまたまあったからよかったものの、もしなくて今から実装となっていたら、かなり大変だったと思います。少なくともプロジェクト終盤QAを始める段階にいきなり言われて作れる機能ではないな・・・と。機械学習の研究が続いていく中で、自動QAをするために事前にしておくべき準備、みたいなものはある程度形式化されていくと思いますが、それらはすべて、必ずしも簡単に準備できるものではないので、仮に自動QAがパッケージ化されて実用化されたとしても、何の準備もなしに導入できます!とは行かないのではないかと思います。

■人力要素は残っていてもいい。ゲームの開発現場が本当に求めていること。

岩崎氏 :AI技術が自動QAに活かされている論文などは多くあって、発表されているサンプルを見ても、よく動いているように見えます。ですが実際に組み込もうとなると、非常にハードルが高かったり、そもそもどこに使えば良いか?がよく分からなかったりということもあり、論文上と現場とでは、まだまだ距離がある段階、という印象なんですよね。

谷村氏 :確かにそれはあるかもしれませんね。ベンチマーク用のガチッと固定された環境で試されていて、そこでのタスクにフォーカスしたチューニングが施されていると思います。ですので、それを違う環境に持っていった時にどうなるかは使ってみないと分からないし、その際は手探りでチューニングし直す必要もあるかと思います。チューニングをしようにも、いろいろ文献をたどって背景技術にキャッチアップする必要もあったりして、なかなか開発の現場ですぐ気軽に試せるものではないかもしれませんね。

岩崎氏 :必死に組み込んでも成果物に繋がるかどうか分からないとなると、なかなか手が出し辛いんですよね。現状では、プロジェクト単体で考えてしまうと、自動QAの仕組みをデバッグするコストの方が、得られるメリットより高くなってしまうケースも多いと思います。また難しいのが、自動QAは突き詰めていくと人力でも代替可能という点ですね。例えば、すごいグラフィックの新技術があったとして、この技術に投資することで、明らかにグラフィックレベルがあがります、という場合は、その技術に投資する価値が分かりやすい。でも、QAの場合は、結局人力でまわしてもいいんじゃないの?どっちの方がコスト減るの?という話になってしまうんですよね。人力、という代替技術(?)がある。

谷村氏 :そうですね。こちらとしてもそれは課題として感じていて、単体で見てしまうと自動QAシステム自体の開発コストも無視できず、腰を据えてじっくり取り組みを進め、適用領域を押し拡げていった先にコストカットの効果が大きく現れてくるのかなと考えています。あるいは、人間よりも高精度でテストを実施できるようになるとか、人力では試すこともできなかったテストが新たにできるようになるとか、ディープラーニングや強化学習技術を使うからこそ実現できるという、新たな付加価値を持たせる事ができれば、より受け入れてもらいやすいのかなと思っています。

岩崎氏 :そもそも、自動QAに対して何もかも自動でやってほしいと期待しているわけでなく、人力要素は残っていてもいいんですよね。一部でもQAのコストを減らせる、というだけでも我々としては非常にありがたいんです。今回取り組んだような、こちらがお手本データを用意するのでその通りに再生する、という技術だけでも非常にニーズがありますが、そのような「現場で本当に困っていて解決できそうな領域」と「AI的にアカデミックで盛り上がっている領域」が必ずしもフィットしていないとこはあるかなと思います。AIが自動で達人プレイに到達しました!とか、人のようにプレイしたりするAI技術は非常に価値があると思います。業界内でも盛り上がっているので、これらは、今後も進歩していくと思います。ただ、今日QAがプレイしたのを明日も再現する、という技術の需要もすごくあるんです。ゲーム業界以外の方からしたら、そんなの、QAのプレイをパッド記録しておいて再生すりゃいいんじゃないの?どこに学習必要なの?って思うかもしれませんが、なんと、パッド記録して再生しても、同じプレイにはなかなかならないんです。特に開発中のゲームであれば、尚のこと。 我々はそういう技術も、凄く欲しているということが、一人でも多くの方に伝わって、取り組んでくれる人が増えたら嬉しいです。

谷村氏 :我々としては、まずそうした課題解決への需要を知ることができたのは大きいです。社内でも様々な仮説を立てて取り組んでいますが、ゲーム業界の方々が解決したいと思っている現場のホットな課題を、これからも教えていただければ非常に有り難いです。

AI業界とゲーム業界の相互理解が重要そうですね

岩崎氏 :そうですね、重要なテーマの1つだと思います。普段なかなかこうしてAIの専門家の方と話すチャンスもないので、今回はとてもいいきっかけでした。

谷村氏:今回の取り組みについては、モンキーテストのようなバグ出しや、コンテンツの難易度測定みたいなことにも使えるのかなと考えています。他にも、NPCの思考ロジックの自動生成にも応用できたりすると思っていますので、QA自動化だけでなく、新しい面白さの創出にも発展していけば良いなと思っています。

岩崎氏 :ゲームって技術範囲がとても広いんですよね。面白くて使えそうならなんでも取り入れてみよう、というのがゲーム分野だと思いますが、だからといって、それを全部自分たちで作れるわけではない。そういう意味でも、一緒にやってくれる仲間、協業というのは非常に重要だなと思います。

講演資料(pdf)のダウンロードはこちら

Facebook Share Twiiter Share Linkedin Share Reddit Share Tumblr Share
NEWS一覧はこちら