QAの知識を少し活かして新作アプリの無事故リリースに成功した話

ご無沙汰しております。品質管理部の柿崎です。
前回、PUBGでドン勝を食いたい!と息巻いていたのですが、
その後、ゴーストチームを率いることになりまして、
3人のAIと共に南米を謳歌しています。どんどん積みゲーが増殖しています。
(イカとかどうしたらいいんだ……)

さて、そんな自分のプライベートなゲーム事情はさておいて、
去る2017年7月31日に弊社より新作アプリの
イケメンヴァンパイア 偉人たちと恋の誘惑」がリリースされました!
(以降イケヴァンと記載します)

皆様、ご承知の通り、近年のスマホアプリはシステムが複雑化しており、
リリース直後に不具合が発覚して、その後サーバーメンテナンスを繰り返してしまう
「怒涛のメンテゲーム」になってしまうことも珍しくありません。

かつてのサイバードも不具合には相当泣かされたようで、
そんな危機的品質状況の中、QAマネージャーとして私がジョインしたわけですが、
イケヴァンでは無事故リリースに成功することができました。
(個人的には”ヴァンパイアなのに無血リリース”とドヤっています)

今回はイケヴァンの品質保証活動にて、
頭を悩ませながら、アレコレ手を出したり引っ込めたりした取り組みの中で、
効果の高かったモノをご紹介します。

開発の早い段階からテスターが関わる

この時点で成功要因の7割位の説明が済んでしまった感じもするのですが、
イケヴァンの開発ではプロジェクトの初期段階からテスターが関与しています。

いわゆる「W字モデル」と言えるほど完璧なプロセスではないのですが、
私の最も信頼出来るテスターの一人を開発チーム内に配置し、
テスタビリティが高まるように働きかけました。

また探索型の軽量テストを繰り返し実施したことにより、
開発の後工程で重篤な機能不備が発覚することもありませんでした。

不具合の発生状況を分析する

これまでのサイバードでは、不具合の発生状況を分析する取り組みができておらず、
バグチケットが大量に起票されると、
それだけで「プロジェクトがやばい!こわい!」みたいに過剰に動揺していました。

この不具合の発生状況を信頼度成長曲線やパレート図を利用して可視化し、
プロジェクトの状況を定量的に把握していました。

◆みんな大好き信頼度成長曲線の例

3b905d0f-ec61-4935-be07-41f4ecd4a1fb

実はイケヴァンのテストで検出された不具合の総数は、
過去のタイトルと比較してみて、大きく減少しているわけではありません。
やはり沢山バグは見つかるわけです。

ただこれまでと違っていたのは、
不具合の発生状況を定量的に分析し、バグ発生の収束を確認できていたので、
かなりビビりまくりで気持ちに余裕をもってリリースができました。

◆みんな大好きパレート図の例

4095e270-1032-4ca1-920e-377f9f43e372-960x503r

また近年の品質保証ではQCDのバランスを最大化させるために、
バグトリアージ(バグ対応の優先順位付け)をしっかり行うことが重要ですが、
この点においても古典的なQC手法であるパレート図が役に立ちました。

不具合のカテゴリを分類し計測することにより、
リリース直前にはアプリ内に致命的な不具合が残っていないことを、
可視化していました。

そんなわけで

サイバードには自分が参画する以前からテスト体制は存在していて、
自分がやったことは「QAの知識」をほんのちょっとだけ現場に持ち込んだに過ぎません。

その取り組みがイケヴァン開発チームの本来の力を引き出して、
無事故リリースまで導けたのではないかと思います。
(開発チームは本当に厳しいQAテストに耐え抜きました。立派!)

とはいえ、この結果が一度限りだとマグレと言われても仕方なく、
まだまだ改善するポイントが沢山有るので、
いつか「サイバード品質」と呼ばれるアプリを皆様にお届けできるよう、
気を引き締めて精進して参ります。

◆追伸
リリース時に大きな事故が無かったとはいえ、
一部のお客様には不便な思いをさせてしまったり、
運営上のミスを起こしてしまったりと、
必ずしも完璧な状態を維持できているわけではありません。
こちらは、ご迷惑をお掛けしてしまい誠に申し訳ございません。

運営スタッフ一同、誠心誠意改善していく所存なので、
温かい目で見守っていてください。

◆追伸その2
そんなサイバードでは高品質アプリへの道を、
共に切り開いてくれる仲間を募集しております。
興味のある方がいらっしゃいましたら、
こちら から、ご連絡頂けると嬉しいです。

◆追伸その3
信頼度成長曲線を描くために使っていたツール
https://okamumu.github.io/SRATS2010/