第9話 次に繋がる実施結果報告の作り方
訓練メールを用意し、訓練メールの送信も無事完了。これでようやくひと山は越えたというところですが、訓練実施担当者には、訓練の実施結果をまとめるという仕事が残っています。
訓練実施というと、訓練対象者に訓練メールを届けることがメインと思いがちですが、訓練メールを届けることは、訓練の実施結果を得るための手段に過ぎません。訓練を実施する前に「ある仮説」があり、訓練実施は、その仮説を検証するために行うものです。訓練実施担当者にとっては、むしろここからが大事な作業と言えます。
開封率（クリック率）自体は、実はさして重要なデータではありません
標的型攻撃メールの「訓練サービス」をGoogleで検索すると、様々な会社がサービスを提供していることがわかりますが、各会社が納品物として提供する報告書には、「開封率（またはクリック率）」という言葉が出てきます。
「開封率」というのは、訓練メールに添付されている模擬のマルウェアファイルを開いてしまった、もしくは、訓練メール内に記載されているURLリンクをクリックしてしまった。という人が訓練対象者全体の何パーセントいたか？を表すもので、要するに「引っかかっちゃった人は何人いたのよ？」を表す数値になります。
攻撃メールに騙されてしまう人が少なければ、攻撃の被害に遭う確率は低いだろうという考えから、教育実施前と後での「開封率」の移り変わりを元に、セキュリティ教育の効果のあり・なしを論じるということがよく行われますが、「開封率」が何パーセント下がった、上がったなどというのは、実際のところ、あまり意味を持ちません。なぜなら、攻撃メールに引っかかる人が組織内にたった一人でもいれば、攻撃の被害に遭うことになるからです。
開封率が低かったから、ウチの会社は安心だ。などと思ってしまうとしたら、それは単に見かけの数字に騙されているだけです。
よく考えてみて下さい。訓練とはいえ、攻撃メールに引っかかる人が一人でもいるということは、本物なら被害に遭っているということです。あなたの組織が何回訓練をやっても、開封率が０％にならないのなら、それは、あなたの組織は攻撃メールが送られてくる度に、１００％被害に遭う。ということを証明しているということです。
開封率の測定は必要です。しかし、それは数の推移を計測するためではありません
では、開封率は意味のない数字なのか？というと、そうではありません。マルウェアを開いてしまった人が誰なのか？を特定することはやはり必要です。しかし、それは、再教育が必要な人を洗い出すことが目的ではありません。
開封者が誰か？を特定するのは、開封してしまうに至った過程や理由を知るためです。マルウェアを開封してしまったことがわかっても、何故そうなってしまったのか？がわからなければ対策の打ちようがありません。開封してしまった本人にセキュリティに関する知識がなかったことが主たる原因であったとしても、「開封」という行動に至ってしまったことには何かしらの理由があるはずです。
改めてセキュリティ教育を実施して、セキュリティに関する知識を高めてもらうことはもちろん必要でしょうが、マルウェアを開いてしまった理由である「何故？」の部分に切り込んで考えなければ、本質的な問題が浮き彫りにされないままとなり、攻撃者の手口が変わることによって、結局、被害に遭ってしまうということになるかもしれません。
訓練を実施した際には、具体的に誰が？どうして？模擬のマルウェアを開いてしまったのか？を把握し、どうしてそのようなことになってしまったのか？を本人へのヒアリングなども行いながら、深く探っていくことが重要だと思います。
攻撃者の手口に引っかかってしまうのは、なにもセキュリティに関する知識の有無だけが原因とは限りません。事実を集め、また、考えられる要因を洗い出して可視化することで、組織内における様々な問題点や課題を浮き彫りにしていく。実際の体験に基づいて、このような検証作業ができるのは、まさに訓練ならではと言えます。
このよう貴重な作業を行うことができるにも関わらず、開封率の高低だけを見て、今回の訓練の実施結果は良かった・悪かったを論じておしまいとするのは、実に勿体ないことだと思いませんか？
仮説・検証のPDCAサイクルを作ろう！
実際に訓練を実施された方であれば実感されていると思うのですが、開封率の高低だけを見て、訓練実施の良し悪しを判断しているとすぐに行き詰ります。なぜなら、開封率がある一定のパーセンテージから下には下がらなくなってしまい、訓練実施の効果が見えなくなってくるからです。
最初のうちこそ、開封率が大きく下がって、訓練やって良かったね。という話になるかもしれませんが、訓練を繰り返し、従業員もそれに慣れてくると、開封率があまり変わらなくなってしまい、開封率から効果の程を考察しようとしても難しくなります。そうなってくると、「このまま訓練を継続しても意味がないのではないか？」とか、「もう訓練なんてしなくてもいいんじゃないか？」といった訓練実施不要論が出てきます。
訓練実施サービスに頼ると１回の訓練実施で何十万～何百万円もの費用が出ていくことになるので、尚更に訓練実施不要論が出てきます。このような流れで、今はもう訓練を実施していないとか、訓練実施を懐疑的に思っている。という方もいるかもしれません。
訓練実施の前提となる「仮説」がなく、訓練の実施結果も「開封率」でしか論じていない。これは実際にあるケースですが、このようなやり方で訓練実施の良し悪しを論じたところで、意味のある結果など得られるはずもありません。
意味のない結果を元に、費用対効果などを考えるのは時間の無駄というものでしょう。折角、費用と時間と手間をかけて訓練を実施するのであれば、「訓練」というものを十二分に活用すべきです。実施の前提となる「仮説」があれば、それも可能になってきます。
やみくもに訓練を実施するのではなく、まず「仮説」を立て、その仮説を検証するための訓練実施方法や、訓練メールの内容を考え、訓練実施の結果から、仮説が正しかったのか間違っていたのか、また、別の仮説が考えられるのか？などを検証し、次の訓練へと繋げていくようにする。これはまさにPDCAサイクルです。
このような流れを作ることができれば、開封率以外の指標を元にした議論なども出てくることになるでしょうから、開封率があまり変わらないために、訓練実施の効果について役員クラスに報告を行うのに思い悩む。などということもないはすです。
訓練実施は「開封率」を測るために行うものではなく、新たな課題、見えていなかった課題にスポットを当てるために行うことで、訓練実施担当者がやるべきことは、その課題を探ること。と考えれば、やるべきこと、やれることが幾つも浮かんでくるのではないでしょうか？
このようにして訓練実施結果をとりまとめていくようにすれば、自ずと、次に繋がる実施結果報告が作れるはずです。
→次の記事へ（ 第10話 次回に繋がるフィードバックを得よう ）
標的型メール訓練をPDCFAサイクルとして実施するためのイロハをまとめています。訓練実施が初めてという方は是非ご一読下さい。
