VUE Point 最新のニュース、イノベーション、テクノロジー
2019 Q2

グローバル VUE

当社のエキスパートに聞く:オンライン試験監督の新機能とは?

コンピュータベーストテストにおけるセキュリティと新しいテクノロジーに関するエキサイティングなトピックを紹介する、VUE Pointニュースレター第2号をお届けするにあたり、まずは皆さまに Peter Pascale をご紹介いたします。アセスメント業界で 20 年近い経験を持つ Peter は、絶え間なく変化するテクノロジーの展望と CBT へのインパクトについて独自の洞察力を持っています。

1. Pearson VUE での役割と経歴は?

私は Pearson VUE に勤めて 19 年になり、現在はプロダクトおよび戦略担当のバイスプレジデントを務めています。ソフトウェア開発者として 8〜9 年間、試験プログラムと受験者サポートのシステムのために多くのコードを書いてきました。ほんの少しのコードと、ほとんどのバグとでも言っておきましょう。

数年後、テクノロジーチームのリーダーとなり、その後プロダクト戦略チームのリーダーになりました。現在、私のチームの責務は既存のプロダクトに顧客からのフィードバックを取り入れ、開発チームと協力して新機能や機能強化を図り、また、将来の顧客層とマーケットが長期的な観点から何を必要とするかを予測することです。

2. 試験業界における特定の専門分野または関心は何ですか?

自身の経歴上、私はテクノロジーがいかに試験開発を多面的に改善できるかに没頭している、そう言っても誰も驚かないでしょう。登録やチェックインプロセス、新しいタイプの試験、またパフォーマンスベースの試験のようなエキサイティングな試験設計において、より良い受験体験に導くという点で、テクノロジーは試験プログラムと受験者に多くのことを提供しているのです。

私のチームは試験開発を時代の流れに沿ったものとして維持するために、教育や労働力開発における動向も観察しています。

3. 最近、Pearson VUE は新しいオンライン試験監督 (OP:Online Proctoring、以下「OP」と呼びます) システム、「OnVUE」をリリースしましたが、このプロジェクトにおける役割は何でしたか?

OP システムである OnVUE には、新規事業の立ち上げを担当するような専任チームがあります。OnVUE  の立ち上げにおける私の役割は、新規事業のオーナーのように全てを把握しつつ、プロジェクトを前進させるために必要なことを何でもおこなうことでした。OnVUE のさらなる開発に顧客の視点を取り入れるべく、OP の利用を検討している認定団体と、この新しいサービスについて話をする日もあれば、その翌日には、難しい技術的問題の解決方法を精査するチームのサポートをするといった具合です。

4. なぜプロダクトチームは Pearson VUE の OP サービスを再考し、優先的に手がけたのですか?

当社の経営陣は私のチームに「オンライン試験監督における業界のリーダーになるためには何が必要か?」という課題を出しました。私たちは試験監督員による安全な試験監視を提供しながら、オンラインで最高の受験体験を生み出すことのできるサービスを計画して提示しました。OnVUE では、受験者の受験体験を一からすべて再構築することになりました。これにより、最新のテクノロジーと UX デザインを使って煩雑さを取り除き、受験者が最新のソフトウェアに期待するエクスペリエンスとインタラクションを生み出すことができました。OnVUE での受験体験はすべて真新しく、また OnVUE は今後もさまざまな面白い拡張や機能を追加できるプラットフォームとなっています。

5. OP を導入する認定団体のために、この新しいサービスをどう展開していきたいですか?

最終的に、Pearson VUE としての目標は、受験者と試験プログラムの独自のニーズを満たしながら、受験者がどこにいても認定団体が彼らを評価できるようにすることです。

私たちは、世界最大のテストセンターネットワークや業界最先端の企業所有のテストセンターと共に、認定団体が利用できるより優れた OP ソリューションである OnVUE を導入していきます。

認定団体は、高性能な OP ソリューションと他のすべてのコンピュータベーストテストの配信形式のどちらか一方を選択する必要はありません。Pearson VUEは、認定団体が配信を希望するあらゆる地域や受験者層に合わせて、配信形式を組み合わせて提供することができます。

6. 過去のオンライン試験の実施方法と比較して、なぜ OnVUE はエキサイティングな開発なのですか?

OnVUE では、管理者権限と複雑なインストール作業の一切を取り除きました。受験者は簡単なダウンロードをするだけで受験できます。私たちは、受験者が知識や能力を証明する場では、なるべくストレスを感じさせないプロセスを提供できるよう努めています。受験に対しすでに不安を抱いている時に、パソコンの操作などで苦労したくはないですよね。シームレスな受験体験をしたいという希望を、OnVUE なら叶えることができるのです。

さらに OnVUE にはセルフチェックイン機能も組み込まれています。これにより、AI や政府発行の ID 認証ツールを使用して受験者の本人確認と受験環境が検証でき、監視プロセスを維持しながら試験開始までの時間を短縮することができます。

7. OP の導入を検討するとき、試験プログラムについては何を考慮すべきでしょう?

私たちはいつも、テストセンターでの配信、OP による配信、または、認定団体による直接配信のいずれの場合でも、配信形式ごとに関連するセキュリティレベルとリスクが異なるということを認定団体に説明します。セキュリティと柔軟性についてだけでなく管理方法と受験しやすさのバランスの観点からも、このことについてよく話し合います。結果的に Pearson VUE のチームは、認定団体が試験プログラムに関わる特定の試験、受験者、リスクプロファイルに基づいてリスク管理するためのノウハウとサポートを提供しています。

特に OP について、受験者やパートナー企業のメンバーに「BYOD:Bring Your Own Device」(*1) 形式での試験の本質について啓蒙するよう、認定団体にアドバイスしています。OnVUE は受験者がどんな場所でも受験できることをこれまで以上に容易に実現できると自信を持っていますが、受験中に利用するコンピュータや操作に対して責任があるということを受験者自身が認識しておくことが重要です。こういったノウハウを共有し、技術的な質問や技術的トラブルを最小限に抑えることができるよう、私たちはサポートやツールを提供しています。

(*1) 個人の端末を持ち込み、業務などで利用すること

8. OP の将来をどのように考えていますか? コンピュータベーストテストの業界全体ではどのような変化が起こると思いますか?

OP の将来については、AI が以下の 2 つの方法で品質とセキュリティ向上に貢献する可能性が高いと見ています。

1つ目は、機械学習を活用することで、OP 試験を監視するための試験監督員のキャパシティが増えること。2つ目は、AI は、試験配信を通してより幅広いパターンを特定できるので、私たちが通常 OP 試験の監視録画を見ただけでは気づけない事実を取り込むのに役立つということです。

全般的に、AI は試験業界全体に受験者の能力の検証、そして受験体験の整合性を保証するための新しいツールをもたらしてくれるだろうと思っています。

多くの受験者にとって、受験したことで得られる最善の結果は、就職や仕事の継続、またはより良い仕事への転職につながることです。雇用可能性とスキル開発の重要性が増している昨今、認定や資格の未来は明るいと考えています。スキルや知識を実証する必要性は高まる一方でしょう。

インサイト & イノベーション

あなたの AI の賢さは?

ここ最近、AI (Artificial Intelligence : 人工知能) の驚くべき力についていろいろな話を聞いたことがあると思いますが、現実には私たちが期待していたほど、AI 技術は常に進歩しているわけではありません。スマートスピーカーを持っている人なら誰でも、このような反応を聞いたことがあるのではないでしょうか? -「すみません、よくわかりません」。これは、人工知能の多くの用途がパターンマッチングの巧妙な実装に過ぎないという事実を表しており、これは非常に効果的な方法で使用できますが、未だ多くの場合において、独立して利用できるような技術は備わっていません。私たちはこの点に注目して、AI を最も効果的に使用できる方法とケースをよりわかりやすく説明します。

試験業界に当てはめてみましょう。私たちは AI がパターンマッチングを得意としていることを知っています。つまり、AI は画像に含まれているもの (ID や顔写真など) を識別し、名前や有効期限などの情報を抽出できます。さらに AI は、セキュリティ上の目的で挿入された不正な識別を示す既知のマーカーや識別子を見つけることもできます。

具体的には、オンライン監督による試験を実施している間、AI はさまざまな指標を識別することができ、リアルタイムで試験を監視している人間の監督員の能力を高めます。AI は、コンピュータの前に座っている人が、ID に表示されている人と同じかどうかを伝えたり、持ち込み禁止の物を検知したり、周囲の音を聞いたり、さらには受験している場所に他の人がいないかどうかを確認できます。

とはいえ、これは明確にしておきましょう。これらの行動はいずれも決定や判断ではありません。AI は貴重な情報の検証を行いますが、それは人間の経験に基づいた判断ではありません。「試験を中止した方がよいか?」、「この人は不正をしているか?」といった、私たちが試験監督員に尋ねる最も重要な質問に答えることはできないのです。

オンライン試験監督「OnVUE」の目標は、認定試験を通じてより多くのチャンスをより多くの人々に与えることです。オンライン試験は、受験を妨げる可能性のある障壁も取り除くことができます。AI を追加することで、OnVUE は 100% 自動化され、受験者のユーザーエクスペリエンスが大幅に向上します。同時に、OnVUE は AI を活用して人間が見逃す可能性がある部分を補いながら、人間が難しい判断を下す能力を強化することで、クライアントに対し強化されたセキュリティを提供します。なぜなら、コンピューターはまばたき一つせず常に監視できるからです。

Secure Testing Framework™:信頼できるセキュリティ基盤の構築

試験セキュリティは、ひとつのソリューションで全ての問題を解決できるというものではありません。試験の内容を保護するというのは心理統計分析家、オペレーションチーム、セキュリティチーム、および組織内の役員それぞれにとって異なる意味合いがあります。昨今のセキュリティに対する脅威は常に躍動的であり、試験プログラムを保護するために多面的なアプローチが必要ですが、試験セキュリティの根本的な概念はシンプルなままであるべきだと考えます。そこで、当社の Secure Testing Framework™ (セキュリティ・テスティング・フレームワーク) の出番です。

フレームワークの中核となるのは、認定団体の知的財産および受験者情報の保護です。事業継続やデータプライバシーから、内部監査やリスク管理まで、このフレームワークの中心は、情報セキュリティ、品質、プライバシーの基準において 幅広い認証を取得している Pearson VUE の取り組みを表しています。試験プログラムのセキュリティのために試験設計、配信戦略、受験体験およびリスク管理という 4 つの重要な分野を、フレームワークの外環として取り入れています。

セキュリティフレームワーク画像

試験プログラムをどこでどのように保護するかという慎重な決断を下すのに Secure Testing Frameworkがどのように役立つかを知っていただくために、以下の意思決定プロセスの例文を一緒に見ていきましょう。

試験設計: あなたは多肢選択式によるフォーム方式での試験設計をすることにしました。そして試験コンテンツを年 4 回のみ更新するプランを立てようとしています。CAT (Computer-adaptive Testing) や LOFT (Linear-on-the-fly testing) 方式の試験と比較した際に、フォーム方式の試験に伴うリスクは何でしょうか?この場合、Secure Testing Framework の他の要素にどのような影響を与えるでしょうか?

配信戦略: あなたはできるだけ多くの受験者に試験へのアクセスを提供したいと考え、Pearson VUE 公認テストセンターの広範囲に渡るネットワークと OnVUE (オンライン試験監督) を選択しました。より広範囲な配信チャネルを選択する場合、受験体験の一貫性においてコントロールのレベルを考慮しなければなりません。手のひらの静脈・生体認証や試験中にビデオ撮影よる監視といった、セキュリティへの追加対策なしで試験を実施しても問題ないでしょうか?

受験体験: 広範囲の配信チャネルを使用することによる受験体験のセキュリティへの影響を考えてみましょう。たとえば、どのような再受験ポリシーを適用させますか? 再受験ポリシーは、試験の内容をアイテムハーベスティング (試験問題を収集し、利益のために配付する行為) から保護することや、頻繁に受験できる受験者に不当な優位性を与えないようにすることに直接影響します。その一方で、再受験が困難な遠隔地にいる受験者のことも考慮しなければなりません。

リスク管理: 上記の 3 項目であなたが下す決定は、常に、少なくともある程度のリスクにつながります。広範囲に及ぶ配信チャネルを通じて、世界中の受験者にフォーム方式の試験を提供するという決断には、メリットとリスクの両方があります。広い配信チャネルによって世界中の受験者に受験機会を与られるというメリットは享受しますが、試験コンテンツは年に 4 回しか更新されないので、試験問題の漏えいというある程度のリスクが発生します。度重なる予約変更、急激なスコアの上昇、または極端に短い試験時間や低すぎるスコアといった、セキュリティ・リスクを示している可能性がある異常な受験動作を検出するために、Web モニタリングおよびその他のセキュリティ分析を導入することを検討してみてはいかがでしょうか。

ご質問はありませんか? Secure Testing Framework がどのように試験セキュリティポリシー強化に役立つのかといったことなど、お気軽に担当のプログラムマネージャーにお問い合わせください。

成功のカギ

今すぐ取り入れるべき試験セキュリティーのための4つのベストプラクティス

試験セキュリティは幅広くさまざまな異なる意味合いを持つトピックであり、そして絶えず進化しています。認定団体自身は、試験コンテンツおよびプログラムには品質担保と共にセキュリティに対する投資の必要性を認識していると思いますが、どこから取り掛かるべきでしょうか? Pearson VUE は試験プログラムのセキュリティをより強化するために今すぐ実行できる 4 つのベストプラクティスをお伝えします。

  1. あらゆる地域・場所においてデータを保護
    これは最初に取り掛かる点としては当然のことかもしれませんが、認定団体はこのことを認識していながらも、受験者データや試験コンテンツの全体像を把握していない場合があります。当社の管理内にある限り、データは適切に保護されていますが、認定団体側でも全体像を見据えて受験者データの保護を確実にする必要があります。たとえば、試験開発、心理統計分析、またはサードパーティに試験コンテンツや受験者データの翻訳を依頼する場合、データが安全な方法で取り扱われるように十分な注意を払う必要があります。電子メールの暗号化、ISO 27001 や米国での科学技術スタンダードである NIST (National Institute of Standards and Technology)、国内外のデータ保護規格への準拠、および GDPR など、地域ごとの法律に準拠するようサードパーティに義務付けるようにしましょう。

  2. 試験コンテンツと試験設計の再考
    試験コンテンツと試験設計が、試験セキュリティとどのように関係するのか疑問に思うかもしれません。実際には、これは試験問題漏えいに対抗するための最善策の 1 つなのです。より多くの試験問題の作成に時間を投資することを考えましょう。試験問題を豊富にすることで、受験者が同じ問題や流出した問題を受ける可能性を減らすことができるため、試験問題自体の出題期間を延長できるとともに試験セキュリティを強化できます。実のところ理想的な問題数は、現在配信している、または利用可能な出題数の約 2 倍です。このように積極的に試験コンテンツを試験設計に取り入れることで、試験セキュリティに対する継続的・長期的なプラスの効果をもたらすことができるでしょう。

  3. セキュリティプランの設計と利用
    これは試験セキュリティの基本でありながら重要なポイントです。時間をかけて完璧なセキュリティプランを立てることで潜在的な脅威に対抗できるだけでなく、問題が発生したときにもタイムリーに対応できるようになります。セキュリティプランがあれば「試験内容がネット上に投稿された場合どうするのか?」、「受験者のスコアを取り消すタイミングは?」、「いつ受験者を受験禁止にすべきか?」、「セキュリティ事案が発生したとき、オンライン試験とテストセンター試験でそれぞれどのように対応したいか。」といった質問への対応をあらかじめ定義しておけます。常に最新のセキュリティプランを用意しておくことで試験プログラムのポリシーと手順をチーム全体に共有できるため、発生しうるインシデントに対してより効果的な予測・管理ができるようになります。

  4. ブランドと知的財産を常に監視
    試験セキュリティは、受験者のデータや言動、試験問題を保護することだけではなく、ブランド全体を保護することでもあります。Web モニタリングは、ブランド、そして資格に対する評価を守るための比較的手頃で簡単な方法です。Web モニタリング自体は、幅広い試験セキュリティプランの中の 1 つの要素にすぎませんが、周知の事実として受験者はネット上で受験体験について発言できてしまいます。Web モニタリングは、受験者がソーシャルメディアに特定の試験問題についてコメントを投稿すると、即座にアラート発信するため、試験問題の漏えいに対してだけでなく、受験者のコメントを取り巻く広報の対応にも役立ちます。当社は継続的に Webモニタリングのサービスを促進し、新しい国際的な情報源にも範囲を拡大させ、より良い管理用画面およびデータの視覚化を提供します。Web モニタリングソリューションの詳細については、担当のプログラムマネージャーにお問い合わせください。

    これら 4 つのベストプラクティスを検討される際には、お気軽に Pearson VUE にご連絡ください。セキュリティプラン作成に関する質問にいつでもお答えします。

トピック

実録:サウジアラビア国立試験センターのセキュリティ対策

世界中で、認定団体は試験設計から受験体験まで、プログラムのあらゆる面でセキュリティの課題に直面しています。そのため、組織は認定試験の公平性と完全性を維持するためのセキュリティ計画の整備に熱心に取り組んでいます。私たちは規約を施すべきか認識はしているものの、実行に移す場合はどのようになるのでしょうか。

サウジアラビアの国立試験センター (National Center for Assessment : NCA) は、大学入試をはじめエンジニアや会計士の専門試験を含むアセスメントサービスを開発・提供する、中東で初の政府の専門機関です。18 年以上前に設立されて以来、さまざまな教育や専門分野の試験基準の整備・策定において、多くの優れた業績を達成しています。

世界最大の Pearson VUE 公認テストセンター (なんと180 席!) から最高峰のハイテクトレーラーに設置されたモバイルテストセンターまで、NCA は、所有するテストセンター全体でグローバルスタンダードとセキュリティを維持するために最先端技術を導入しました。その方法は以下のとおりです。

替え玉受験者の検出
受験者がテストセンターに入ると、テストセンターの担当者は保有データに対し写真付き ID、署名及び筆跡と照合・比較し、さらに手のひら静脈認証をおこないます。サウジアラビアの内務省と協力して、NCA は指紋認証も実施しています。これにより、チェックイン中のわずか数分で受験者と本人確認書類の不一致を明らかにします。

試験問題の流出防止
試験問題プールの価値を理解した上で、NCA は試験問題の漏えいの可能性を最小限にするためにさまざまな策を講じています。受験者に私物をロッカーに保管させるといった標準的なセキュリティ策に加えて、NCA は試験問題プールの定期的な更新にも労力を費やし、試験問題を不正に収集しようとする組織の活動を足止めしています。

ネットワークおよびシステムセキュリティの最大化
NCA はサウジアラビアのすべてのテストセンターを単一の WAN (ワイドエリアネットワーク) でつなぐことにより利用ネットワーク数を減らしました。その結果、外部攻撃からのシステム保護がより簡単になりました。さらに NCA はネットワークの脆弱性スキャンを定期的に実行することでシステムセキュリティをより強固にするなど、積極的に潜在する弱点の識別に取り組んでいます。

試験監督員の信頼性の維持
NCA はすべての従業員を自ら雇用することに決め、試験監督員を正社員で採用しています。その結果、サウジアラビアにはサードパーティのテストセンターがなく、試験実施の管理をより強化しています。さらにルール違反の可能性を減らすために、各テストセンターには認定済みの試験監督員を多数配置しています。また、本部オフィスに接続されたテストセンターのカメラで品質の監視をしています。

結論として、NCA は Pearson VUE 公認テストセンターで確立された試験セキュリティのベストプラクティスを活用しながら、試験プログラム保護のために追加で実施したセキュリティ対策のメリットも享受しています。これらは、認定団体が資格情報の保護を強化するために、独自のセキュリティ計画を作成した方法の良い例といえるでしょう。

さらなる信頼のために:ベンダー保証とコンプライアンスの導入

当社は、顧客が期待する最高レベルの試験サービスを提供することを約束しているため、新しいベンダーを利用する際はそのベンダーが当社と同じサービスおよびセキュリティ基準を満たしていることを前提としています。当社は厳格な「ベンダー保証とコンプライアンス手順」に従い、世界中でビジネスをおこなうための信頼できるエコシステムを構築し、顧客とその受験者に提供するサービスレベルをより高いものにしています。

当社の手順では、ベンダーの選定から協業が終了するまでの全ての要件や、ベンダーが当社の取得したマネジメントシステム (ISO 9001、ISO 27001、ISO 22301) およびピアソングループのポリシーなど全てに準拠していることを選定の要件として定義しています。

ベンダー エコシステム

これらのベンダーと契約する前に、当社は以下の項目につき厳格な一連の確認プロセスを実施しています。

  1. 健全性:適切な規則や規制を順守しているか
  2. 法的実績:制裁対象国でビジネスをおこなっていないか
  3. セキュリティ:当社のシステムおよび受験者データや試験コンテンツへのアクセス権の必要はあるか
  4. ファイナンス:彼らは贈収賄防止や汚職防止のポリシーを遵守しているか
  5. データ保護:データを正しく、合法的に管理しているか

協業する予定のあるベンダーは、当社エコシステムに加わる前にこれらの初期チェック項目のすべてに合格する必要があります。また、正確性とセキュリティを確実にするために、当社は毎年またはベンダーのサービスに変更があるたびに、事業活動およびプロセスを監視、監査、そしてカテゴリー分類を実施しています。

ベンダー保証は簡単で内部的なプロセスのように思えるかもしれませんが、試験プログラムのための最適なサービスを世界中で維持することは非常に重要なことであり、また、試験プログラムとコンテンツを保護することは、より幅広いセキュリティ戦略の要となる部分なのです。