AIレッドチーム(生成AI活用システムへのセキュリティ診断)

お客様のAIセキュリティ・セーフティの実現を支援する。

急速に普及する生成AIを活用したシステムは情報漏洩、悪用や誤用、不正確な出力等、さまざまなリスクが潜んでいます。
当社のAIレッドチーミングサービスは、こうしたリスクを事前に洗い出し、生成AIを活用したお客様のシステムにおけるセキュリティとセーフティの確保を支援します。

AI Red Teaming
(生成AI活用システムへのセキュリティ診断)

AIレッドチームとは?

ジェイルブレイク、プロンプトインジェクション、プロンプトリーキングなどの手法を用いて、AIシステムに対して疑似攻撃を実施します。これにより、システムに潜むリスクを洗い出し、安全・安心な運用を実現するための具体的な対策をご提案します。

被害・問題事例

生成AIの活用は、利便性が高まる一方で、サイバー攻撃による情報漏洩などのリスクも増しています。
ここでは、実際に報告されている被害・問題事例の一部をご紹介します。

1. 航空会社のAIチャットが誤情報を案内

ある航空会社のWebサイト上で提供されていたAIチャットボットが、会社のポリシーに反して誤った割引料金を顧客に案内してしまいました。当初は割引の適用を拒否ていたものの、裁判では会社側の責任が認められ、最終的にチャットボットは停止される結果となりました。AIによる誤情報は、顧客に不利益を与えるだけでなく、企業の信用を大きく損なうリスクがあります。

2. ビジネス用チャットツールで機密情報の漏洩懸念

生成AIを搭載したビジネス向けのチャットツールにおいて、システム上の脆弱性を突いた攻撃により、非公開の機密情報が漏洩する恐れがあることが確認されました。幸いにも、研究者が早期に問題を発見報告したことで被害は発生しませんでしたが、深刻なセキュリティインシデントにつながる可能性があった事例です。

3. 数学用生成AIツールで任意コードの実行が可能に

数学の問題を解く生成AIツールにおいて、外部から任意のコードを実行できる脆弱性が発見されました。これにより、APIキーを含むシステム内部の機密情報が閲覧が可能であり、プログラムの停止やAPIの不正利用にもつながりかねない状況でした。速やかな対処により、深刻な被害を未然に防ぐことができました。

お客様に選ばれる理由

当社がお客様に選ばれる理由をご紹介いたします。

生成AIのユースケースにもとづ
的確にリスクを特定
!

生成AIシステムの利用者・目的・利用方法によって、注目すべきリスクは大きく異なります。当社では、セキュリティエキスパートがユースケースをもとにリスクシナリオを設計し、そのシナリオに沿って重点的にテストを行います。これにより、ビジネスへの影響が大きいリスクを的確に特定することが可能です。

手動・自動を組み合わせたアプローチ重要な課題をより多く発見!

自動テストツールの活用により、短時間で幅広い疑似攻撃が可能です。さらに、システムの特性やユースケースを踏まえ、人の視点でリアルな挙動を確認しながら手動でテストを行います。これらを組み合わせたハイブリッドなアプローチにより、重要な課題をより多く発見できます

各種AIセーフティ・セキュリティ
ガイドラインへ準拠
!

生成AIを活用したAIシステムの普及に伴い、各国・地域でリスクへの対応が求められ、ガイドラインの重要性が高まっています。当社では、OWASP LLM Top10をはじめとする、各種AIセーフティ・セキュリティガイドラインに準拠したテストを実施お客様はガイドラインに則った安全・安心な運用ができます。

ケーススタディ

ケーススタディをご紹介いたします。

ECサービスを展開する企業A様
(顧客向け生成AIチャットボット導入案件)

弊社は、以前よりお客様からのお問い合わせ対応にチャットボットを活用してきましたが、顧客満足度の向上を目的に、生成AIの導入を検討していました。しかし、誤った回答や不適切な回答懸念がありました。そこで、AIレッドチーミングを実施したところ、想定していなかった潜在的なリスクが明らかになり、導入前に適切な対策を講じることができました。

グローバル小売業B様
(採用活動における生成AI活用案件)

履歴書の内容から候補者の経験やスキルが募集職種にマッチしているかを判別する社内向けのAIシステムを開発しました。当初は社内の利用に限られるため大きなリスクはないと考えていましたが、念のためAIレッドチームによる検証を依頼したところ、実装に不備があり情報漏洩のリスクがあることが判明しました。早期に対処できて本当によかったです。

料金

対応の期間・内容、対象等応じて個別にお見積りいたします。
※無料の相談・トライアルテストを行っています。お気軽にご相談ください

代表メッセージ

生成AIは、登場以来めざましい存在感を示し続けており、私たちの社会や日常に深く入り込んできています。
その影響はビジネスの領域にも及び、これまでの常識や仕組みを見直すような変化が、各所で起こり始めています。

多くの企業が、生成AIを活用して新たな価値を創出したいと考える一方で、セキュリティや倫理面のリスクが不透明なままでは、思い切った一歩を踏み出せないという声を、私たちは多くいただいてきました。

私たちが提供する「AIレッドチーミング」は、世界最先端の動向や技術トレンドを踏まえた知見をもとに、セキュリティおよびセーフティの観点から潜在的なリスクを洗い出します。最新の脅威やユースケースを意識しながら、実践的かつ現実的なシナリオで検証を行うことで、企業がより安心して、そして自信を持って生成AIをビジネスに取り入れられるよう支援します。

変化の速い時代において、いかにして安全かつ先進的にテクノロジーを活用するか。私たちはその挑戦に伴走し、未来を切り拓くパートナーであり続けたいと考えています。AI活用時のセキュリティやセーフティに関するお悩みやご相談があれば、ぜひお気軽にご連絡ください。

大西健太
代表プロフィール

よくある質問

1.サービスの流れを教えてください。

概要ヒアリング、お申込み、詳細ヒアリング、テスト、結果分析、報告、改修後のテスト、となります。

ComfySec株式会社