問1 AI技術を利用したシステムの企画・開発に関する監査について
設問で問われているのは,設問イが「リスク」,「設問ウ」が「監査手続」なので…実際に当事者が行っているコントロールは,設問ウに含めることになると思う。
問題文中に…リスクに対して「機能要件を確定してから構築する従来の開発手法では対応が難しくなる。」という点があるため,PoCとアジャイルで対応しているかどうかが監査要点になるので,疑似経験で書く人は…当事者がどうしているのか?の設定を考えないといけないかな。
というのも…PoCやアジャイルは大きな話になるので,普通なら予備調査で確認するからだ。
具体的には下記のように考えながら各段落を下記進めていけばいいけれど…合格のポイントは…ずばり!
① 単にべき論を語るだけではなく,設問ウに当事者の実施しているコントロールが書けること
② 設問ア,イ,ウに一貫性をもたせること。特に,利用目的を達成できないリスク,利用目的を達成するためのコントロール,そのコントロールに基づいた監査手続にすること
この2点だけ。あ,もちろん監査手続の表現は出来ていることが大前提。過去問題でしっかりと練習して会得済みのこと。
この事例での経験者は少なく,監査経験のある人でも「今後同様の監査案件があれば…こうするよな」って考えながら書いているはず。なので,レベルは高くなく,監査手続の網羅性は(多少の減点はあるものの)…そんなに心配することはない。
それよりも上記の①②。
で,各段落のポイントはこんな感じかな。
1-1.AI技術を利用する目的
挑戦的視点でPoCにつなげていく。
ここは,リスクと監査手続をどうするかで決める。
普通に,人だと予測が当たらないとか,時間やコストがかかるからとかでいい。問題文の事例(3行目から5行目)からだと後者ばかりだけれど。
1-2.開発したAIシステム
ここは知識でも構わないので,何か決める。
但し,そのシステムと利用目的から,リスクが決まり,そのリスクからコントロールと監査手続が決まるので,全体の整合性を考えたうえで決めること。
2.AIシステムの利用段階において想定されるリスク
問題文に例示されているのが…
・アルゴリズムのブラックボックス化
・精度が低い(データが不適切)
・収集データに多くのコストがかかる
(効果に見合うコストが合わない)
・ノウハウの権利帰属問題による制約
この中で,すべてのリスクに反応する必要はないので(全部のリスクに反応すると”茨の道”になるので注意が必要。監査手続も薄くなる)…最もシンプルなリスクだと「利用目的に対して,効果が出ない場合」をリスクとして挙げるのがいいだろう。
3.企画・開発段階において実施すべき監査手続
まず,監査対象がPoCをアジャイルで進めようとしていることを書いた方がいい。
その上で…開発企画書,もしくはプロジェクト憲章,プロジェクト計画書,提案時,打ち合わせ時の議事録などを確認して…
・導入目的は,経営層を含め全社的に周知されていること
・経営層の参画(理解,協力)があること
・現場の協力が得られていること
・当該AIシステムの開発ベンダに,必要なデータ件数や粒度を確認し,それを満たしていること
・AIと人の出した答え(人の作業)との比較ができること
・評価項目,評価基準,評価のタイミングが決まっている事(成果の確認,KPI等の存在)
・PoCが終わり,本格的にAI導入をする場合の投資効果が評価されていること
・ユーザ・ベンダ間の契約形態の確認(PoC部分は準委任契約)
・学習データの権利の帰属について双方合意している事
これぐらいかな?
題材を何にするかで具体的にしていけばいい。
PoC,アジャイルに関しては,①お金を出す人の理解,②実験だからと言って無駄にしない。そのためには,明確な(定量的な)評価基準を予め決めておく,③投資効果を常にシミュレーションしておくという観点がメインになる。
無駄な投資はしない。
でも,挑戦はする。
そういう感じを出せばいいと思う。
具体的には,DX推進ガイドラインの中にある視点を書いていれば十分だと思う。
以上。