ブラックボックス問題
Black Box Problem
AI用語解説Overview
AIがなぜそのような判断・回答をしたのか、その理由や根拠が人間には分からない状態のことです。信頼性や責任の所在が問われます。
さらに詳しく解説Details
ブラックボックス問題とは、AIが出した結論や判断の根拠・プロセスが人間には見えず、「なぜその答えを出したのか分からない」状態を指します。高性能なAI（特に深層学習系）ほど構造が複雑になり、ブラックボックス化しやすい傾向があります。
たとえば、融資審査AIが「この顧客には融資できない」と判断した場合、その理由が分からなければ顧客への説明ができません。また、AIが間違った予測をした際に「なぜ間違ったのか」を分析できないため、改善が困難になります。
ブラックボックス問題が深刻なのは、①AIの判断に誤りがあっても原因特定が難しい、②法的・倫理的に理由の説明が求められる場面で対応できない、③AI担当者が退職した後に誰も中身を理解できなくなる、といったリスクがあるからです。
対策として、後述する「説明可能AI（XAI）」の技術を採用したり、判断根拠を可視化できるAIツールを選ぶことが重要です。また、重要な意思決定にAIを使う場合は、必ず人間の確認プロセスを挟む設計にすることをお勧めします。