次世代匿名加工技術DNATが機械学習モデルの学習に与える影響

序論

近年、データ保護規制はますます厳しくなり、中でも公の場で記録された画像や映像に関する規制が特に強化されています。この規制強化は、基本的人権の一つとしての個人情報を保護する一方で、先進的なAIと機械学習のユースケースの拡大を妨げることにもなっています。このため、データの匿名化は、個人情報保護規制を遵守するための効果的な方法です。しかし、従来のソリューション手法で匿名化されたデータは、分析や機械学習のために利用するには十分な品質を維持しているとはいえません。

そこでbrighter AI社では、画像および映像データ内において個人を特定できる情報（個人情報）を保護するためのDNAT（Deep Natural Anonymization）を開発しました。

このレポートでは、DNATによって匿名化されたデータと匿名化される前のデータで学習を行い、両者を比較して機械学習モデルのパフォーマンスに影響が出るかを検証します。同じハイパーパラメーターを用いて、匿名化前のデータと匿名化後のデータの両方でモデルを学習させることで、データセットのみがパフォーマンスの変化を引き起こす要因であるようにしました。

データセット

使用したデータセットは、ラベル付きのCityscapes[1]です。Cityscapesは、ドイツを中心とした街並みの画像が、多様な気象条件、日時で記録された公開データセットです。

Cityscapesデータセットのサンプル画像図1

図1は、Cityscapesデータセットのサンプル画像です。人の顔とナンバープレートを対象とするbrighter AI社のDNATは、バス、トラック、車、人、運転手などの各クラスに着目します。DNATを使用して、すべての画像に含まれる個人情報を匿名化した学習用データセットを作成しました。

個人情報がDNATによって匿名化されたサンプル図2

図2は、個人情報がDNATによって匿名化されたサンプル画像です。この例では、DNATで合成オーバーレイを生成して顔が匿名化され、また英数字の組み合わせを変更してナンバープレートが匿名化されています。

データセットにどの程度個人情報が含まれているのか理解するために、フレームごとの個人情報の平均出現率の分布を分析しました。

フレームごとの個人情報の平均出現率の分布図3

図3はこの分布を示しており、平均して1フレームごとに2つの匿名化された個人情報を持つという特徴があります。

学習データセットは、1フレームあたり平均2つの匿名化された個人情報を持つという特徴があることが分かりました。

実験

セグメンテーションタスクにおけるモデルのパフォーマンスを、2つのケースで比較しました。1つは、匿名化前のデータで学習させたモデル、もう1つは匿名化後のデータで学習させたモデルです。

匿名化されたデータは、表 I に示すデータに相当します。

表 I
学習用データ	検証用データ	テスト用データ	計
2970	500	1525	5000

良く知られているMask R-CNNを実験用のモデルとして選んでいます。実装には、Facebook AI Researchが主催し公開されているDetectron2 [2]リポジトリを使用しました。

Detectron2には、事前にコンフィグレーションが設定してあります。
モデルの学習とテストでは、「cityscapes/mask rcnn R 50 FPN.yaml」という名前のコンフィグレーションを使用しました。このコンフィグレーションでは、事前学習済みの ResNet50をバックボーン（ImageNet データセットで事前学習済み）として利用し、学習に 8 つのGPUを使用しています。

今回は、利用可能なリソースに基づいて、この既定の構成を 4 つの GPU に変更し、それに応じて学習率を 0.005 に調整しました。
AP（平均適合率） [3] を使用して、セグメンテーションタスクでのモデルのパフォーマンスを評価しました。

Detectron2のオープンソースリポジトリ[2]ではすでに評価指標としてAPが提供されている一方で、さまざまなセグメンテーションクラスに対するモデルパフォーマンスを測るため、これらのクラスのmAP[3]を計算しました。実験の一貫性を確保し、その分散を最小限に抑えるために、モデルを5回学習させ、これらの結果を集計してAPを計算しました。

結果

表 II は、ImageNetで事前学習されたResNet-50をバックボーンとして、ImageNetでMask R-CNNを学習させたテスト結果です。
匿名化前のデータで学習させたモデル(左)と匿名化後のデータで学習させたモデル(右)のAP（平均適合率）を示しています。

結果的に、両モデルの間に明確な違いはありませんでした。 8つのクラスすべてのmAPは、クラスに関係なく0.315です。個々のクラスのAP（平均適合率）も、匿名化前後で大きな差はありませんでした。

表 II
結果	人	運転手	車	トラック	バス	電車	バイク	自転車	全クラス（mAP）
未加工データ	0.309 ± 0.002	0.246 ± 0.004	0.501 ± 0.003	0.278 ± 0.006	0.503 ± 0.015	0.329 ± 0.018	0.168 ± 0.005	0.187 ± 0.002	0.315 ± 0.004
匿名化データ	0.310 ± 0.002	0.243 ± 0.005	0.505 ± 0.002	0.289 ± 0.015	0.501 ± 0.013	0.314 ± 0.021	0.165 ± 0.010	0.189 ± 0.005	0.315 ± 0.004

結論

この実験から、brighter AI社のDNATによって匿名化された画像データが機械学習モデルの精度に影響を与えないことが確認できました。
学習とテストは、最先端の機械学習モデルMash R-CNNに公開されているCityscapesデータセットを使用して行われ、結果の精度は、APおよびmAPで測定されています。（表IIを参照）。

この実験を通じて、匿名化されたデータで学習された機械学習モデルは、匿名化されていないデータで学習されたものと同じ精度レベルを持つという結論に達しました。

個人情報保護はますます重要な社会的トピックです。brighter AI社の DNATで匿名化したデータを使用したこのレポートが、公共の場で収集したデータで機械学習モデルに学習させたい一方で、データ保護法 [4] （GDPR など）に縛られている企業や組織にとって、今後の新たな選択肢の一助になれば幸いです。

DNATは個人のプライバシーを保護し、機械学習モデルの学習の精度を高く保ち、革新的なプロジェクトの実行を可能にします。

brighter AI社の提供サービス

最先端のディープラーニング技術に基づく画像・動画の匿名化ソリューションを提供します。
精密なぼかしとDNAT技術は、顔とナンバープレートを編集し、GDPRなどのデータ保護規制の遵守を支援します。
さまざまな業界の企業が、公開録画されたカメラデータを分析やAIに使用できるようにします。
brighter AI社のソリューションは、個人情報に対する責任と違反による罰金のリスクを軽減し、チームの能力を高め、市場投入までの時間を短縮し、イノベーションを推進します。

参考資料

[1] The Cityscapes Dataset, https://www.cityscapes-dataset.com/

[2] Francisco Massa and Ross Girshick. maskrcnn-benchmark: Fast, modular reference implementation of Instance Segmentation and Object Detection algorithms in PyTorch. 2018, https://github.com/facebookresearch/detectron2

[3] Evaluation Metrics: Mean Average Precision, https://en.wikipedia.org/wiki/Evaluation_measures_(information_retrieval)#Mean%20 average%20precision