消費税7％分に相当…パナマ文書で晒される 日本企業“61兆円”ケイマン隠れ資産

[301. 匿名]

↓データ解析がいかに困難なものかが分かります。焦らず待ちましょう。

「パナマ文書」解析の技術的側面
2.6テラバイトのリークデータを調査報道機関はどうやって分析したのか？ 2016年4月12日（火）18時25分 (以下抜粋、全文はリンク先を参照)

1.データの形式
・容量: 2.6TB。大きさとしては一万円程度のハードディスクにすべて納まります。
・ファイル数: およそ1,150万
・データ形式: 電子メール、RDBなどのデータベース、PDF文書、画像（おそらく多くは書類のスキャン）、テキストファイル。
　2.6TBというデータは、現在の計算機にとっては決して大きなものではありません。＜中略＞ しかし、その大きさのデータを人間が解析しようと思った時、それはあまりにも膨大な量で、とても人力でどうにかなるものではありません。本質的にこのデータセットに対しては、プリントアウトしてひとつひとつ見るというようなアナクロな手法は通用しません。パナマ文書は何らかの検索や可視化の技術が利用できなければ、人間には歯が立たないものなのです。

2.データの前処理
　このような膨大な数のファイルを解析する場合、必ずデータの前処理が必要になります。今回のデータセットは大きく二つのタイプに分けることができます:
１. RDB形式（いわゆるデータベース）の機械で容易にアクセスできるファイル
２. 人が読むことを前提にした文書ファイル。テキストと画像、PDFを含む
　今回解析に当たったICIJのデータ解析班は、まず比較的ハードルの低いひとつ目のデータに取り組みました。要するに、データベース容易に検索できる形に再構築することです。これは専門家の手により数ヶ月で終えることができたそうです。しかし二つ目のデータはそうはいきません。

3.テキストデータへの変換
　この記事によれば、画像の多くは紙の書類をスキャンしたものだったようで、そこから文字情報を引き出そうとする場合、OCRという技術が必要になります。OCRとは要するに画像から文字を認識して切り出す技術です。＜中略＞ 30台から40台のEC2インスタンスを用いて、ひたすら画像データを文字情報に変換する作業を行いました。

4.データのグラフ化
　OCRによるテキスト化を行うと、ひとまず計算機上での扱いは容易になります。＜中略> 詳細な調査には最終的にはスキャンされた書類や会計報告などを専門家が読み込む必要があり、人や企業のネットワークから、キーワード検索でさらに詳細を調べられるようにしなくてはなりません。それを構築するために用いられるのが全文検索エンジンと呼ばれるものです。彼らはまずファイルの集合からメタデータを切り出しました。
　今回のデータにはおよそ215,000もの会社（おそらく多くがペーパーカンパニー）が含まれており、そこを流れるカネを分析するためにはもう一工夫が必要です。ある会社の会計報告や登記簿を読んでいる場合、その会社の関係者、そしてその会社に関連する他の企業などのつながりを見られるようになれば、カネの流れを把握するのに大いに役立ちます。＜中略> ところがこのような繋がりが数十万、数百万というレベルで存在するとどうでしょう。もはやその全体像を人間がこのように文章に書き下して一つづつ把握するのは不可能です。そのために彼らはデータのグラフ化を選択しました。

5.実際のグラフ構築

6.人海戦術
　今回の分析には370人の世界中に散らばったジャーナリストが関わっています。これらの人々が同時に同じデータにアクセスして分散して解析作業を行って＜中略＞ 人物と会社の関係を引き出し、それを目で確認しながら関連書類や資料を読み込んだようです。

私たちはグラフをどう解析できるのかという点について、まだ問題の表面をかすった程度の段階です。
Mar Cabra, ICIJ Data and Research Unit Editor

大規模データを理解するためのテクノロジーの民主化は、自由で開かれた社会の重要な一部分である。そして私はその発展を続ける情景の中で我々が担えた役割を誇りに思っている。パナマ文書やスイス・リークスに限らず、我々がまだ想像すらできない未来の問題解決のために。
Emil Eifrem, Neo4j社CEO

「パナマ文書」解析の技術的側面 | ワールド | 最新記事 | ニューズウィーク日本版 オフィシャルサイト

最新記事ニューズウィーク日本版オフィシャルサイトはNewsweekの米国版と国際版からの翻訳記事と日本オリジナル記事編集されるニューズウィーク日本版本誌の内容とサイトオリジナルのコンテンツを毎週お届けしています。

↓"How Gunnlaugsson hides his secret assets" （辞任したアイスランドの首相周辺の相関図）
・役員名
・住所
・会社
・コンサルテ