東 日 本 大 震 災
行方不明者捜索活動協議会
東日本大震災行方不明者捜索活動協議会2020
2. 名取市閖上地区捜索活動 - 地中レーダ等を活用した震災不明者捜索の
現状・進展と今後の展開
仙台高等専門学校／教授 園田 潤
本日の内容
1. 地中レーダ等による不明者捜索の概要と現状
2. 課題と今後の展開
おはようございます。仙台高専の園田です。
地中レーダを活用した震災不明者捜索の現状・進展と今後の展開と言うことで、2019年度に実施しました内容と、これから実施する内容について発表させていただきます。
最初に、地中レーダ等による不明者捜索の概要と現状ことで、2019年度に実施しましたＡＩによるレーダ画像の物体識別と、空撮ドローンの画像から地表面の物体を識別させるための研究について、ご説明いたします。
二つ目に、「課題と今後の展開」として、今考えているＡＩでの物体識別についてですが、ドローンを使用して広域画像を撮影し、漂流物が多い箇所を特定することで、その場所を地中レーダで探査させる研究について、ご説明いたします。
不明者捜索への地中レーダの適用
・数百MHzの電波を地中に入射し、地中の誘電率（水分率）の相違による反射波を地上で観測
・誘電率差が大・大きさが大・浅部ほど検出されやすい
・地中レーダの例： RAMAC（ MALÅ Geoscience 社）
シールドアンテナ
（ 上： 500 MHz， 下： 800 MHz）
現在、地中レーダ画像から物体を三次元させる画像可視化について紹介します。
これまで地中行ってきた地中レーダは数百mhz台の電波で、テレビの電波数ぐらいです。その電波を地中に入射させ、地中の誘電率、水分率の違いによって生じる反射波を地上で観測することで地中の中を見ようと言う技術です。誘電率の差が大きい場合や、物体が大小より、浅いところほど検出され易いです。
実際に2013年から使用しているレーダから電波を地中に向けて入射し帰ってくる反射情報を収集する技術です。
900mhzの周波数のレーダを使用し、砂浜で探査した場合、深さ1.5メートルくらいまでは確実に探査できています。
地中レーダ画像の例
左から深さ30cmの幅10cm・20cmの空洞， 1cm径の金属管
地中レーダ画像（ 地中の断面に相当）
レーダで得られる画像は、上図の横軸がレーダの移動方向で、縦軸が反射時間の深さになります。レーダを引っ張っていくと、その地中断面に相当するようなものが画面に表示させることができます。レ ーダは、誘電率とか水分率に反射するので物体が、周波数もうそんなに高くないので、現場が広がって、直接このような反射画像になります。
この画像から地中の物体が何であるかの識別させる問題があり、今までは人間が判断して、掘り出していましたが、それをできるだけ自動化させたいという要望があり、2018年ぐらいから、これまで実験してきました。
AIのレーダ画像の学習（ 教師あり）
地中の複雑さのパラメータ： n は1 m 3 あたりの個数， m は平均サイズ
シュミレーションで地中レーダの画像をたくさん生成して、それをＡＩで学習させて、ＡＩが地中レーダの画像から物体が何かを安定させるために実験してきました。
AI による画像変換
pix2pix: Isola et al. 2016
最近は、ＡＩの技術が進化しており、ＡＩが自ら画像変換してくれる技術があります。その技術を 使ってシュミレーションで作った画像を実際の実験画像に近づけたり、その反射の画像から物体が何かというのを画像化したりするようなことができるのではないかということで、2019年度は少しずつ進めてきました。
実際にＡＩができる画像変換の例ですけれども、ある入力すると道路のシーンの色付けした画像が、実際の道路の画像風な画像を表現してくれます。同様に建物の色付けした画像から建物風の画像を表現してくれたり、白黒の画像をカラーにしてくれたり、航空写真から道路を抽出したり、昼間の画像を夜の画像にしてくれたり、線画の画像を実際の写真風にしてくれたりします。
AI による学習用実験レーダ画像生成
実験画像（ 右） とシミュレーション画像（ 左） を学習
例： シミュレーション画像から疑似実験画像への変換
左からシミュレーション1 epoch 50 epoch 500 epoch 実験画像
この技術を使い、シュミレーションでレーダ画像を作り、ＡＩに学習させてきました。シュミレーションと実際のレーダ画像は差があり、識別率が向上しないことが考えられるため、この技術を何とかして向上させるため研究しております。
左上の画像が実験時のレーダ画像で、右上の画像がシミュレーションの画像です。このようにシュミレーションであっても、実際のモデルが精度よくモデルを作ることで、再現性はレーダの実験画像をうまくシュミレーションできますが、地中のため、判断つかないことをモデル化するのは難しいのです。
やはり人間が適当にモデル化することになり、実際の実験がシュミレーションの画像ではこれぐらい差がでます。
この差をなくすため、ＡＩで学習させ画像変換技術を使い、画像識別しやすくする研究を進めています。
AI による物体識別（ 教師あり）
左からレーダ画像， AI 識別1， AI 識別2， AI 識別3
実際に、シュミレーション画像を実験画像に近づけＡＩで学習させて、その地中レーダ の画像から物体が何なのか、その地中物体が何なのかという事を識別させた実証例です。物体を認識した出力結果を表示したり、周囲にノイズで表示したり、個数を正確に表示したり、物体の種類を色の違いで表示してくれたりします。この画像は実験用に作ったシュミレーションなので、これらの実証結果をもとに、実際の閖上浜画像で適用するようなことを、これからもやっていきたいと思います。
AI よる物体識別（ 教師なし） 木本先生
・地中レーダで は解答あり画像を作るのが困難
・解答なし画像が学習（ 教師なし学習）
・閖上浜不明者捜索のレーダ画像（ 解答なし） を使用
大分高専の木本先生が進めている研究です。基本的に答えを教えて、答えをもとに学習するのがＡＩです。一方で地中レーダは回答がある画像を作るのは難しいです。実際に答えがわかった物体を地中に埋め、掘って埋めての繰り返しますので、地中レーダでは、いわゆる「教師あり」の答えを与えてＡＩに学習するのは非常に難しいです。このような問題があるので、シュミレーションで作成していましたが、一方で答えを教えない「教師なし」学習というのが昔からあります。それを使えないかと思っています。
閖上浜捜索で収集した膨大なレーダ画像があるので、それを使用し、答えがない画像をたくさん見せ、ＡＩに学習させることで、物体が何かを識別しようという教師なしの学習を、木本先生の方で進めます。
上の画像は、その特徴を分布で表した例です。反射画像には特徴があり、グループ化されているように見えます。答えのないレーダ画像を使っても物体の識別ができそうであると言う風なことがわかってきています。
砂浜に打ち上げられた漂流物
閖上浜に打ち上げられた漂流物（ 2017 年12 月12 日）
ドローンの画像を使い、地上の漂流物を識別研究も進めています。
2017年の12月10日に撮影した閖上浜に打ち上げられた漂流物の写真です。
このような漂着した物体から、将来的には行方不明者の方々の手がかりになるようなものが特定できればと言うことで進めている研究ですが、基本的に砂浜の上を歩いて捜しますが、ドローンを飛行させ撮影することで、広い範囲を一気に確認、識別できれば効率的であるという思想から2019年度はテスト的なことを進めてきました。
海岸漂着物をドローンとAI で識別
2019年にドローンを飛ばし、高度10メートルでの空撮画像です。
ペットボトルや木など、比較的小さい枝や貝なども確認することができます。
AI学習用画像の生成
ＡＩに、物体が何かというのを学習させるため、植生や流木、足跡、人間がすべて入力しＡＩに生成させます。
AI による物体識別例
プラスチック: pink
木: green
足跡: lightgreen
植生: red
ＡＩが学習した後、画像を入れてテストしたＡＩによる物体識別の結果です。
足跡や流木、プラスチックや植生などが、マークされ出力できるようになります。
AI による物体識別例
学習した画像数: 600 × 4
識別の精度を確認した例です。
プラスチック時と植生と足跡がデータにはたくさんあり識別 しやすいので、この4種類で試した例です。プラスチックを確実にプラスチックと識別できる精度が９３％です。木を木と識別が９０％でした。この学習に使用した画像枚数は、各物体６００枚で、この枚数で概ね９０％くらいの確率で物体識別できるというのがわかりました。基本的にはこの枚数を増やせば増えていきます。
この技術を使うことで、ドローンの画像を使って識別ができることがわかりました。
課題と今後の展開
・地中レーダによる不明者捜索の課題
地中レーダ画像の物体識別（ 人力）
広い範囲の地中レーダ探査（ 人力）
↓
AI による物体識別（ 継続） ＋ ドローンによる捜索箇所の特定
1. ドローンで広範囲の砂浜を空撮
2. 空撮画像から漂着物の多い箇所を特定（ 定点観測）
3. 特定した箇所を地中レーダで捜索
仙台空港北側から閖上漁港までを空撮
今年度の計画
AI・レーダ・ドローンによる広域捜索
AI による物体識別の高精度化・3D 化
レーダ画像からの物体識別の3D 化例
今年度の捜索に関わる研究は、大きく分けて「ＡＩ」、「地中レーダ」、「ドローン」の3項目です。
レーダ画像識別やドローンの画像識別の構成などを、さらに精度を上げながら、捜索範囲を広域に広げ、実際に正当化させることを進めていきたいと思います。さらに、それらを三次元で表示させ、レーダの画像から物体を三次元形状で表示することにより、これまで以上にわかりやすい三次元可視化に力を注いでいきたいと思って います。