DeepXは2017年から、株式会社フジタ（以下、フジタ）とともに、油圧ショベル自動化AIプロジェクトを推進しています。フジタは、設計から施工まで行っており、ビジネス課題、現場ニーズ、重機の遠隔操縦技術、ハードウェア開発技術等の知見・技術を保有している準大手ゼネコンです。

昨今、人口減少や少子高齢化に起因する働き手不足のため、さまざまな業界でAIによる作業の自動化が求められています。特に建設業界は、高齢化に伴う熟練技能者の引退を含む働き手不足の深刻化に加えて、作業現場では建物の崩壊や土石流等の大事故が起きる危険性もあり、以前から無人化技術や自動化技術の開発が求められてきました。

そのような背景から、フジタは1991年より、危険が伴う建設現場での無人施工を実現するために、オペレーターが遠隔地で映像を見ながら建機を操縦できる遠隔操縦装置を開発。2017年からは、将来の働き手不足の解消に向けて、オペレーター無しで油圧ショベルを自動で制御する人工知能を開発するプロジェクトをDeepXとともに開始しました。

本記事では、これまでの成果とこれからの展望を、フジタの土木エンジニアリングセンター機械部・川上勝彦氏と技術センター先端システム開発部・伏見光氏とともに、DeepXのAIエンジニアである冨山翔司と西村弘平が語ります。

技術士の減少、過酷な現場。対応には自動化が急務だった

冨山（DeepX）：今回のプロジェクトは、AIを活用して無人で油圧ショベルを自動運転できるようにすることを目指していますが、もともとフジタさんは、自社で遠隔操縦装置を開発されていたんですよね。

川上（フジタ）：そうですね。フジタはもともと建機を遠隔操作して施工するノウハウを持っていましたが、遠隔とはいえ操縦にはオペレーターが必要でした。そこで、まったくの無人化を目指すためにAIを取り入れたいと思い、DeepXさんとの協業をはじめました。

伏見（フジタ）：建設業界にとって、作業の無人化は重要な課題です。理由のひとつは、労働人口の減少。現在の建設業界は3分の1が50代以上で、若者不足が進んでいます。しかも重機の操作に精通するまでには、一般的な油圧ショベルで3、4年、大きな建機だと10年など、膨大な時間がかかります。将来的には、重機を使いこなせるベテラン技術者の不足が一層深刻な問題になるでしょう。

もうひとつは、生身で作業することの危険性。土木建築の重機は大きく、重大な事故につながりやすい。さらに火砕流が流れてくることすらある火山地帯や、建物が崩壊しかねない災害現場など、現場には危険が伴うことが少なくない。遠隔作業への需要は高まっていくだろうと考えていました。

「油圧ショベルの制御は特にチャレンジングな領域」

冨山（DeepX）：建設機械のなかでも、油圧ショベルの制御は特にチャレンジングな領域です。油圧制御機構の油の流れの状況で建機の動きが変わったり、土の状態も都度異なったりするなかで、安定した制御を実現するためにさまざまな課題を解決していく必要があります。逆にいうと、油圧ショベルの自動化に成功すれば、他の建機への制御技術の転用を視野に入れることも可能となりますね。

川上（フジタ）：そう思います。本プロジェクトではさらに、外付け可能なセンサー機器だけを使用するよう限定して、開発を進めています。これによって、突然の大災害で重機が必要になった場合でも、その場にある重機をすぐさま自動化してくれます。これまで遠隔操作の際にオペレーターが担っていた役割を、ちょうどAIが肩代わりしてくれることになりますね。

油圧ショベルの姿勢の認識と制御にAIを活用

冨山（DeepX）：本プロジェクトで、AIがどのように開発されてきたかを、簡単に説明したいと思います。我々の開発したAIは、油圧ショベルの姿勢の認識と、油圧ショベルの制御に活用されています。

前者は、油圧ショベルの画像から各関節の角度の推定を行い、後者は、推定された各関節の角度をもとに、例えば掘削などの目的の動きを実現するための操作信号を推定します。どちらのAI開発にも、現場でのデータ収集や実試験が数多く必要となりますが、フジタの方々には大変ご協力いただいております。

川上（フジタ）：我々は実験場と重機の整備、プロオペレーターの手配、データの取得など、現場に関わる部分のサポートを主に行ってきました。特にプロジェクト初期は、画像データの収集に多くのリソースを割きましたね。油圧ショベルを、同期された操縦席と真横のカメラから撮影し続け、その間さまざまな操作を行いました。

西村（DeepX）：その節はどうもありがとうございました。撮影いただいた画像データは我々が預かり、油圧ショベルの3つの関節点を手作業でアノテーションしました。アノテーション済みのデータは、横から撮影した画像データが約100万枚、操縦席から撮影した画像データが約150万枚、合計約250万枚になります。これらの画像データは、油圧ショベルの姿勢を認識するモデルの訓練に利用されています。

冨山（DeepX）：油圧ショベルの姿勢が推定できたら、次に、どのように油圧ショベルを操作するかという制御の開発に移行します。開発初期では、フィードバック制御やプロオペレータの操作データから学習した制御モデルを試していましたが、硬い土や柔らかい土だとうまく掘れなくなるといった問題がありました。そこで、さまざまな土をシミュレータで擬似的に再現し、どんな土でも掘れる制御モデルをシミュレータ内で強化学習させ、実世界に転移するアプローチを取っています。

伏見（フジタ）：我々は、DeepXさんが持ってきたAIによる掘削を見て、現場目線でのフィードバックを行いました。多い時は毎週実験場に訪問して、あーでもない、こーでもないと議論しながら、改善を重ねていきました。あと、掘った穴を埋めないと次の実験ができないので、それは私が主に担当しました（笑）。

西村（DeepX）：我々が取った、シミュレータ内での強化学習というアプローチは、特にこの現場検証と改善のサイクルが大変でした。そもそもシミュレータと現実世界には必ず差異が存在するので、それを埋めるための工夫を現場の制御の挙動を見ながら考える必要があります。また、学習時に与える報酬の設計も制御方策の性能に大きく影響します。さらに、1つの制御方策を学習するのに最低１日はかかります。 弊社が保有するサーバーをフル稼働させて、ひたすら現場検証、改善、学習を繰り返し行いました。

川上（フジタ）：熟練の技を再現するのには相当な苦労があったと思いますが、根気よく取り組んでいただきました。どんなに優秀なオペレーターでも3、4時間も操縦したら疲れてしまうものですから、疲れ知らずのAIは、人間の代替として大きな価値を持つと考えています。

適切な中間ゴールを設計し、最短で山を登る

冨山（DeepX）：本プロジェクトが始まった時、フジタさんからの要望は「AIで油圧ショベルを自動化して欲しい」という非常に大雑把なものでした。我々は当時、油圧ショベルなんて触ったことはありませんし、建設現場がどのようなものかも知りませんでした。また、油圧ショベルのAIでの自動化自体、前例がないものであり、どの道を進めば山頂にたどり着けるのかが全く分からないような状態でした。

伏見（フジタ）：建設業界ではプロジェクト開始時に作業全体の工程を細かく設計するのが当たり前ですが、DeepXさんからプロジェクトの工程表をお見せいただいたときに、月単位の大雑把なスケジュールしか引かれておらず、半年先以降は白紙だったのには、衝撃的でした。

冨山（DeepX）：申し訳ありませんでした（笑）。機械学習、特に近年大きなブレイクスルーを果たした深層学習は、データがある程度貯まらなければその性能を発揮できないことが通常です。ですが、どれくらいのデータが必要なのかも、事前にはわからないケースがほとんどです。そうしたAI開発の特性も相まって、スケジュールを事前に立てることはほぼ不可能でした。

そんな中で、我々がまず自動化に取り掛かった操作が、空中での水平引きという操作でした。この操作を選んだ主な理由は、土との接触がないため、単純な制御問題としては最も簡単であると考えたからです。

西村（DeepX）：センサ機器の接続や、バックホウとPCのインターフェースもほぼ自前で構成していたため、それらのバグを浮き彫りにする意味でも、この中間ゴールは良かったと思っています。

伏見（フジタ）：この操作の自動化にだいたい1年弱ほどかかりましたが、これが終わる頃には、DeepXさんもかなり重機の仕組みや特性を理解し始めてきて、お互いのコミュニケーションも取りやすくなってきていました。

西村（DeepX）：この頃には、だいぶ油圧ショベルのAI開発をどう進めていけばいいかがわかってきていたと思います。プロオペレーターの方に油圧ショベルの操作を見せてもらったり、実際に自分たちでも操作してみたりすることで、取り組むべき課題の実態を理解できました。最近はデータも貯まり、重機に関する知識もより身についてきたので、ある程度、工程の見立てはできるようになってきています。

伏見（フジタ）：西村さんは実際に重機の運転免許まで取得されましたよね。おふたりともすごい速さで知識を吸収されていて、驚きました。

冨山（DeepX）：中間ゴールを設計して、その山を登り、そこから見える景色から、次の中間ゴールを設計して、また登る、ということを繰り返して、プロジェクトを進めています。しかし、山によっては必要とされる知識が全く異なるので、その都度新しい知識を素早く吸収できなければなりません。また、なぜその中間ゴールがベストであるのかを関係者に説明し、しっかり合意を取ることも大事なことだと考えています。

川上（フジタ）：昨今、AIはトレンドになっていますが、サンプルとしてあげられるのは「画像から猫を見分ける」といった抽象的な例ばかり。AIが具体的に、自分の所属する業界にどのように役立つのかを理解している人はほとんどいないのが実情です。

ですが、DeepXさんはAIが建設業界にどのような影響をもたらすのか、そしてどう役立つのかしっかり説明してくれますよね。おかげで、私たちも少しずつ知識がついてきたのは大きな収穫でした。最近は「この部分はもう少し調節できますか？」など少し難しいお願いもできるようになりました（笑）。

課題を解決するため、AI以外の知識も積極的に取り入れる

川上（フジタ）：プロジェクトを進めるなかでもうひとつ印象に残ったことがあります。AIをハードウェアに実装する場合、バグの原因を特定するのが困難なんですよね？

冨山（DeepX）：はい。たとえば、ショベルの挙動が我々の期待している挙動と微妙にズレてしまう現象が起こったとしても、その原因は訓練用の画像データの不足や偏りといったAI側の問題から、信号送信時の変換ミスや機体制御といったハードウェア側の問題まで、さまざまな可能性が考えられます。

伏見（フジタ）：冨山さんや西村さんは、ある程度悩んで答えが出なかったらボルダリングなどをして上手く気分転換をされていました。すると、なぜか次の日には解決策を思いついていることも多かったですよね。

西村（DeepX）：そうですね。煮詰まったときは、頭を切り替えて一段上のレイヤーで物事をとらえるようにしています。また、絶えず新たな知識を吸収し続けることは意識していますね。AI分野の最新研究はもちろん、異業種の知識を取り入れることで選択肢を増やすことができます。

たとえば今回のプロジェクトでも、油圧ショベルへ一切信号を送っていないのに、推定された関節角度が振動するという課題がありました。そこで、重機に送った信号と角速度の関係を解析し、それらを関節角度推定に組み込むことで解決しました。

川上（フジタ）：「AI側ではなく、信号を解析してみる」という発想は、ロボティクス分野のもの。おふたりは専門分野が異なるにもかかわらず、現場の課題をもとにこうした技術を発見し、素早く応用しています。分野の壁にとらわれないDeepXさんだからこそ、こうした発想が可能なのではと思いました。

「尖った挑戦」ができるのは、AI技術とロボティクスの双方を深く理解しているから

冨山（DeepX）：ありがとうございます。プロジェクトは現在、平地での掘削作業の自動化に成功した段階ですから、これからはより複雑な現場環境でテストを重ね、あらゆる現場で使えるよう精度を高めていきたいですね。

伏見（フジタ）：そうですね。平地であればプロの遠隔操作技術を再現できるところまで来ましたから、近い将来には、AIのほうが上手にこなせるようになるに違いないと期待しています。

それから、本プロジェクトは、私たちにもいろいろな変化をもたらしてくれました。最も大きかったのは、私たちのAIに対する理解が高まったことです。このプロジェクトには「フジタにとって最適なAIの活用法を見つける」という長期的な目的もあります。プロジェクトを通じて社員にAIの知見を深めてもらえば、急速な時代の変化にもきっと対応できるはず。私自身、このプロジェクトをとおして得た知見をどのように活かしていけるのか、考えていきたいと思います。

川上（フジタ）：近年AI開発に取り組む会社は数多いですが、その多くはあくまでチャットボットなどのソフトウェア。一方で既存の産業機械メーカーなどもAIに興味を示していますが、こちらは従来のロボティクスの域を出ない保守的な設計が多いと感じています。

そのなかでDeepXさんは、最先端のAI技術とロボティクスの双方を理解したうえで、融合を目指していますよね。今回のプロジェクトが順調なのも、業界の壁を超えて尖った挑戦を続けているDeepXさんだからこそだと思います。

プロフィール

冨山　翔司
株式会社DeepX　Chief Development Officer
東京大学大学院修士課程で工学系研究科長賞を受賞し、卒業後DeepXに入社。在籍中、松尾研究室にてディープラーニング技術の理論から実課題解決に向けた応用まで幅広く研究。DeepXでは個々のソフトウェア開発に加え、プロジェクトマネジメントを行うほか、毎週のように屋外の実機実験場に赴いて作業するなど、地道な現場での作業にも取り組んでいる。

西村　弘平
株式会社DeepX　エンジニア
2018年に東京大学工学部を卒業し、DeepXに入社。ディープラーニングのプログラム開発に加えて実機制御向けのGPUマシンの開発やカメラ・センサー類の選定・設計も行う。また、ディープラーニングの教師データ作成に必須なアノテーションツールの開発からアノテーターの人材マネジメントまで、データ整備に関連し幅広い業務を行う。

川上　勝彦
株式会社フジタ　建設本部土木エンジニアリングセンター機械部 上級主席コンサルタント
1987年にフジタに入社。工事用設備の計画・積算を実施しながら、工事現場で要求される新技術の開発、現場導入を担当。近年では災害対応技術の開発と災害現場対応にも従事。

伏見　光
株式会社フジタ　技術センター先端システム開発部 主任研究員
IT系企業での経験を経て、2016年にフジタに入社。VR/ARを始めとした最新のICT技術を活用し、建設現場の生産性向上を目的とした研究開発に従事。その一環として、AI関連技術の現場導入に向けたノウハウ習得に取り組む。また、本プロジェクトに参画するにあたり重機の免許（車両系建設機械）を取得。整地など実験時の重機操縦も担当。