研究開発グループ
プリンシパルリサーチャ
2008年入社
研究開発グループ
リサーチャ
2020年入社
佐藤
深層学習が最初に注目されたのはILSVRC（ImageNet Large Scale Visual Recognition Challenge）の2012年大会におけるジェフリー・ヒントン氏らのグループの発表で、私自身もこの発表に衝撃を受けて、深層学習の研究に着手しました。その後の発展は皆さんもご存知の通りで、ITLABでも自動運転や工場における外観検査、自然言語理解などさまざまな研究クラスタで深層学習を応用する研究が行われています。
その中でも私たちのクラスタは比較的自動運転よりのテーマを扱うことが多いのですが、自動運転の課題でありつつも、自動運転に限らず深層学習を扱う全ての分野にかかわるような、より基礎研究に近い部分を扱っています。
権業
私はニューラルネットワークの演算量削減をメインのテーマにしています。自動運転車両では、車載カメラをたくさんつけて外界を認識するだけでなく、それを元にハンドルやブレーキやアクセルまで制御するエンドツーエンドのAIモデルを作る研究がさかんに行われています。そこで課題となるのは精度と演算量の両立です。たくさんのカメラの情報を入力するモデルはメモリや演算量が膨大になりますが、自動運転で求められるリアルタイム制御を実現するにはそれらを減らす必要があります。しかも、精度を保ったまま減らすことが求められます。
特に私が取り組んでいるのは、ニューラルネットワークの軽量化の中でも低ビット化や量子化と呼ばれる手法です。これは、通常は浮動小数点で行う行列積を整数演算に置き換えることで、メモリ使用量と演算量を大幅に削減する手法です。もちろん、単純に整数化(低ビット化)するだけでは精度は劣化してしまいます。そこで、低ビット化後のモデルを再学習することで、精度を回復させます。低ビットモデルの再学習という操作は、本質的には超多変数の離散最適化問題を解いていることに相当し、応用面だけでなく、基礎研究の側面からも非常に興味深いテーマです。
佐藤
権業さんとは違う観点で、私が腰を据えて扱っているテーマの一つが、AIの信頼性です。自動運転は人の命を預かるシステムですから、エンターテインメントとは違って説明責任がシビアです。一般に、AIモデルのテスト精度を100%にすることは難しく、従って市場での不具合を完全に0にすることは容易ではありません。このような機能におけるフェールセーフ、不具合解析やその対策方法を確立することは、品質改善のみならず社会的受容を得る意味でも重要と考えています。単純に「性能が高いAIモデルだから」という理由だけでは、セーフティクリティカルな社会実装には不十分なのではないかと考えています。
権業
佐藤さんも私も実は元々は理論物理・計算物理の研究者です。私は前職で量子力学や量子コンピュータの研究に携わっていたのですが、深層学習の台頭でニューラルネットワークの研究が盛んになり、物理の理論研究に強い人材が求められていると聞いて興味を持ちました。世界的な動向を見ても、2024年はニューラルネットワーク関連の研究がノーベル物理学賞を受賞し、2025年は量子コンピュータ関連の研究が受賞しました。こうした流れを見ると、基礎研究と最先端の技術との距離がますます縮まっているのだなと感じています。
そして、私が取り組んでいる低ビットニューラルネットワークの研究もまた基礎研究と産業が近いところにある分野だと思います。また、低ビット化を極限まで突き詰めてバイナリー化ができれば、量子コンピュータの研究とも結びつき、新たな基礎研究と産業との接点が生まれるのではないかと密かに期待しています。
精度を保ちつつ演算量が減らせるということは、消費電力も減って、エッジ端末に高性能なAIが搭載できるようになるということです。実現すれば、車載システムに超高性能なAIを搭載したり、数ミリワットの消費電力しか許されない補聴器に翻訳AIが入ってきたり、IoTデバイスにも軽量で発熱しないAIが浸透し、従来とは次元の異なる高度な分散処理が可能になり、社会に大きなインパクトを与えるでしょう。
佐藤：権業さんが研究しているニューラルネットワークの軽量化、高速化は、アプリケーションを問いません。ここで大きな発明をして特許が取得できれば、世界中の多くの製品で利用されていくでしょう。
一番見たくないのは、それを他所の誰かが発明してしまい、私たちがそれにロイヤリティを支払う未来。それを避けるためには、世界中の人に使われることを理想として独自の技術を持つことです。デンソーが投資する意義は高いですし、それが理解されているので我々は自由度の高い活動ができています。
権業
大学院で学位を取得して、国内・海外でポスドク経験の後国研に入所と、ずっとアカデミックな環境で24時間研究のことを考えて、議論を活発に行う環境にいた自分にとってITLABに入社後もその環境があまり変わらなかったことは良かったと思っています。ITLABには議論が大好きな様々な専門性を持つ研究者が集まっていて、ふわっとしたアイデアから具体的な実装の課題まで、あらゆることが議論できます。Slack上で話すこともできて、会社の中には大きなホワイトボードが至る所にあって、誰かの殴り書きがいつもあるこの環境は、研究のモチベーション維持に役立っている気がします。
佐藤
権業さんのニューラルネットワーク軽量化も私の信頼性に関する研究も、AIと共存するための人類共通の課題とも言える骨太なテーマです。この派生として、今私が重要に思うことの一つは、データの網羅性を高めるための技術です。
人類が生み出したテキストを全て集めて学習することをOpenAIがやりきったので、LLMは極めて高い言語能力を獲得しました。遅かれ早かれコンピュータビジョンも同じ状況に近づくと予想します。自動運転に当てはめると、ありとあらゆる世界中の道路の状況を学習すればコンピュータビジョンの性能は上限に達するかもしれない、という素朴な考え方ができます。そのためには、AI自身が自分の知らないデータを収集するための仕組みをいかに構築するかが課題となるでしょう。人間は普段見ているシーンを無作為に記憶することはしませんが、新規のものを見ると海馬を中心とした情動の回路が働き、短期的に記憶を形成します。同様に、AI自体が有用なデータを取捨選択して網羅性を高めていくような技術が必要だと感じています。
研究生活はともすると、論文を読んでプログラムを書くことの単調な繰り返しになりがちですが、研究の動機や初期のアイデアは個人と個人の何気ないディスカッションから生まれることが多いのです。。共同研究講座などを通じて、ITLABを人が流体のように行き来する組織にしていきたいですし、素晴らしい人材が大学・研究所・事業部門の組織の壁を超えて議論し、互いに高めあえるよう、開かれた扉であり続けたいと思っています。
