JP
EN
MENU

Interview ラボの人々

自然言語による制御からDX推進まで
LLMの応用範囲は広い

研究開発グループ
シニアリサーチャ

2006年入社

塚原 裕史

研究開発グループ
シニアリサーチャ

2017年入社

太刀岡 勇気

自然言語で書かれた文書から知識を取り出し、競争優位につなげる

塚原

生成AIの浸透でLLMが一気にメジャーな分野になりましたが、ITLABでの自然言語処理・LLM研究は、既存のLLMモデルの改善と応用がメインテーマです。私が今取り組んでいる研究テーマは、デンソーのDX推進の一環として、さまざまな部署で扱う仕様書や設計書などの文書の作成効率化や品質向上へのLLMの応用です。

デンソーは部品メーカーとしてさまざまな自動車メーカーが作成した要求仕様書に基づき製品を開発・製造しますが、仕様を定義する文書の品質が悪いと開発に手戻りが生じてコストがかかったり、品質が下がったりします。さらに、メーカーや製品カテゴリーによる仕様書の書き方の違いもあります。今はそのチェックを人が行っていますが、人手を介さずにLLMが仕様書を検査し、修正提案することができれば、人間によるチェックの抜け漏れやスキルによるチェック品質のばらつきを解消することができます。

もともとは、デンソー社内に蓄積されたドキュメントを有効活用したいという相談から始まった研究です。自然言語で書かれた設計書や要求仕様書は構造化されていないので、検索や活用が難しいという課題があったので、当初は統計的な言語処理を使った検索で社内の知見を上手く引き出すような検索技術を研究していました。機械学習やLLMを使って文書から知識の構造化をはかることができれば、ゆくゆくは要件を人が箇条書きすると、要求仕様書、設計仕様書、テスト仕様書まで作成できるようなものを目指せます。ドキュメントの品質も良くなり、開発効率も上がり、最終的な品質もアップして他社に対する競争優位につながります。

太刀岡

自然言語処理におけるLLMに関連するテーマとしては主に2つを持っています。1つめは「推薦」というタスクです。音楽配信サービスでは聞いている楽曲の傾向に合わせておすすめを再生してくれますが、同様なことをLLMの豊富な知識を使って行うことで精度を上げていきます。もう一つは「質問応答」で、文章を参考にして質問に答えさせるのに、参考にした文章に誤りがあった時にもLLMの知識で訂正することで正確な応答を返せるようにします。

「推薦」の応用分野としては、システム上で「次に何をするか」を推薦することでUXの向上につながります。例えば製造工程における次のタスクは何かということをLLMの知識で推薦することができるので、作業の抜けや漏れをなくすことができます。「質問応答」は、仕様書のような長いドキュメントを特定のテーマに基づき要約してください、という時に、間違いが入ることを防ぐために使えます。LLMは対話がスムーズにできても事実と異なることを答えてしまうハルシネーションを起こすことが課題なので、それを防ぐためのファインチューニングも研究の対象です。

LLMの知識はウェブの情報に基づくものなので、実世界における物理作用や日頃我々が持っている常識を苦手としています。社内の業務知識や特殊な技術など、Webに公開されていない知識もありません。LLMが持たない知識を外から与えて処理する検索拡張生成(RAG)も取り組んでいるテーマの一つです。

自然言語処理への参入障壁が下がり、システムとの連携が容易になった

塚原

LLMが無かった時代、日本語の自然言語処理は、まず文章を単語に分割する「形態素解析」を行い、次に「係り受け解析」を行って構造化された文章から意味を推定していました。LLMによってそういう作業をしなくても、文章を与えれば「何について書かれた文章なのか」を精度よく推定できるようになりました。自然言語処理に対する参入障壁が大きく下がって、自然言語処理とシステムとの連携が簡単にできるようになっています。

一方で、ブラックボックス化しているので、間違ったところを特定できないという問題があります。とんでもない間違いでも一見正しく見えてしまうので、どこで間違ったかを探すのが大変です。解消策として、今は、プロンプトエンジニアリングという作業によって、人が頑張ることで間違いを起こさないようにしようというアプローチをしていて、人がどう指示を出すかが応用上はポイントになっています。

今のやり方はいろいろな入力を試行錯誤しながらうまくいくプロンプト設計を探っていますが、それは普遍性のあるアルゴリズムや手法ではないので、ちょっと研究とはいいづらい部分があります。プロンプトもLLMで生成して処理するLLMエージェントであれば、研究の対象になるかもしれません。

太刀岡

私が自然言語処理の研究をはじめたきっかけは「対話」でした。車の中で雑談することで居眠りを防止するとか、近くの観光スポットやグルメ情報などのエンターテインメントコンテンツを提供するようなものを研究していました。昔はなかなか会話のキャッチボールが続かなかったり、受け答えが頓珍漢だったりしてうまくいきませんでしたが、LLMによって会話が継続できるようになってきています。

さらに、LLMをロボット制御に応用する研究も注目されています。ドラマ「ナイトライダー」に出てくる、ドライバーとずっと対話しながら車を動かすAIが実現するとしたら、その先にあるのだと思います。自動車でUI/UXの研究をしている研究者にはその世界を目指している人も多いのではないでしょうか。

LLMの知識の限界を打破するための研究がこれからは必要になる

太刀岡

自然言語処理の面白いところは、信号処理や画像認識のように結果が数値で表される研究と比べて、感覚的に「明らかに前よりも良くなった」ということがわかりやすいところだと思っています。

塚原

私は全く逆で、研究対象としては数値化できる方がわかりやすくて、言語は人によって捉え方が違って難しいと思っています。研究として定量化するのは難しいけれども、その難しさに面白さを感じています。同じことを言っていても文脈によって意味はポジティブにもネガティブにもなる。正解は一つじゃないし、なぜ違うのか、背景を考えていくと民俗学や文化人類学的な観点が入ってくるのが面白いですし、いろいろな言語の成り立ちを知ることに興味をそそられる人もいると思います。

太刀岡

LLM自身が多様性に強く、入力も出力もバリエーションをうまくコントロールすることで性能をフルに発揮できそう、という状況は数年前までは考えられませんでした。雑談の研究でいえば、昔は一生懸命会話のバリエーションを人が作っていたのですが、ある程度まで増やすと面白さは頭打ちになってしまって効果がなくなってしまっていた。でもLLMの場合は、パラメータをどんどん増やしていくことで効果がどんどん上がっていくことが見えています。

逆に今は、LLMの方が世界中のWebのデータをすでに学習してしまったので、知識が頭打ちになって性能が伸びないという状況になりつつあります。これを打破するために、LLMが自ら学習データを生成するセルフトレーニングや、汎用的に学習させたモデルをチューニングするAIアラインメントの研究がこれからは必要になってくると思います。

塚原

LLMの応用も面白いですが、今後はLLMの中で何が起こっているかを調べてみたいです。統計的機械学習って統計力学のフレームワークと同じなので、物理の知識で調べて応用に反映できると面白いかなと思っています。

採用情報