「気づいたら、研究者になっていた」現代の名工・LINEヤフー研究所 岩崎が25年情熱を注ぎ続けてきた類似画像検索技術NGTの進化と未来

コーポレート
LINEヤフー研究所の岩崎が賞状を手に持ち、室内で微笑んでいます。背景にはオフィスの一部が見え、「LINEヤフー ストーリー」と書かれています。

みなさんには、10年以上続けていることはありますか? LINEヤフーには約25年もの間、類似画像検索技術に情熱を注ぎ続けている、LINEヤフー研究所の岩崎がいます。今年、彼は「卓越した技能者(現代の名工)」として表彰されました。
彼の研究は、私たちの日常にどのような影響を与え、LINEヤフーのサービスにどう活かされているのでしょうか。そして、一つの研究に約25年も打ち込める理由は? 岩崎の研究に対する熱い思いや、これまでの取り組みの成果について聞いてきました。

※1 現代の名工:
卓越した技能者を表彰することにより、広く社会一般に技能尊重の気風を浸透させ、もって技能者の地位及び技能水準の向上を図る。また、青少年がその適性に応じ、誇りと希望を持って技能労働者となり、その職業に精進する気運を高めることを目的としている。
「卓越した技能者の表彰」制度のコーナー(厚生労働省)

岩崎雅二郎の写真
岩崎 雅二郎(いわさき まさじろう)
1987年早稲田大学理工学部工業経営学科卒業。1989年同大学院理工学研究科機械工学専攻修士課程修了。同年日本電気株式会社入社。1990年株式会社リコー入社。全文検索、構造化文書データベース、画像検索の研究開発に従事。2007年ヤフー株式会社(現LINEヤフー株式会社)入社。画像認識・高次元データ検索の研究開発に従事。博士(工学)。

厚生労働省が選定する「現代の名工」を受賞

――「現代の名工」の受賞、おめでとうございます。受賞されたときは、どんなお気持ちでしたか?

私は研究職なので「現代の名工」と聞いたときは、正直「え? 自分が名工?」と驚きました。ただ、私はどちらかというと技術者寄りの研究者というイメージが強いのですね。昔からプログラミングが大好きでしたが、まさかこの歳まで毎日コードを書く生活になるとは思っていませんでした。でも、今でも開発は楽しいです。

自分は研究職なので、「名工」として何をアピールすればいいのかは悩みました。情報処理分野で名工に選ばれた人はまだ少なくて、私は5人目のようです。今回はオープンソース系のソフトウエア開発技術者として選んでいただきましたが、25年近く続けてきた類似画像検索の研究を評価いただけたのかなと思います。「工(たくみ)」というからには、いろいろなことやっていては名工にはなれないのかなと。

岩崎が「卓越した技能者の表彰式」で賞を受け取っています。背景に日の丸があり、右側に表彰状が写っています。

「25年かけて思い描いていたものが形になった」類似画像検索は生涯の仕事

――たしかに「名工」と聞くと、職人のイメージがありますよね。

そうですね。一つのことをずっと続けてきたことが、やはりアピールポイントだったと思います。

私が研究してきた類似画像検索の技術は、画像の特徴を表す特徴量の抽出技術とその特徴量の検索技術からなります。それぞれ長い年月をかけて少しずつ進歩し続けてきました。ただ、深層学習の出現により両者は劇的に進歩しました。
特徴量は人の認知方法を想定して作成した特徴量から深層学習により生成される特徴量に置き換えられました。また、深層学習の特徴量の普及と共にその特徴量の検索技術も脚光を浴び進歩が著しいです。

最近はこの検索技術(NGT)に注力しています。「NGT(Neighborhood Graph and Tree forIndexing High-dimensional Data)」は、テキストや画像などから抽出される特徴量(ベクトルデータ)を検索する技術です。これは「ベクトル近傍検索」(※1)と呼ばれ、大量のベクトルデータでも⾼速に検索できる点が特徴です。具体的には、この技術を使うことで⾃分が欲しい商品に似た画像を簡単に探せるようになります。現在、Yahoo!ショッピングなどに搭載されています。

※1 ベクトル近傍検索:
データベースの中から特定のベクトルに最も近いベクトルを見つける技術。ここでの「ベクトル」とは、画像やテキストを数値化して表現したものであるが、ベクトル近傍検索が対象とするベクトルはこれに限らず、距離が定義されたベクトルであれば検索できる。

ショッピングアプリのスクリーンショットです。左側に女性がチェック柄のシャツを着ており、右側には類似商品の一覧が表示されています。

商品詳細の画⾯から、⾍眼鏡のアイコンを押すと⾒た⽬が似ているものが探せる

私は前職でECサイトでの類似商品画像検索の実用化を目指して、この類似画像検索の研究開発を開始しました。当時も、プロダクトに反映できる段階まで研究開発を進めたのですが、そのときの主⼒製品にはマッチせず、主力製品への搭載には⾄りませんでした。
そこで、せっかくよいものができたのでぜひ誰かに使ってほしいと思い、⾃分でいろいろな会社にこの技術を売り込みに⾏きました。研究内容を⾃分で営業して回る研究者は、当時はまだいなかったですね。
複数社に提案をしていた中に、当時のヤフーもありました。Yahoo!オークションのようなサイトをイメージして、「この商品に似たものを検索できる」というコンセプトで提案したところ、「これは使えそうですね」ということで使ってもらうことになったのが、2000年ごろです。

その後も類似画像検索の研究を続け、当時と比べると今ではかなり人間の感性に近いレベルのものが実現できるようになりました。約25年かけてやっと自分の思い描いていたものが形になった、という感覚です。類似画像検索は、私にとって生涯の仕事だったなと感じています。

岩崎がオフィスのテーブルに座り、話をしている様子です。背景には本棚と観葉植物があります。

――岩崎さんが同じ研究を約25年間も近く続けられる原動力は何ですか?

やはり面白いからですね。最近注力しているベクトル近傍検索に関して言うと、一生懸命やっていると、たまにトップクラスの成果が出ることがあって、それがまた面白いのです。特に飽きないのは「トップになりたい」という気持ちが常にあるから。

一度は「トップだ」と思ったこともあったのですが、最近この技術はすごく注目されて、競合がどんどん出てきています。抜かされてしまうこともあって、その悔しさが「なんとかならないかな」と思わせて、続ける原動力になっていると思います。また、オープンソースなので時々ユーザーから感謝されることもあり、それも大きな励みになりますね。

――岩崎さん、負けず嫌いなのですね?

はい、結構、負けず嫌いかもしれません(笑)。ベンチマークがあると、明確に勝ち負けが分かるので、それが続けるモチベーションですね。そういうものがなかったら、気力が半減していたかもしれません。
「負けたくない!」と思うものがあるからこそ面白いですし、「まだいける、まだ改良できる!」という気持ちにもなります。

岩崎がオフィスのテーブルで話をしている様子です。背景には本棚と観葉植物が見えます。

研究者と技術者の境界は?

――岩崎さんは開発もしながら研究されていますが、研究者と技術者の違いについてはどのように考えていますか?

実は、大学時代は論文を書くのが大嫌いで「研究者には絶対になりたくない」と思っていたので、最初は開発の道に進んだのです。でも、私が担当した開発の仕事では先端技術をほとんど使っていなくて、しかも、やることがかなり決まっていました。そこで、自由にやりたいことができる研究所に行こうと決めました。その研究所で学生時代にバイトしていたこともあり、仕事の仕方がなんとなくわかっていたのも理由の一つです。

技術者も最先端のことをやっていたりするのですよ。ただ、何か新しいことを生み出していても、それだけではアカデミックな研究者とは言えないと思っています。
論文を書くことで、自分がやったことが他の誰もやっていないと証明することが重要です。例えば「新種を見つけました」だけではダメで、それが本当に新種だと証明しないといけません。
でも、そのためにはさまざまな実験が必要で、時間がかかります。だから正直、論文書くのは好きではないです。

――では、岩崎さんが「これをやっていると燃える!」と感じるのはどんなときですか?

思い込みであっても、自分が「これはすごい!」と思うことに取り組んでいるときです。今取り組んでいるベクトル近傍検索では、常に「どういうロジックでやればいいかな」と考え続けています。

――研究を進める際に、発想のヒントにしているものはありますか?

正直なところ、特にないですね。私は凡人だし、すごく日本人的だと思っています。

「すごく日本人的」とはどういうことかというと、日本人って細かいところに気づくのが得意ですよね。100円ショップには「これ便利だけど、めちゃくちゃ便利ってわけじゃない。でもかゆい所に手が届くな」と感じるものがたくさんありますよね。

あれってすごく日本人らしいと思うのです。細かい改良が得意なのですよね。でも、欧米の人たちは、もっとすごいアイデアをポンと出せるイメージが私にはあります。
私はすごく日本人的で、いろんなことを少しずつ考えて、「あ、こうやればいいなぁ」という感じで、少しずつ気づいていくのです。だから、ふと気づくと結構進んでいるけど、1つ1つの気づきは、ささいなことですね...。ただ、それを積み重ねる回数が人よりは多いのかもしれません。

岩崎がオフィスのテーブルで話をしている様子です。背景には本棚と観葉植物が見えます。

これまでの研究の成果は少しずつ改善してきた結果

――類似画像検索も、そのように積み重ねた結果なのですか?

はい、まさに試行錯誤の結果でした。Yahoo!オークションの類似画像検索はクエリとして指定した画像に対して「これと似た画像を検索する」のですが、クエリ画像はYahoo!オークション内の画像を指定していました。
この検索を高速化するために、当時主流だったツリー構造のインデックスを一生懸命改良して使っていました。でも、検索速度が出なくて苦労していたある日、あれ? クエリとなる画像って、Yahoo!オークション内の画像だけだけど、インデックスって本当に必要?」とふと気づいたのです。

ツリー構造とグラフの関係を示す図です。ツリーは上部に広がり、グラフは下部に平面で表現されています。矢印が経路を示しています。

NGTのインデックス

たとえば、Yahoo!オークションで「ネコの模様」の商品に似たものを探すとします。まず、そのネコの画像から特徴量を生成し、オークションサイト内のすべての画像について同じように特徴量を出して、1対1で全部見ていけば、似ているものがわかります。1対1で見ていくと当然時間がかかるので、それを高速化するために、検索用のインデックスが必要だと思っていました。

でも、クエリとして指定する画像はショッピングに登録されている商品画像なので、そこから似ているものを見つけるなら、事前に時間がかかってもすべての画像を比較して、似ているものを結びつけておけばいいことに気がついたのです。

カラフルな猫のアイコンが縦に並び、矢印でつながれた図です。左の直線的な配置から、右で一部が循環的につながっています。

――つまり、たとえば「赤いネコ模様」の商品を検索したら、その関連画像のセットのようなものがすぐに出てくるようなイメージですか?

そうですね。クエリとなるオークション内のすべての画像に対して事前に類似画像の検索結果を保存しておくわけです。実際にクエリとしてある画像が指定されたらその画像に対して保存されている検索結果を表示するだけなので瞬時に結果が表示できます。

――商品の「特徴量」とは、どのようなものなのか教えてください。

たとえば洋服を見たとき、人が「これは赤い」、「これはTシャツ」、「これは花柄」といったように、色や形、模様をそれぞれ判断しますよね。
以前の類似画像検索では、このような色の特徴、形状の特徴、模様の特徴といったその服の特徴を「特徴量」という数値化された情報にします。今では深層学習を使って抽出することで飛躍的に精度の高い特徴量が生成できます。

――現在のインデックスはどのように発想したのですか?

検索結果を事前に保存しておけば良いことに気づいた時は、なぜ今頃気づいたのだろうとかなりショックでした。でも、検索結果を保存するシステムはいろいろと非効率なので実用化することはなかったですけどね。

次に、この保存された検索結果の個々の画像もクエリ画像になり得えます。すべての検索結果が保存されるので、結局、保存されている検索結果はグラフ構造を構成していると気が付きました。さらに、このグラフ上の各画像をたどっていくと検索結果として保存されている個数以上の画像も検索できるのではないかと気づきました。そして、さらに、このグラフを高速に生成する方法を思い付いて...と、このように少しずつ気づいていって今のグラフ構造のインデックスが完成しました。

カラフルな猫のアイコンが並び、矢印でつながれた図です。左から右に進むにつれて、アイコンの配置が変化し、複雑なネットワークを形成しています。

このグラフ構造のインデックスがあれば、「この画像に似たものを探して」と言われたときには、そのリンクをたどるだけで瞬時に結果が出せるようになります。たとえば、10個の似たものが欲しいなら、そのリンクをたどって10個見つければいいわけです。このグラフ構造のインデックスは非常に便利で、効率的に類似画像を見つけられるというわけです。

グラフ構造のインデックスは突然気づいたわけではなく、少しずつ改善してきた結果です。こんな風に少しずつ「こうすればいいんだ」とか「こうやればもっと良くなる」と気づいていくことが多いのです。

気づいたら、研究者になっていた

――岩崎さんのように、長く打ち込めるものを見つけるにはどうしたらいいのでしょうか。

多くの人は歳を重ねるにつれて、仕事はお金を稼ぐ手段であり、言われたことをやればいいと思うようになると感じています。でも、LINEヤフーで若い人たちと一緒に仕事をしていると、彼らも仕事を楽しんでいるように見えます。そういう意味では、彼らと僕は似ているところがありますね。

私は自分が上だとは思っていなくて、同僚としてできるだけ協力しようと思っています。そうすることで仲間意識が生まれるし、隔たりがなくなると思っています。人にアドバイスするとしたら、「とにかく自分が面白いと思うことをやれば良い」ということですね。面白いものを見つけたら、自然とやりたくなりませんか?

ただ、私はやりたいことをやるためにかなり努力もしたつもりです。
たとえば、前職で主力製品と類似画像検索の相性が悪かったので、多数の会社に売り込みに行きました。その一つがその当時のヤフーでした。ほとんどの売り込みは、うまくいかなかったですが、いい経験をしたと思います。

画像編集ソフトの画面です。上部にスライダーで調整可能な設定があり、下部には複数の画像サムネイルが表示されています。

岩崎が前職で発売したシステム。「この類似画像検索システムのUIも自分で作成しました。今見るとちょっとダサいですね(笑)」
出典:リコー、ヤフオクが導入の類似画像検索システムを製品化(ITmedia NEWS)

――では改めて、職業は何ですかと聞かれたら、どう答えますか?

実は、「研究者になろう」と思ったことは一度もなくて、気がついたら研究者になっていました。面白そうだと思うことを考え続けて少しずつ積み重ねてきたからこそ、25年続けてこられたのかもしれません。

今でも論文を書こうと思えば書けるネタはありますが、論文を書いている時間があったら新しいロジックを実装してオープンソースとして公開して、公開のベンチマークでその性能を証明した方がよっぽど早くて面白いです。

――この研究のゴールのようなものは見えてきたのでしょうか?

できれば、3年以内に今のプロジェクトにけりをつけたいですね。性能向上を目指して改良したいところはまだまだあるので、当然それはやっていくのですが、やはり、ある程度使いやすいものにしたいと思っています。
今まで継ぎ足しで作ってきたので、正直すべてきれいに作り直したいくらいです。デファクトスタンダードにはならないかもしれないけど、それに近づけたいですね。

最近、ベクトル近傍検索は注目されているので、企業として大勢で取り組んでいる競合もあります。そのような企業と競うのは厳しいですね。しかも、そのような企業ではオープンソースになっていなかったりするので、どのような手法を取り入れているか分からないのも辛いですね。
でも、私の研究内容をオープンソースでしっかり作っておけば、それを改良してくれる人も出てくるかもしれません。研究分野で貢献できる可能性もあるので、これからも取り組んでいけたらと思っています。

岩崎がオフィスのテーブルに座り、笑顔でカメラを見ています。背景には本棚があり、明るい雰囲気です。

最後に、このような栄えある賞を頂き本当に光栄です。ただ、類似画像検索を長年続けられたのも、サービスに搭載されたのも、同僚の協力があったからこそなので、ここで感謝の意を表したいと思います。ありがとうございました!

これまでの取り組み

1990年〜2007年 前職にて、全文検索の研究開発を経て、類似画像検索の研究開発を開始
1999年〜2000年 MPEG7 標準化活動により、画像特徴量が標準に採用される
2000年 Yahoo!オークションに類似画像検索の導⼊を提案し、採⽤される
2003年 研究開発した類似画像検索システムがBest of WPC EXPO 2003 を受賞
2004年 中心となって研究開発した類似画像検索システム(VISMeister)が発売開始
2007年 ヤフー(Yahoo! JAPAN研究所)に転職、類似画像検索・認識およびベクトル検索の研究開発を開始
2016年 NGT(ベクトル近傍検索)のOSS化を弊社知財と協力しOSSとして公開
2018年 NGTが公開ベンチマークで世界トップレベルの性能を達成
2019年 NGTを利用した類似商品画像検索機能が「Yahoo!ショッピング」にて提供開始
2020年 NGT研究開発チームが情報処理学会業績賞を受賞
2024年 卓越した技能者(現代の名工)を受賞

関連リンク

取材日:2024年11月27日
※本記事の内容は取材日時点のものです

LINEヤフーストーリーのロゴ
LINEヤフーストーリーについて
みなさんの日常を、もっと便利でワクワクするものに。
コーポレートブログ「LINEヤフーストーリー」では、WOWや!を生み出すためのたくさんの挑戦と、その背景にある想いを届けていきます。
Page top