みなさんには、10年以上続けていることはありますか? LINEヤフーには約25年もの間、類似画像検索技術に情熱を注ぎ続けている、LINEヤフー研究所の岩崎がいます。今年、彼は「卓越した技能者(現代の名工)」として表彰されました。
彼の研究は、私たちの日常にどのような影響を与え、LINEヤフーのサービスにどう活かされているのでしょうか。そして、一つの研究に約25年も打ち込める理由は? 岩崎の研究に対する熱い思いや、これまでの取り組みの成果について聞いてきました。
※1 現代の名工:
卓越した技能者を表彰することにより、広く社会一般に技能尊重の気風を浸透させ、もって技能者の地位及び技能水準の向上を図る。また、青少年がその適性に応じ、誇りと希望を持って技能労働者となり、その職業に精進する気運を高めることを目的としている。
「卓越した技能者の表彰」制度のコーナー(厚生労働省)
私は研究職なので「現代の名工」と聞いたときは、正直「え? 自分が名工?」と驚きました。ただ、私はどちらかというと技術者寄りの研究者というイメージが強いのですね。昔からプログラミングが大好きでしたが、まさかこの歳まで毎日コードを書く生活になるとは思っていませんでした。でも、今でも開発は楽しいです。
自分は研究職なので、「名工」として何をアピールすればいいのかは悩みました。情報処理分野で名工に選ばれた人はまだ少なくて、私は5人目のようです。今回はオープンソース系のソフトウエア開発技術者として選んでいただきましたが、25年近く続けてきた類似画像検索の研究を評価いただけたのかなと思います。「工(たくみ)」というからには、いろいろなことやっていては名工にはなれないのかなと。
そうですね。一つのことをずっと続けてきたことが、やはりアピールポイントだったと思います。
私が研究してきた類似画像検索の技術は、画像の特徴を表す特徴量の抽出技術とその特徴量の検索技術からなります。それぞれ長い年月をかけて少しずつ進歩し続けてきました。ただ、深層学習の出現により両者は劇的に進歩しました。
特徴量は人の認知方法を想定して作成した特徴量から深層学習により生成される特徴量に置き換えられました。また、深層学習の特徴量の普及と共にその特徴量の検索技術も脚光を浴び進歩が著しいです。
最近はこの検索技術(NGT)に注力しています。「NGT(Neighborhood Graph and Tree forIndexing High-dimensional Data)」は、テキストや画像などから抽出される特徴量(ベクトルデータ)を検索する技術です。これは「ベクトル近傍検索」(※1)と呼ばれ、大量のベクトルデータでも⾼速に検索できる点が特徴です。具体的には、この技術を使うことで⾃分が欲しい商品に似た画像を簡単に探せるようになります。現在、Yahoo!ショッピングなどに搭載されています。
※1 ベクトル近傍検索:
データベースの中から特定のベクトルに最も近いベクトルを見つける技術。ここでの「ベクトル」とは、画像やテキストを数値化して表現したものであるが、ベクトル近傍検索が対象とするベクトルはこれに限らず、距離が定義されたベクトルであれば検索できる。
商品詳細の画⾯から、⾍眼鏡のアイコンを押すと⾒た⽬が似ているものが探せる
私は前職でECサイトでの類似商品画像検索の実用化を目指して、この類似画像検索の研究開発を開始しました。当時も、プロダクトに反映できる段階まで研究開発を進めたのですが、そのときの主⼒製品にはマッチせず、主力製品への搭載には⾄りませんでした。
そこで、せっかくよいものができたのでぜひ誰かに使ってほしいと思い、⾃分でいろいろな会社にこの技術を売り込みに⾏きました。研究内容を⾃分で営業して回る研究者は、当時はまだいなかったですね。
複数社に提案をしていた中に、当時のヤフーもありました。Yahoo!オークションのようなサイトをイメージして、「この商品に似たものを検索できる」というコンセプトで提案したところ、「これは使えそうですね」ということで使ってもらうことになったのが、2000年ごろです。
その後も類似画像検索の研究を続け、当時と比べると今ではかなり人間の感性に近いレベルのものが実現できるようになりました。約25年かけてやっと自分の思い描いていたものが形になった、という感覚です。類似画像検索は、私にとって生涯の仕事だったなと感じています。
やはり面白いからですね。最近注力しているベクトル近傍検索に関して言うと、一生懸命やっていると、たまにトップクラスの成果が出ることがあって、それがまた面白いのです。特に飽きないのは「トップになりたい」という気持ちが常にあるから。
一度は「トップだ」と思ったこともあったのですが、最近この技術はすごく注目されて、競合がどんどん出てきています。抜かされてしまうこともあって、その悔しさが「なんとかならないかな」と思わせて、続ける原動力になっていると思います。また、オープンソースなので時々ユーザーから感謝されることもあり、それも大きな励みになりますね。
はい、結構、負けず嫌いかもしれません(笑)。ベンチマークがあると、明確に勝ち負けが分かるので、それが続けるモチベーションですね。そういうものがなかったら、気力が半減していたかもしれません。
「負けたくない!」と思うものがあるからこそ面白いですし、「まだいける、まだ改良できる!」という気持ちにもなります。
実は、大学時代は論文を書くのが大嫌いで「研究者には絶対になりたくない」と思っていたので、最初は開発の道に進んだのです。でも、私が担当した開発の仕事では先端技術をほとんど使っていなくて、しかも、やることがかなり決まっていました。そこで、自由にやりたいことができる研究所に行こうと決めました。その研究所で学生時代にバイトしていたこともあり、仕事の仕方がなんとなくわかっていたのも理由の一つです。
技術者も最先端のことをやっていたりするのですよ。ただ、何か新しいことを生み出していても、それだけではアカデミックな研究者とは言えないと思っています。
論文を書くことで、自分がやったことが他の誰もやっていないと証明することが重要です。例えば「新種を見つけました」だけではダメで、それが本当に新種だと証明しないといけません。
でも、そのためにはさまざまな実験が必要で、時間がかかります。だから正直、論文書くのは好きではないです。
思い込みであっても、自分が「これはすごい!」と思うことに取り組んでいるときです。今取り組んでいるベクトル近傍検索では、常に「どういうロジックでやればいいかな」と考え続けています。
正直なところ、特にないですね。私は凡人だし、すごく日本人的だと思っています。
「すごく日本人的」とはどういうことかというと、日本人って細かいところに気づくのが得意ですよね。100円ショップには「これ便利だけど、めちゃくちゃ便利ってわけじゃない。でもかゆい所に手が届くな」と感じるものがたくさんありますよね。
あれってすごく日本人らしいと思うのです。細かい改良が得意なのですよね。でも、欧米の人たちは、もっとすごいアイデアをポンと出せるイメージが私にはあります。
私はすごく日本人的で、いろんなことを少しずつ考えて、「あ、こうやればいいなぁ」という感じで、少しずつ気づいていくのです。だから、ふと気づくと結構進んでいるけど、1つ1つの気づきは、ささいなことですね...。ただ、それを積み重ねる回数が人よりは多いのかもしれません。
はい、まさに試行錯誤の結果でした。Yahoo!オークションの類似画像検索はクエリとして指定した画像に対して「これと似た画像を検索する」のですが、クエリ画像はYahoo!オークション内の画像を指定していました。
この検索を高速化するために、当時主流だったツリー構造のインデックスを一生懸命改良して使っていました。でも、検索速度が出なくて苦労していたある日、あれ? クエリとなる画像って、Yahoo!オークション内の画像だけだけど、インデックスって本当に必要?」とふと気づいたのです。
たとえば、Yahoo!オークションで「ネコの模様」の商品に似たものを探すとします。まず、そのネコの画像から特徴量を生成し、オークションサイト内のすべての画像について同じように特徴量を出して、1対1で全部見ていけば、似ているものがわかります。1対1で見ていくと当然時間がかかるので、それを高速化するために、検索用のインデックスが必要だと思っていました。
でも、クエリとして指定する画像はショッピングに登録されている商品画像なので、そこから似ているものを見つけるなら、事前に時間がかかってもすべての画像を比較して、似ているものを結びつけておけばいいことに気がついたのです。
そうですね。クエリとなるオークション内のすべての画像に対して事前に類似画像の検索結果を保存しておくわけです。実際にクエリとしてある画像が指定されたらその画像に対して保存されている検索結果を表示するだけなので瞬時に結果が表示できます。
たとえば洋服を見たとき、人が「これは赤い」、「これはTシャツ」、「これは花柄」といったように、色や形、模様をそれぞれ判断しますよね。
以前の類似画像検索では、このような色の特徴、形状の特徴、模様の特徴といったその服の特徴を「特徴量」という数値化された情報にします。今では深層学習を使って抽出することで飛躍的に精度の高い特徴量が生成できます。
検索結果を事前に保存しておけば良いことに気づいた時は、なぜ今頃気づいたのだろうとかなりショックでした。でも、検索結果を保存するシステムはいろいろと非効率なので実用化することはなかったですけどね。
次に、この保存された検索結果の個々の画像もクエリ画像になり得えます。すべての検索結果が保存されるので、結局、保存されている検索結果はグラフ構造を構成していると気が付きました。さらに、このグラフ上の各画像をたどっていくと検索結果として保存されている個数以上の画像も検索できるのではないかと気づきました。そして、さらに、このグラフを高速に生成する方法を思い付いて...と、このように少しずつ気づいていって今のグラフ構造のインデックスが完成しました。
このグラフ構造のインデックスがあれば、「この画像に似たものを探して」と言われたときには、そのリンクをたどるだけで瞬時に結果が出せるようになります。たとえば、10個の似たものが欲しいなら、そのリンクをたどって10個見つければいいわけです。このグラフ構造のインデックスは非常に便利で、効率的に類似画像を見つけられるというわけです。
グラフ構造のインデックスは突然気づいたわけではなく、少しずつ改善してきた結果です。こんな風に少しずつ「こうすればいいんだ」とか「こうやればもっと良くなる」と気づいていくことが多いのです。
多くの人は歳を重ねるにつれて、仕事はお金を稼ぐ手段であり、言われたことをやればいいと思うようになると感じています。でも、LINEヤフーで若い人たちと一緒に仕事をしていると、彼らも仕事を楽しんでいるように見えます。そういう意味では、彼らと僕は似ているところがありますね。
私は自分が上だとは思っていなくて、同僚としてできるだけ協力しようと思っています。そうすることで仲間意識が生まれるし、隔たりがなくなると思っています。人にアドバイスするとしたら、「とにかく自分が面白いと思うことをやれば良い」ということですね。面白いものを見つけたら、自然とやりたくなりませんか?
ただ、私はやりたいことをやるためにかなり努力もしたつもりです。
たとえば、前職で主力製品と類似画像検索の相性が悪かったので、多数の会社に売り込みに行きました。その一つがその当時のヤフーでした。ほとんどの売り込みは、うまくいかなかったですが、いい経験をしたと思います。
岩崎が前職で発売したシステム。「この類似画像検索システムのUIも自分で作成しました。今見るとちょっとダサいですね(笑)」
出典:リコー、ヤフオクが導入の類似画像検索システムを製品化(ITmedia NEWS)
実は、「研究者になろう」と思ったことは一度もなくて、気がついたら研究者になっていました。面白そうだと思うことを考え続けて少しずつ積み重ねてきたからこそ、25年続けてこられたのかもしれません。
今でも論文を書こうと思えば書けるネタはありますが、論文を書いている時間があったら新しいロジックを実装してオープンソースとして公開して、公開のベンチマークでその性能を証明した方がよっぽど早くて面白いです。
できれば、3年以内に今のプロジェクトにけりをつけたいですね。性能向上を目指して改良したいところはまだまだあるので、当然それはやっていくのですが、やはり、ある程度使いやすいものにしたいと思っています。
今まで継ぎ足しで作ってきたので、正直すべてきれいに作り直したいくらいです。デファクトスタンダードにはならないかもしれないけど、それに近づけたいですね。
最近、ベクトル近傍検索は注目されているので、企業として大勢で取り組んでいる競合もあります。そのような企業と競うのは厳しいですね。しかも、そのような企業ではオープンソースになっていなかったりするので、どのような手法を取り入れているか分からないのも辛いですね。
でも、私の研究内容をオープンソースでしっかり作っておけば、それを改良してくれる人も出てくるかもしれません。研究分野で貢献できる可能性もあるので、これからも取り組んでいけたらと思っています。
最後に、このような栄えある賞を頂き本当に光栄です。ただ、類似画像検索を長年続けられたのも、サービスに搭載されたのも、同僚の協力があったからこそなので、ここで感謝の意を表したいと思います。ありがとうございました!
1990年〜2007年 | 前職にて、全文検索の研究開発を経て、類似画像検索の研究開発を開始 |
---|---|
1999年〜2000年 | MPEG7 標準化活動により、画像特徴量が標準に採用される |
2000年 | Yahoo!オークションに類似画像検索の導⼊を提案し、採⽤される |
2003年 | 研究開発した類似画像検索システムがBest of WPC EXPO 2003 を受賞 |
2004年 | 中心となって研究開発した類似画像検索システム(VISMeister)が発売開始 |
2007年 | ヤフー(Yahoo! JAPAN研究所)に転職、類似画像検索・認識およびベクトル検索の研究開発を開始 |
2016年 | NGT(ベクトル近傍検索)のOSS化を弊社知財と協力しOSSとして公開 |
2018年 | NGTが公開ベンチマークで世界トップレベルの性能を達成 |
2019年 | NGTを利用した類似商品画像検索機能が「Yahoo!ショッピング」にて提供開始 |
2020年 | NGT研究開発チームが情報処理学会業績賞を受賞 |
2024年 | 卓越した技能者(現代の名工)を受賞 |
取材日:2024年11月27日
※本記事の内容は取材日時点のものです