早稲田大学 大学院創造理工学研究科博士後期課程およびZOZO NEXTの研究開発組織「ZOZO研究所」に在籍する清水良太郎氏、早稲田大学理工学術院の後藤正幸教授、および「ZOZO研究所」の斎藤侑輝氏、松谷恵氏による研究グループは、ファッションへのイメージをAIが自動で解釈し、ユーザーからの曖昧な問いに対して回答する「Fashion Intelligence System」という新たな技術を開発した。
同研究成果は、オランダのエルゼビア社が発行する『Expert Systems with Applications』にて、2022年11月17日（現地時間）にVersion of Record（最終公開版）として公開された。
近年、消費者はSNSやECサイトを通じて、他者の服装・着こなしを参考にしたうえで、ファッションアイテムの購買活動を行うことが一般的になっている。そのため、オンライン上のユーザー行動を快適にすることは、ファッション業界を発展させるという意味でも重要となる。
しかし、ファッションに対してユーザーが持つ嗜好やイメージは極めて曖昧で、通常「カジュアル」「フォーマル」「かわいい」といった曖昧な表現が用いられるため、専門家ではないユーザーがファッションを理解・解釈することは容易ではないのが現状となっている。
今回の研究で新たに実現しようとしたこと
たとえば、
- この服装をもう少しフォーマルにしたらどんな服装になるか？
- この服装はどれくらいカジュアルか？
- この服装をカジュアルにしている要素は何か？
といった問いへの回答は、ユーザーにとっては難易度が高く、専門家でさえも決して容易に答えを提示することができない。
このようなファッション分野特有の曖昧性は、ユーザーが新しいジャンルの服装に挑戦しづらくなるなど、ユーザーからファッションへの興味を深めることの妨げとなる可能性がある。
そこで同研究グループでは、これらの問いに対する回答を自動的に獲得することで、ユーザーの認識の幅を広げ、ファッションの解釈や興味喚起の一助となることを目指している。
新たに開発した技術
同研究グループは、全身コーディネート画像と画像に付与された複数のタグ情報を同一の空間に写像し、この空間における画像とタグの座標（=埋め込み表現）を活用することで、ユーザーからの曖昧な問いに対する回答を獲得するVisual-Semantic Embeddingに基づく「Fashion Intelligence System」という新たな技術を開発。あわせて、この新たな技術に基づき、そのさまざまな活用方法を論文にて提案した。
Visual-Semantic Embeddingとは
ある画像とその画像関連する情報（文章や単語など）を同一空間に写像する技術。同研究では全身コーディネート画像と、その画像に付与されたタグの集合を写像の対象としている。同技術を活用した研究は多く存在するが、それらと比較して同研究では「（複数のパーツの組み合わせにより構成されている）全身コーディネート画像」と「（ファッション特有の曖昧な表現を多く含んだ）タグの集合」という、単純な方法では対象とすることが難しい要素を、上手に扱うためのさまざまな工夫が含まれているという。
Fashion Intelligence Systemについて
ファッションを自動的に解釈し、ユーザーと協働することで、ファッションに関する新しい知識の発見と新しい価値の創造を促進する仕組み。人々の好みや価値観、文化的背景によって評価やイメージが異なる「ファッション」を対象とした、新しい知識の生成と発見を想定している。同システムは Business Intelligence の枠組みを超えて、ビジネスにも寄与しながらユーザーのファッションに対する関心と認知を広げることができるとのこと。
研究の波及効果や社会的影響
この新たな技術を用いて得られた回答をユーザーに提示することで、ファッション特有の曖昧性を軽減し、ファッションに関するユーザーの着る服や購買するアイテムなどの選択・行動を支援することが期待される。
たとえば「オフィスカジュアル」がよくわからない場合、提案システムにおける画像並べ替え機能を用いることで、「オフィスカジュアル」タグが付与されている服装のなかでもより「オフィスカジュアル」な服装と、そうではない服装を判断することが可能に。また、ユーザー自身が現在所有している服装に対して「もう少しカジュアルにしたい」と思ったとき、画像検索機能を用いることで、どのような服装が「少しカジュアルにした」服装に当てはまるかを把握することができる。この際、AAM機能を用いることで、検索された画像において「どのあたりがカジュアルなのか」は把握することが可能となる。
Attribute Activation Map（AAM）機能とは
指定したタグが、指定した画像上のどの領域との関連度が高いかをヒートマップで提示する機能。「対象の服装のどの部分がカジュアルなのか?」を視覚的に理解することができる。
今後の課題
今回開発した提案システムは、比較的綺麗に撮影された画像、ある程度専門性を有するユーザーが付与したタグが揃ったデータセットでのみ機能するため、どのようなユーザー投稿データに対しても適用できるように発展させていくことが今後の課題である。また、提案システムは、画像と画像に紐づく文章や単語などの情報が紐づいたデータを用いれば、建築物・アート・家具・料理などの分野に応用することが可能。特に曖昧な表現で説明される分野への応用により、有効性を発揮すると考えられている。
