早稲田大学大学院創造理工学研究科博士後期課程および株式会社ZOZO NEXTの研究開発組織、ZOZO研究所に在籍する清水良太郎氏、早稲田大学理工学術院 教授の後藤正幸氏、およびZOZO研究所の中村拓磨氏による研究グループは、ファッションへのイメージを自動的に学習・解釈し、ユーザーからの曖昧な問いに対する回答を得るための「Fashion Intelligence System」の精度を向上させた上で、新たな機能を実現するための機械学習モデルを開発したと発表。
今回開発したモデルでは、「この服装の上半身（下半身、靴など）はどのくらいカジュアルか」「この服装の上半身をもう少しビジネスカジュアルにするとどのような服装になるか」などといったユーザーからのより詳細な質問への回答を得られるようになる。本研究成果は、2023年7月28日（現地時間）にオランダのエルゼビア社が発行する『Knowledge-Based Systems』にて、オンライン掲載された。
「Fashion Intelligence System」は、同研究グループが開発した、ファッションを自動的に解釈し、ユーザーと協働することで、ファッションに関する新しい知識の発見と新しい価値の創造を促進する仕組みで、人々の好みや価値観、文化的背景によって評価やイメージが異なる「ファッション」を対象とした、新しい知識の生成と発見を想定したもの。同技術では、全身の服装の画像と当該画像に付与された複数のタグ（ファッション特有の曖昧な表現が含まれた文字情報）の集合を同一ベクトル空間に写像させ、ベクトル空間における画像とタグの座標を活用することで機械学習を行っている。
同研究グループは、これまでに「カジュアル」「フォーマル」「かわいい」といった曖昧な表現が用いられるファッション分野特有の曖昧性によって、ユーザーがファッションへの苦手意識を持ったり、新しいジャンルの服装に挑戦することを困難にするなど、ユーザーがファッションへの興味を深めることの妨げとなる可能性があると考え、研究を実施。こうした問題を解決するために、「Fashion Intelligence System」という技術を開発し、「この服装をもう少しフォーマルにしたらどんな服装になるか？」「この服装はどれくらいカジュアルか？」「この服装をカジュアルにしている要素は何か？」といった問いへの回答を得ることを可能にした。
一方、従来の「Fashion Intelligence System」では、全身の服装の画像を一括で学習しており、その中に含まれる個別のアイテム（Tシャツ、パンツ、スカートなど）に関する詳細な質問への回答を得る機能を有していなかった。
そこで今回の研究では、「Fashion Intelligence System」の機能を強化し、前出の質問に加え、「この服装の上半身（下半身、靴など）のカジュアル度はどのくらいか」「この服装の上半身をもう少しビジネスカジュアルにするとどんな服装になるか」など、服装に含まれる個別のアイテムに注目した詳細な質問への回答も可能にすることを試みた。これらの問いに対する回答を自動的に獲得することで、ユーザーの認識の幅を広げ、ファッション（服装・着こなし）の解釈や興味喚起のための一助となることを目指したとのこと。
今回、同研究グループは各アイテムの特徴に対応した上で、全身の服装の画像と当該画像に付与された複数のタグ情報を同一の空間に写像する「Partial Visual-Semantic Embedding」という新たな機械学習モデルを提案。同モデルにより、全身で写った1枚の服装画像から各アイテムに対応する特徴量を個別に抽出した上で、指定したアイテムに対応する特徴量同士の演算を可能とする。これにより、個別アイテムに関する曖昧な問いに対する回答が獲得できるようになる。
同研究グループは、本研究の成果により「Fashion Intelligence System」が回答可能な質問の範囲が広がり、ユーザーのより詳細な質問に回答できるようになると発表。これにより、ファッション特有の曖昧性を軽減し、ファッションに関するユーザーのあらゆる（着る服や購入するアイテムなどの）選択・行動を支援することが期待されるとしている。
