「肌分析AI」を搭載した、化粧品をレコメンドするスマートフォン向けアプリ「viewty」を世に送り出している株式会社Novera。
今回は日本最大級のコスメ・美容の総合サイト「アットコスメ」を運営する株式会社アイスタイルさまのエンジニアをメインにBeauty×AIについての講演を行ったので、その内容をまとめる。
【講師プロフィール】
諸冨大樹
2017年に「異能ジェネレーションアワード 協力協賛企業 特別賞」を受賞。翌年から現在まで、JDLA認定講座の講師としてNTT、東芝テック株式会社を始め600名以上の生徒に教鞭をとる。NoveraのAI開発責任者。
AIを取り巻く環境は、コロナ前後で大きく変化
冒頭、諸冨氏は昨今のコロナ禍によって、AIを取り巻く環境がどのように変化したかを説明した。コロナ以前、AIは「人材を育成するもの」「投資するもの」というフェーズであったが、世界全土でその様相は一変。現在はAIに関する人材の大量解雇が相次ぎ、即戦力を重視する傾向が強くなったと語る。
特にAIはなかなか成長に時間がかかる分野であり、コロナの影響で業績悪化が免れない各企業からすれば、未来に向けた研究ではなく「地に足をつけて売上を稼げるもの」が求められるようになったという。
また、コロナ前はソフトウェア単体の開発を行う会社が主なプレイヤーとなっていたが、こういった会社はサーバー等で大手のクラウドサービスを使わざるをえず、そこでも莫大なコストが発生するため資金がショートする傾向にあると指摘。代わって自分たちでハードウェアを持つ会社が台頭してきており、なかでもアメリカの半導体メーカー「NVIDIA」の活躍が目立っている。「特にGANの構造について追うのであれば、NVIDIAを見るのが一番効率的だろう」。
AIの研究内容についても、コロナ前後で大きな変化が見られる。以前は研究範囲がバラエティに富んでおり、2017年の「Dynamic Routing Between Capsules」や2018年の「neural ordinary differential equations」といった、実務的かはさておき、新しい構造に関する提言が多くみられた。現在はモデルの「軽量化」「高速化」に重点が置かれており、「AIサービスをどうしたら低コストかつ高速でアウトプットできるか」という方向に、強い意識が向いていると、諸冨氏。
AIは医療分野では、「レントゲンの精度向上」「皮膚に関する治療」など活用できる範囲が多く、研究が盛んになっている。一方、美容分野ではコロナ前後に関わらず研究に携わる人材が少なく、大きな変化は起きていない。諸冨氏は研究者が育たない背景として、「マネージメント層がAIの技術をそもそも理解していない」「AIが学習を進めるために有用なデータが揃っていない」「美容分野におけるAI活用のイメージが浸透していない」という3つの要因を指摘。その状況に「焦りを感じる」と語り、関連情報を交換・発信するコミュニティを立ち上げたことも明かした。
【Beauty×AIコミュニティ】
https://join.slack.com/t/beauty-ai/shared_invite/zt-j36mtqyb-s1TXN3uqPfRZNsEmANHAkQ
Beauty×AIに興味がある、Beauty×AIの開発に関わっている技術者向けのコミュニティです。
■内容
AIや、Beauty×AIに関することの情報交換、気になった記事の紹介、交流など
■こんな人にオススメ
・AIや、Beauty×AIについて興味がある、勉強したい方
・AI、Beauty×AI業界での知り合いや友達がほしい方
■対象
・AIエンジニア
・AIに関心のあるエンジニア
・Beauty×AI、BeautyTechに興味があるエンジニア
気軽に雑談などができるラフなコミュニティにしたいと思っています。
ぜひお気軽にご参加ください。
美容業界で使われているAI技術について
次のテーマは、美容業界におけるAI技術（Beauty×AI）について。Beauty×AIは主に、肌の状態画像を活用して分析する「検知系タスク」と、アンケートデータや気候データなどの値から予測モデルを構築していく「解析系タスク」の2つが中心となっているが、今後はそれに加えて「生成系タスク」「探索系タスク」の2つが加わりつつあるという。
生成系はいわゆる、“ハリウッド女優風”や“美少女画像”といったものを作るタスクと捉えるとイメージがつきやすい。近年はAR技術を活用して擬似的に顔へメイクを投影する「YouCanメイク」や「Modiface」といったプロダクトが増えているが、それもまた、この生成系タスクが関連する分野である。
しかし従来のプロダクトは目のメイクなら目のみ、口のメイクなら口のみにフォーカスが当てられており、その境目ともいえる部分のニュアンスがうまく表現できなかった。近年は生成系タスクの進歩によって、その境界線を何度も重複して演算し、最終的に自然な形に仕上げていくことが可能になっている。
また、メイクをするだけではなく、その逆。つまり、メイクされている画像からノーメイク状態の画像を生成できるのも、このタスクの優れた点だ。これにより、検知対象がメイクをしている・していないにも関わらず、画一的に画像を処理できるようになるだろう。
前段、医療業界のAIが活況で美容業界のAIは変化に乏しいことは述べたが、特にこういった生成系タスクに関しては、美容業界の方が色々と取り入れやすいのではないかと、諸冨氏は語る。
さて、こういった画像生成を行う場合、膨大なデータを処理するための環境を構築する必要があり、多大な運用コストが発生する。そのためこのままでは、サービス化してもコストをまかなえず、赤字化する場合が多い。
その問題を解決するために研究されているのが、生成系タスクに使用されているGAN (Generative Adversarial Network) モデルの圧縮技術である。GANの圧縮は主に「モデル蒸留」「チャネルプルーニング」「量子化」という3つのアプローチがあり、それらを用いることでコストの削減はもちろん、処理の高速化も見えてくるだろうと、諸冨氏。
これまで述べた「生成系タスク」と並び、美容系AIの中で伸びてくるものが「探索系タスク」だ。これはAIが自ら様々な行動を試しながら、最適解を目指す強化学習を用いたものであり、囲碁ソフトウェア「AlphaGo Zero」や将棋プログラム「Ponanza」、Netflixにおけるユーザー広告最適化などが近しい。
昨今、「探索系タスク」は医療業界において皮膚科や放射線科の医師が行う診断フローをAI化しようとする動きにおいて活用されている。特にコロナ禍においては、患者と医師が直接対面せず行う診断へのニーズが高まってきており、問診の質問個数を最小限に絞りながら正解に辿り着くためにはどうすれば良いかという研究が活発だ。
「探索系タスク」は主にCNN（畳み込みニューラルネットワーク：Convolutional Neural Network）を用いて、「この画像はどんな症状を表しているのか」を検知し、過去の問診履歴のデータを参照しながら、問診項目それぞれに「はい」or「いいえ」を割り振っていき、結果を割り出していく。このフローを繰り返すことで、問診項目（質問）の内容が次第に洗練されていくのも大きな特徴だ。
この研究の根幹にある野望は、「RL（強化学習）を利用してルールベースを超えていくこと」。これを先ほど挙げた医師の問診という視点で言い換えると、「医者がやっている行為を置き換えるだけではなく、それよりも優れた問診をAIで実現していこう」というものになる。そのゴールは単なる検知に終わるだけでなく、研究自体がとても面白いと諸冨氏は紹介した。
現状、こういった「探索系タスク」は美容業界では世界的に使われている事例が少なく、特に日本人の肌に特化して研究を進めている所はほぼない。“お隣さん”とも言える医療業界での事例に注目しつつ、Noveraが取り組んでいる肌診断といった美容分野でどのように応用していくかを突き詰めていくことも重要である。
Noveraが手がける「viewty」
続いて話題は、肌の状態を測定するAI「viewty」に用いられている技術に移る。「viewty」は設計上、CNNタスクについて2つのアプローチが活用されており、その1つはグループ分け（状態、個数）によって判断する「分類系」、もう1つは領域（面積）が重要視される際に用いられる「セグメンテーション系」だ。
「分類系」は、肌診断する項目を柔らかさ、色、肌性（敏感肌や感想肌など）、キメ、明るさ、うるおいと定義した場合、対象の肌が「比較的潤っている」「比較的暗めである」といった具合に、データ全体のどこに位置するかを比較する作業だ。その分類モデルについては、「VGG16層」「Resnet」「EfficientNet」「AttentionRestnet」の4つの構造から、どれを採用すべきか検証を重ねたとのこと。結果、アプリ版の「viewty」には、「EfficientNet」が使われることとなった。
さて、アプリ版を展開するうえでネックとなったのが、サーバーコストの高騰である。それに対処するための施策としては、まず「サービス利用料の向上」が挙げられる。しかし、AIサービスの現状を考慮すると、「グーグル」「フェイスブック」「マイクロソフト」といった自前でサーバーを持つ会社が価格基準となっているため、クラウドサービスを利用する側が同じ価格設定にしてしまうと、どうしても赤字になりがちだ。大手会社と類似したAIサービスでは当然ながら、利用料の向上は厳しいだろう。であれば、大手が進出していない視点・分野でのサービスが必要になってくる。
もう一点、サーバーコストを下げる技術的な施策として、「モデルの演算を軽くする」という方法が考えられる。これは具体的に、「安価で提供できる環境に推論時間やモデル容量を合わせていく」と言えるだろう。
そのためには、使っているモデルを変えたり、軽量化・高速化手法を活用したりする必要がある。この状況で諸冨氏は、モデルを変える方法を選択。「viewty」はアプリ版のほかにAPI版もあるのだが、そのAPI版に関してはEfficientNetからMobileNetへモデルを入れ替えたという、
ディープランニングモデルは精度は良いが、その分演算量が多く、それに比例してコストも発生する。その中でも、軽量化・高速化・高精度化を実現したのが、MobileNetだ。モデルを変更した結果、コストを約1/1000にまでの大幅削減に成功した。
また、「viewty」における「セグメンテーション系」は非常にシンプルなものだと、諸冨氏は語る。ここで用いられる項目は主に、「大ジワ」「小ジワ」「ほうれい線」「ニキビ」「しみ」「毛穴」「目の隈」で、これらを画像から項目ごとに検知するようにしている。このタスクにはU-netを採用。最適化の必要はあるが、構造のコンセプト自体は同じものが採用できたとのこと。
そんな「viewty」であるが、使っているCNNはもともとオブジェクトの向きや場所が違う大量のデータが必要であり、より精度を高めるためにはそこが課題の一つになっていると諸冨氏はいう。また、検知対象となる画像それぞれにおいて、顔の一部が髪で隠れたり、その画像が撮影された際の明るさがまちまちだったりするため、複雑な状況下でより精度が上がるよう改善する取り組みも紹介された。
質疑応答
講義の後は、質疑応答の時間が取られた。
ーー利用している学習データの年齢が例えば20〜30代に偏りすぎた場合、それ以外の年齢をうまく予測できない問題はあるか？その場合、どのような対応方法があるか
諸冨氏：目的とするタスクによって変わるが一般的に、AIモデルは画一的に同じ量を学習させることが前提。ただし、学習データが偏っている状況はあまりよくないものの、現場的にそういったデータを使わざるを得ないこともある。その際は運用時、推論結果から生まれる分布を確認しながら学習データを再定義する必要があり、例えば分布A~G評価のうちF~Gへの偏りが多ければ、A~Eのデータ量を増やして、バランスを取っていくことになる。
ーー環境光やカメラの画質などのノイズ対策はどのように行なっているか
諸冨氏：まず、AIモデルの限界を認識する必要がある。特にCNN系はノイズを細分化し全てに対応することは不可能。そのため、光源パターンに重きを置きたい等、、モデルとしての強みを生かしたい分野を明確にし、そこにリソースを活かしておくのがベスト。
ーーどのくらいの時期になれば、将来予測が可能になると考えているか。また、それを実現するための課題にはどのようなものがあるか。
諸冨氏：例えば「ニキビ予測」であれば、開発期間だけでいえば着手から3ヶ月程度で作れるだろう。ただし、その開発には、3ヶ年ほどの肌データ1000人分以上は必要になる。そういったデータが揃えば、いくつかのパターン群を作成してモデル化できると思われる。
もし他のデータと組み合わせる場合は、時系列のデータとそうでないデータとの組み合わせになるため、どのモデルを選ぶのかが難しくなる点が課題。実現には本来の目的とは異なる予備AIまで開発する必要があるだろう。不可能ではないが、難易度は高い内容となる。
ーーistyle（アットコスメ）で「ここはAIが活躍すべきではないか？」と思う所があれば。
諸冨氏：現状どういうデータがあるか存じ上げていないため、一般論になってしまうかもしれないが、大枠として「既存のデータを活用するタスク」「新規データを取得するタスク」「既存データと新規データを組み合わせるタスク」の3つが考えらえる。
そのうえで詳細に落とし込むとするならば、それぞれのユーザーに合わせた商品の作成や興味喚起につなげる化粧品広告最適化、属性の似ているユーザー同士が繋がるコミュニティとそこからのレコメンド、新商品のパッケージデザインなどになるだろう。
ーー今後の展望における「肌データと外部データの掛け合わせ」に関して、具体的なイメージがあれば。
諸冨氏：精度的な面で言えばまだまだ議論は必要になるが、例えば肌分析でいうと、食事や運動といった一般的なライフスタイルで取れるデータと組み合わせると、面白いのではと考えている。「何を食べたらこうなる」「運動をどれだけやったらこうなる」的なことが言えるのではないか。
最後に諸冨氏は、今後取り組みたい内容を紹介。利用者の肌情報から適切な商品を導き出すレコメンド研究や、肌情報を用いたコミュニケーションツール、肌データと外部データの連携などを挙げ、一例として「肌のターンオーバー周期の予測モデル」の設計を提示。「まだまだ研究段階」とはしながらも、将来的に「こういったことができるのでは」と強い意欲を覗かせ、本セミナーは終了となった。
--------------------------------------------------------------------------
・株式会社Novera コーポレートサイト
https://corporate.novera.co.jp/
・viewty アプリダウンロードサイト
・株式会社Novera 公式Twitter
