株式会社Noveraが運営する、スマートフォン向けアプリ「viewty」のAI技術の紹介をするブログです

【Beauty×AI】アプリ「viewty」の紹介と、使用されたAI技術について

はじめに&自己紹介

こんにちは、NoveraのAIエンジニアの諸冨大樹と申します。

「viewty」を開発するにあたり、メインエンジニアとして、開発全般の設計や、AI部分の開発を行いました。

今後開発にあたって使用したAI技術や開発の内容、技術ノウハウについてこのブログで発信していければと思っています、よろしくお願いします!!

 まず、記事ではアプリ「viewty」の機能の説明と、開発する際に使用したAI技術の概要についてご紹介します。

f:id:NoveraTech:20191205164258p:plain

ちなみに、自分が今までどんなものを開発してきたか、どんな考えでNoveraで働いているのかどうかは下記の記事で紹介されています、ぜひご覧ください!

www.wantedly.com

www.wantedly.com

 ・目次

 「viewty」ってどんなアプリ?

f:id:NoveraTech:20191204154304p:plain

「viewty」は、化粧品販売員や研究者、メイクアップアーティストなど200名以上の美容のプロが協力のもと、「肌測定AI」を搭載した、化粧品をレコメンドするアプリです。
自分の肌状態について悩んでいたり、数多くのブランドの化粧品から自分に合うスキンケアアイテムがわからないなどの美容課題をお持ちの方に、自分の肌との対話を幸せな時間として過ごして欲しいという願いから開発しました。

www.viewty.jp

  「viewty」でどんなことができるの?

現在は肌診断、オススメ化粧品の紹介、使用中化粧品の相性診断、の3つの機能が使用できます。

 

①肌状態を診断

アプリのカメラで肌を撮影すると、肌の状態(シワ、キメ、シミ、透明感、うるおい、毛穴、肌質、肌年齢)の8項目で測定・評価します。

f:id:NoveraTech:20191204164902p:plain  f:id:NoveraTech:20191204164710p:plain

 

②肌診断をもとにオススメの化粧品を紹介

この測定データを元に、使用中の化粧品データや、肌の状態に関する蓄積データを掛け合わせ、診断結果が生成されます。
豪華キャストの音声にガイドされ、約2万アイテムの化粧品からレコメンドを受ける事ができます。

f:id:NoveraTech:20191204165152p:plain  f:id:NoveraTech:20191204165213p:plain

 

③現在使用している化粧品が肌に合っているのか相性診断

現在使用している化粧水や、ファンデーションなどの化粧品が自分の肌に合っているかどうかを判定します。

f:id:NoveraTech:20191204165423p:plain

 

 使用したAI技術って?

「viewty」は最先端のAI技術を使用して開発を行っています。

 

前提
従来肌分析は、美容専門店で肌に直接機器を当てる接触型の分析が用いられていました。女性の方はデパートなどの店頭で機器を肌に当てて肌診断をしたことがある方もいらっしゃるのではないでしょうか。

「viewty」は接触型の専門機器を使用せずとも、アプリ上で写真を撮影するだけで精密な肌分析を可能にしました。
店頭に足を運ばずとも、スマートフォンがあればどんな場所でも気軽に精密な肌分析が可能です。

接触型での肌診断を実現させるために様々なAI技術を使用しました。使用した技術の一例を下記に紹介します。

 

①CNN構造を使用し、ユーザー数が増えるほど精度の高い分析が可能に
肌の領域において従来活用されてきた画像処理の技術とは異なり、Deep Learning(深層学習)分野のCNN構造を活用することよって、肌検知の精度向上を実現しています。
また、従来画像処理では検知項目ごとでの恣意的な特徴を人力で示唆していましたが、CNNでは密度の高いより詳細な特徴量を自動で抽出するため、今後ユーザー数が増え取得データが増えるほど、さらなる精度向上が見込めます。

 

②日本国内でも使用例の少ないスケーリング方法を活用
肌検知の精度向上のため、CNN構造のモデルスケーリングの手法として、EfficientNetの論文内(ICML2019で発表された論文)で提唱されたスケーリング方法を活用しています。
スケーリング方法は世界でもまだ使用している会社はほとんどありません。

 

③分類タスクにResnetを基礎として構築したCNN構造を活用
精度面の信頼性と言う観点で、データの分布や、今回のタスク内容から、VGG16層、Resnet, Efficientnet, AttentionRestnet, VGGFACEといった構造を検証し、精度面で結果の良かったResnetをベースとし、構造を再構築しました。

 

④セグメンテーションタスクについては、U-netを活用
セグメンテーション系の場合、精度面だけでなく演算処理のスピードという2点が重要になるため、FCN, Mask R-CNN, U-net, Dilated FCNを検証、モデルのコスパが良いU-netを利用し開発を行いました。

 

これから本ブログで使用した技術の具体的な開発方法や技術共有ができればと思っています。

ぜひお楽しみにお待ち下さい♪

 

--------------------------------------------------------------------------

・株式会社Novera コーポレートサイト

https://corporate.novera.co.jp/

 

・株式会社Novera採用サイト

https://corporate.novera.co.jp/recruit/

 

・viewty アプリダウンロードサイト

https://viewty.page.link/RtQw

 

・株式会社Novera 公式Twitter

https://twitter.com/novera_pr