SNAPMeデータベースは、95人から集めた3,311枚の食事写真と275件の食事記録を収録。研究で試された公開アルゴリズムは、特に単一食材と飲み物の予測を苦手としていました。
The number at a glance
写真の枚数が増えても、見えない情報は残ります。
95participants
275food records
3,311food photos
見えやすい手がかり形・色・皿・個数
見落としやすい情報透明な飲み物・単一食材・隠れた中身
Simple to us, ambiguous to a model
人には単純でも、画像には手がかりが少ない。
水と無糖飲料、ソースの有無、似た形の単一食品は、写真の色や輪郭だけでは区別しにくいことがあります。
複合料理には多くの特徴がある一方、シンプルな一品は判断材料そのものが少ない場合があります。
Design around uncertainty
精度を装うより、直せる方が信頼できます。
AIの候補は、画像から得られた仮説です。商品名、量、写真の外にある飲み物などは、本人の確認が最も確かな情報になります。
分からないときに「分からない」と扱い、候補と量を修正できることは、AI機能の弱さではなく必要な設計です。
What to keep
AIの候補を答えにせず、自分で確かめられる下書きとして使う。
How MorselFlow fits
MorselFlowは、AIの推定を確認画面から始めます。
料理候補と量の目安を表示し、違うものは保存前に変更できます。
写真に写らないものや判断しにくい飲み物は、利用者が追加・修正する前提で扱います。
本記事の数値は集団向けの公的基準または研究結果です。個人の診断・治療・栄養指導を目的とするものではありません。料理候補、量、栄養値は推定であり、実際と異なる場合があります。