SNAPMeデータベースは、3,311枚の写真を275件の詳しい食事記録と対応させています。参加者は最長三日間、食べたものを撮影し、写真とは別に食事記録を作成しました。研究者は、その食事記録を材料予測の正誤を確かめる基準にしました。
データベースの内容
SNAPMeは、同じ参加者の食事写真と食事記録を対応させています。
研究者が評価した予測
SNAPMeが調べたのは材料の予測であり、すべての画像AIの料理名判定ではありません。
研究者は、FB Inverse CookingとIm2Recipeという二つの公開アルゴリズムを評価しました。Im2RecipeのF1スコアは、食品コードが一つの画像で0.08、二〜三個の画像で0.15、四個以上の画像で0.18でした。F1スコアが高いほど、正しく予測した材料と、見落としや誤予測のバランスが良いことを表します。
論文は、二つのアルゴリズムが飲み物も苦手としたと報告しています。研究者は、レシピ中心の学習データでは単一食品や飲み物の情報が不足する可能性を挙げています。ただし、この研究だけを根拠に、現在のすべての画像AIが同じ間違いをすると断定はできません。
食事記録で確認したい項目
見た目が単純な食品でも、利用者は候補を一度確認します。
アプリが写真から料理を提案したら、透明な飲み物が水なのか甘い飲料なのか、単純に見える食品に具が入っているか、写真の外にソースや飲み物がないかを確認してください。
食べた本人は、写真に写らない情報を知っています。画像AIが食事記録の入力を始め、利用者が写真だけでは分からない情報を補う、という役割分担が現実的です。
MorselFlowでできること
MorselFlowでは、写真だけで決められない情報を利用者が補えます。
MorselFlowは、料理候補と量の目安を保存前に表示します。透明な飲み物、単一食品、包装された商品、写真の外にある食品は、特に確認してください。
候補が違う場合や足りない場合、利用者は保存前に修正できます。SNAPMe研究はMorselFlowを評価していないため、論文の結果を現在のMorselFlowの精度として扱えません。
本記事の数値は集団向けの公的基準または研究結果です。個人の診断・治療・栄養指導を目的とするものではありません。料理候補、量、栄養値は推定であり、実際と異なる場合があります。