← 返回作品集

フードレンズ

完成

食物辨識助手

FoodLens Advisor

Token 成本降低約 300~1000 倍,影像不上傳
Token cost ~300–1000× lower vs. image-based AI

FoodLens Advisor 是一套「瀏覽器端辨識 + 雲端 AI 分析」的輕量飲食助手,採用 Thin Client + Cloud Brain 混合架構:使用者上傳一張食物照片,立即獲得熱量估算、三大營養素分析與個人化飲食建議。

架構圖 · Architecture

載入架構圖…

架構管線 · Pipeline

  • 瀏覽器端:ONNX Runtime Web(WASM)執行 YOLOv8 ONNX 模型,偵測中亞料理食物(46 類),輸入 640×640 letterbox,信心度門檻 0.25
  • 備援層:ONNX 偵測結果為零時,自動切換 TensorFlow.js + COCO-SSD(80 類通用食物,CDN 載入)
  • 後端分析:偵測到的食物標籤(純文字,非圖片)POST 到 FastAPI 後端,呼叫 Google Gemini 2.5 Flash Lite 做深度分析
  • 後端備援:FastAPI 端另有 YOLOv8(伺服器端推理)與 ResNet-50 Food-101 分類模型作為多層備援

技術亮點 · Highlights

  • 圖片全程留在瀏覽器本地,只有文字標籤離開裝置,隱私優先
  • 傳送文字標籤(約 10–30 token)取代圖片 base64(數千 token),大幅降低 API 成本
  • ONNX → COCO-SSD → Gemini 多層備援鏈,任一層失敗系統仍可繼續運作
  • 前端無框架依賴:純 HTML5 / CSS3 / Vanilla JS,不需要 Node.js 或打包工具

技術棧 · Stack

  • 前端推理:ONNX Runtime Web(WASM)+ TensorFlow.js COCO-SSD
  • 後端框架:FastAPI + Pydantic v2(型別安全的請求/回應模型)
  • AI 分析:Google Gemini 2.5 Flash Lite
  • 後端備援模型:Ultralytics YOLOv8、HuggingFace ResNet-50 Food-101
PythonFastAPIYOLOv8ONNX RuntimeGemini APITensorFlow.js