WORKS
DevFest GDGoC Japan 2026 Hackathon
2026年11月・大阪会場
nuri
メイク動画をレシピに変え、インカメラに映る自分の顔に塗る範囲を重ねて、1手順ずつ進められるメイクレシピの SNS アプリです。

- ハッカソン
- DevFest GDGoC Japan 2026 Hackathon(2026年11月・大阪会場)
- チーム
- 4人のチーム(KCVLびーよん)
背景
お手本のメイク動画は他人の顔で撮られている。
自分の顔ではどこに、どのくらいの広さで塗ればよいか迷います。手に道具を持ったまま、動画を止めたり戻したりして工程を確かめるのも大変です。nuri は「動画から手順を作る」「共有する」「自分の顔で試す」を1つのメイクレシピでつなぎます。
できること

01
メイク動画から手順のレシピを作る
AI が動画から手順ごとに説明・コスメ・部位・塗る範囲・色を取り出します。内容を直してから投稿できます。

02
自分の顔で1手順ずつ進める
インカメラに映る自分の顔に塗る範囲と色を AR で重ねます。手順を1つずつ進めるので、動画を止めたり戻したりせずに済みます。

03
顔の特徴から合うレシピを探す
写真から顔の特徴を診断して、自分に合うレシピを探せます。

04
保存してフォローする
気に入ったレシピを保存し、投稿した人をフォローできます。
画面の画像は Figma のデザインで、実際のアプリのスクリーンショットではありません。サンプルの人物やコスメの画像は、画像生成 AI で作られたものです。
仕組みのポイント
塗る範囲が自分の顔に沿う
STEP 1
共通の座標に置く
塗る範囲は標準の顔メッシュの UV 座標(顔の表面に貼った共通の座標)に置きます。
STEP 2
本人の顔に合わせる
表示するときにメッシュを本人の顔に合わせます。
STEP 3
範囲が顔に沿って変わる
輪郭やパーツの位置が人によって違っても、範囲が自分の顔に沿って変形します。
構成
Expo(React Native)
1つのコードで iOS・Android・Web に対応します。
MediaPipe Face Landmarker
顔の特徴点を端末の中で追跡します。顔の映像はサーバーに送りません。
Vertex AI(Gemini)
同意したときだけ動画を送り、手順の区間・部位・色・塗る範囲を取り出します。コスメの名前は Google 検索と照らし合わせ、確かめられないものは「未確認」にします。
Cloud Run・Cloud SQL
API と Web 版を Cloud Run で公開し、レシピと手順を Cloud SQL に保存します。
発表スライド
ハッカソンの発表で使ったスライドです(表紙と最後の1枚を除く)。

1 / 10課題:メイク動画を見ても、自分の顔のどこに塗ればいいか分からない
使った技術
- Expo・React Native
- MediaPipe Face Landmarker
- React Native Skia
- Hono
- Vertex AI(Gemini)
- Cloud Run・Cloud SQL・Cloud Storage
- PostgreSQL
- Drizzle ORM
- Better Auth
- OpenTofu
- GitHub Actions
構成図はチームのリポジトリの README の図です。ロゴは svgl・devicon・gilbarbara/logos のもので、各社の商標です。

