論文

Ketchup As You Like: Drawing Editor for Foods

2021/11 IEEE AIVR 2021 (台湾)

ConferencePaperDemo

3D Mesh Reconstruction of Foods from a Single Image

2021/10 ACM MM 2021 3rd Workshop on AIxFood (中国)

ConferencePaper

Pop'n Food: 3D Food Model Estimation System from a Single Image

2021/9 IEEE MIPR 2021 (日本)

ConferencePaperDemo

Hungry Networks: 3D Mesh Reconstruction of a Dish and a Plate from a Single Dish Image for Estimating Food Volume

2021/3 ACM Multimedia Asia 2020 (シンガポール)

ConferencePaper

CalorieCaptorGlass: Food Calorie Estimation based on Actual Size using HoloLens and Deep Learning

2019/3 IEEE VR 2020(アメリカ)

ConferencePaperDemo

FoodChangeLens: CNN-based food transformation on HoloLens

2018/12 IEEE AIVR(台湾)

ConferencePaperDemo

受賞

電気通信大学 目黒会賞(2022)

電気通信大学 学生表彰(2022)

電気通信大学 学生表彰(2021)

電気通信大学 学生表彰(2020)

電気通信大学 学生表彰(2019)

deim2018 学生プレゼンテーション賞

制作物

TypedSignalR.Client (2021/5)

C#の
Source Generatorを
使った
SignalR Clinetに
強く
型付けする
ための
ライブラリ。

GitHubNuGetBlog

Rayn (2021/4)

画面共有した
際に
ニコニコみたいに
コメント流す
アプリケーション。
サーバは
ASP.NET Core, クライアントは
Unity。
画面共有してる
人は
アプリの
DLが
必要だけど、
視聴者(コメント投稿者)は
ブラウザで
完結。
リアルタイム通信は
SignalR、
DBは
MySQL、
ホストには
Azure App Serviceを
利用。

RaynGitHubBlog
Rayn

Pop'n Food (2020/10)

HungryNetworksの
Web用デモアプリ。
ブラウザ上で
一枚の
食事画像を
入力すると、
写っている
食事の
三次元形状が
復元され、
Web上で
見れる。
フロントは
three.jsと
vue.js, バックが
PyTorchと
Flask。
(後に
Next.jsに
全面的に
書き換えた) IEEE MIPR 2021 demoで
accepted.

YouTubePaper
Pop'n Food

HungryNetworks (2020/3)

一枚の
RGB食事画像から
食事と
食器の
3D Meshを
復元する
陰関数表現を
用いた
手法。
ACM Multimedia Asia 2020(アジアトップレベルの
カンファレンス)で
accepted.

Paper

RxWebSocket (2019/10)

Unity 2018からは
.NET Standard2.0が
使えるので、
websocket-sharpの
バイナリに
依存しないで
良い。
しかし.NET Standard2.0で
提供される
WebSocketの
APIは
非常に
ハンドリングが
しづらい。
そこで
非常に
ハンドリングしやすく、
ほとんどの
ネットワークに
関わる
部分が
スレッドプールで
行われるようにし、
Unityの
メインスレッドを
ブロックしたりしないような
設計の
ものを
作成した。
また
余計な
アロケーションも
可能な
限り発生しないようになっている。
マルチスレッドの
エラーハンドリングは
難しい...

GitHubNuGet

Surveying3D (2019/10)

3Dメッシュの
体積を
求める
ライブラリ/コンソールアプリ(C#)。
boxやsphereなどの
簡単な
モデルではない、
複雑な
形状の
モデルの
体積を
求めるのは
以外と
難しい。
この
ライブラリは
そういった
複雑な
形状の
モデルの
体積を
求める
ことができる
ライブラリ。

GitHubNuGet

CalorieCaptorGlass (2019/9)

深層学習と
HoloLensを
組み合わせて、
実寸を
測定して
実寸サイズに
基づく
カロリー量推定を
行う
アプリ。
IEEE VR 2020 demoで
accepted

GitHubPaper
CalorieCaptorGlass

HomographySharp (2019/1)

C#で
射影変換使うと
便利な
場合が
結構増えてきたので
ライブラリに。
.NET Standard2.0対応なのでわりとどこでも
使える。

GitHubNuGet
HomographySharp

FoodChangeLens (2018/11)

GANに
よる
食事変換を
HoloLens上の
アプリに
組み込んだもの。
眼の
前に
ある
食事を
GANを
用いて
カテゴリーの
変換(白米→カレー etc)。
撮影した
食事画像を
(GPUサーバで
)領域分割、
カテゴリ変換。
変換された
画像を
カメラ行列などを
用いてHoloLensが
生成する
Spatial Mapに
テクスチャと
して
貼り付け、
実際の
食事の
カテゴリが
変換されたように
見える
アプリ。
(動画の
黒い
部分は
実際に
HoloLensで
見ている
場合は
透明)。
IEEE AIVR 2018で
発表。

YouTubePaper
FoodChangeLens

HoloVrmViewer (2018/9)

HoloLens用の
VRMの
Viewer。
株式会社ホロラボで
インターンさせてもらっている
ときに
作成。
ただの
Viewerじゃんと
思われるかもしれないが、
C#の
APIと
UWPの
APIが
色々
違くて
大変だった。
UWPの
IL2CPPが
地獄(1ビルド1時間
コース)。
Twitterで
1万4千回再生!!!

YouTubeTweet
HoloVrmViewer

はむちゃんGo (2018/9)

ハッカソンで
作った2Dゲーム。出来が
良かったので
そのままG
oogle Playに
出した。
appleは
登録料が
高いので
断念。
全体的に
かわいい
感じの
ゲームに
なっている。ちゃんと
ゲームと
して
遊べる
クオリティ。

YouTubeGoogle Play
はむちゃんGo

googleOcrGUI (2018/9)

googleの
OCRの
APIを
叩いて
帰ってくるのが
JSONだったりするわけだが、
どの
場所を
どうゆう
感じに
読み
取ったのか、
そのままでは
大変分かりずらいので
可視化し
修正できるような
ものを
作ってみた。
WPFで
作成。
パワーポイントみたいに
テキストボックスを
動かせるように
工夫してみた。

GitHub

glImshow (2018/3)

OpenCVは
基本的に
優秀なのだが、
描画の
ところだけ
ネックに
なっていて、
リアルタイムな
画像処理を
しようと
思うと
それが
結構ネックに
なってfpsが
落ちる
ことが
多々ある。
なので
OpenGL(freeglut)と
組み合わせて、
その
問題を
解決する
簡単な
ライブラリのような
ものを
作った。

GitHubBlog

face2ramen (2018/2)

CycleGANを
使って
顔を
ラーメンに
変換する
ネタプログラム。
GANすごい。あとで
スタンフォード大学から
講義で
紹介していいかの
メールを
もらった。

GitHubYouTube
face2ramen

STAMP! (2017/11)

床に投影された
画面に
たいして、
腕を
振る、
手を
高く
上げてから
床に
つける、の
3種類の
動作を
して
画面上に
出ている
防衛拠点を
守ると
いう
ゲーム。
Kinectを
使って
骨格情報を
取得して、
それ利用して
3つの
ジェスチャーを
実現している。
想像以上に
Kinectの
精度が
よく、
1台でも
プレイヤーの
トラッキングが
かなり
良い
精度で
出来ている。
学祭で
展示。

YouTube
STAMP!

googleSuggestViewer (2017/9)

googleがの
サジェストワードに
どういう
関連と
頻度が
あるかを
可視化する
ツール。

GitHub
googleSuggestViewer

KIRAPIKA (2017/5)

腕を伸ばすと
その
方向に
ビームが
出て
迫りくる
敵を
倒す
ゲーム。
プレイヤーの
上に
深度カメラを
置いて、
トラッキング、
腕の
検出、
腕の
位置の
特定などを
行っている。
動画では
1人しか
映っていないが
実際には
複数人で
遊べる。
企業の
小さな
展示会で
展示した。

GitHubYouTube
KIRAPIKA

EMS (2016/10)

筋肉を
電気的に
刺激して
衝撃を
与える
デバイス。
衝撃感を
与えたいけど、
操作手法が
ハンズフリーだと
衝撃感を
与えにくい際に
使うと
幸せに
なれるのではと
思い
作った
デバイス。

YouTube
EMS

ゴキブリ倒せ！ (2016/5)

プログラミング始めて
初めてそれらしい
もの
作った
時の
もの。
迫りくる
ゴキブリを
ひたすら
倒していく。
Gの
気持ち
悪さに
拘りアリ。

GitHub