이정우 Jeongwoo “Joey” LeeJeongwoo “Joey” Lee 이정우

Physical AI · 로봇 소프트웨어 엔지니어Physical AI · Robotics Software Engineer

✉ jwlee8403@gmail.com ☎ +82-10-9989-8403 in jeongwoolee970515 ◆ Physical AI Portfolio ◇ Game Development Portfolio ⌥ GitHub · 팀 orgteam org
이정우 · Jeongwoo Lee

자기소개Profile

Utah 대학교 Games 학사(GPA 3.98/4.00, 2024)를 마친 뒤 Physical AI·로보틱스로 영역을 확장해 온 엔지니어입니다. 게임·3D에서 쌓은 공간 감각과 실시간 렌더링 경험을 MuJoCo 디지털 트윈·three.js·비전(MediaPipe·YOLO) 기반의 물리 시스템 구현에 연결하고 있습니다. Addinedu Physical AI 1기에서 Gesto → 주차 IoT → ShopPinkki → pingdergarten(EduPing) 네 차례의 팀 프로젝트를 수행하였으며, 매번 데스크톱/브라우저 UI·비전 파이프라인·로봇 연동 구간을 맡아 팀 통합을 이끌었습니다. 센서·비전 입력을 제어·UI까지 실시간으로 잇는 closed-loop 구현과 시뮬레이션에서 검증한 뒤 실물 하드웨어로 올리는 sim-to-real 워크플로에 강점을 보유하고 있습니다. 비전 기반 자율 시스템·항공/필드 로보틱스 연구 문화에서 인턴십·협업 기회를 찾고 있습니다. 상세 역할·데모·팀 발표 자료는 Physical AI Portfolio에 정리하였고, 게임·3D 작업은 Game Development Portfolio에서 확인하실 수 있습니다. After a B.S. in Games (GPA 3.98/4.00, Utah, 2024), I expanded into Physical AI and robotics. I connect spatial intuition and real-time 3D from games to systems that perceive and act in the physical world — MuJoCo digital twins, browser 3D (three.js), and vision (MediaPipe, YOLO). In Addinedu Physical AI cohort 1 I shipped four team projects — Gesto → parking IoT → ShopPinkki → pingdergarten (EduPing) — each time owning the desktop/browser UI, vision pipeline, and robot integration layer for the team. I’m strongest at closed-loop builds that tie sensing and vision to control and UI in real time and a sim-to-real workflow — validate in simulation or bench, then bring behavior onto hardware. I’m seeking research internships in vision-based autonomous systems and aerial/field robotics research culture. Detailed roles, demos, and team decks live on my Physical AI Portfolio; game and 3D work is on the Game Development Portfolio.

핵심 기술Core Skills

Robotics · ROS
ROS 2 (Jazzy)MoveItMuJoCoTRAC-IKNav2py_trees (BT)TFURDFDockerCI (GitHub Actions)
시뮬레이션Simulation
MuJoCo (digital twin)GazeboGazebo
AI · Vision
MediaPipeYOLOv8ByteTrackReID (OSNet/torchreid)InsightFaceLSTMOpenCVPyTorchTensorFlow/Keras
SW · 언어SW · Languages
PythonC/C++TypeScript/JSFastAPIWebSocketSQLAlchemy/PostgreSQLVue 3
3D · 그래픽3D · Graphics
three.jsMayaZBrushSubstance PainterSubstance DesignerUnreal Engine (Blueprint)하드서피스·환경 아트Hard-surface & Environment Art
Embedded · Tools
ESP32Raspberry Pi 5Intel RealSense (D435)LiDARNCNNGitLinux
Languages
한국어 (모국어)Korean (native)영어 (업무 가능, 미국 학사)English (professional — U.S. degree)

연구 관심사Research Interests

프로젝트 (Addinedu Physical AI 1기)Projects (Addinedu Physical AI, Cohort 1)

Gesto
Gesto — Hands-Free Control
Gesto — LSTM 제스처 인식 인터랙션딥러닝
2026.01.29 – 2026.02.06
발표·강의 중 손이 키보드/마우스에 묶이는 문제를 줄이기 위해, 웹캠 비전 인식→추론→제어 closed-loop(MediaPipe→LSTM→pynput)로 PPT·YouTube를 핸즈프리 제어하는 데스크톱 앱을 구현하였습니다. PyQt6 애플리케이션·데이터셋 수집 도구·추론 파이프라인을 담당하였으며, 팀과 함께 8일 만에 제스처 인식 프로토타입을 완성·시연하였습니다 (deeplearning-repo-4).
  • MediaPipe 21-pt + LSTM 파이프라인을 구축하였고, 트리거·모드별 검출·신뢰도 임계값을 설정하였으며, pynput으로 PPT/YouTube 단축키를 매핑하였습니다.
  • PyQt6 UI(약 1,600라인 이상)를 개발하였고, 웹캠·모드·게이지 UI를 포함하며, camera/trigger/detection 워커 스레드로 UI 멈춤 현상을 방지하였습니다.
  • 팀과 함께 6,276개의 `.npy` 시퀀스(**30×21×3**)를 수집·부분 학습하였으며, 발표 자료 기준 평균 F1 약 74%(Swipe Left 약 0.89)를 달성하였습니다.
Tech
PythonPyQt6MediaPipeLSTMOpenCVpynput
Gesto — LSTM Gesture-Recognition InteractionDeep Learning
29 Jan – 6 Feb 2026
To free presenters from keyboard/mouse during talks, we built a desktop app with a vision → inference → control closed loop (MediaPipe→LSTM→pynput) on a webcam for hands-free PPT/YouTube control. I owned the PyQt6 shell, dataset tooling, and inference pipeline; the team shipped and demoed the gesture prototype in eight days (deeplearning-repo-4).
  • MediaPipe 21-pt + LSTM pipeline — trigger, per-mode detection, confidence thresholds; pynput maps to PPT/YouTube.
  • PyQt6 UI ~1,600+ lines — webcam, modes, gauge; camera/trigger/detection worker threads keep the UI responsive.
  • With the team, collected 6,276 `.npy` sequences (**30×21×3**) and partial training — deck ~74% avg F1 (Swipe Left ~0.89).
Tech
PythonPyQt6MediaPipeLSTMOpenCVpynput
실물 로타리 주차타워 프로토타입 — ESP32·번호판 인식
실물 로타리 주차타워 프로토타입 · ESP32-CAM·RFID·서보Real rotary parking-tower prototype · ESP32-CAM · RFID · servo
오주의 마법사 — 스마트 주차 IoTIoT
2026.02.23 – 2026.03.04
실물 미니 로타리 주차타워 프로토타입 위에서 다중 센서·카메라 인식 파이프라인(ESP32-CAM·IR·RFID)과 주차 안내 타워·게이트, PyQt6 관제실을 구축하였습니다. ESP32 펌웨어(점유 감지·UDP/TCP)와 관제 UI(멀티캠·LPR·게이트 제어)를 담당하였으며, 팀과 네트워크·하드웨어를 연동한 뒤 데모 주간에 번호판 인식·입출차 시나리오까지 end-to-end로 시연하였습니다 (iot-repo-2).
  • ESP32 주차 안내 펌웨어를 개발하였고, IR 점유 감지, UDP/TCP, 33-byte 패킷, keep-alive PING/PONG을 구현하였습니다.
  • 데모 주간 PyQt6 관제 UI를 구현하였고, 멀티캠·PaddleOCR LPR 다이얼로그·수동 LPR 오버라이드를 지원하였으며, 팀 발표 자료 기준 번호판 인식률 약 94.3%를 기록하였습니다.
  • 로타리 타워 IR 점유 판정, WiFi TCP keep-alive, LCD 피드백과 ESP32-CAM·RFID·서보 게이트를 연결하여 실물 프로토타입에서 입·출차 시나리오를 재현하였습니다.
Tech
ESP32/Arduino (C++)PythonPyQt6TCP/UDPPaddleOCROpenCV
Wizard of Parking — Smart Parking IoTIoT
23 Feb – 4 Mar 2026
On a physical mini rotary parking tower, we built a multi-sensor perception stack (ESP32-CAM, IR, RFID), guidance towers, gates, and a PyQt6 control room. I owned ESP32 firmware (occupancy + UDP/TCP) and the operator UI (multi-cam, LPR, gate control); after wiring the network and hardware with the team, we demoed plate read + entry/exit flows end-to-end in the final week (iot-repo-2).
  • ESP32 parking-guidance firmware — IR occupancy, UDP/TCP, 33-byte packets, keep-alive PING/PONG.
  • Final-week PyQt6 operator UI — multi-cam, PaddleOCR LPR dialogs, manual LPR override; team deck ~94.3% plate read.
  • Linked tower IR occupancy, WiFi TCP keep-alive, LCD feedback, and ESP32-CAM · RFID · servo gates on the physical prototype for entry/exit scenarios.
Tech
ESP32/Arduino (C++)PythonPyQt6TCP/UDPPaddleOCROpenCV
Pinky Pro 쇼핑 카트 로봇
Pinky Pro 쇼핑 카트 로봇Pinky Pro shopping-cart robot
shoppinkki — 스마트 쇼핑 카트 로봇자율주행
2026.04.03 – 2026.04.14
마트 Pinky Pro 쇼핑 카트가 Nav2 위에서 비전 기반 closed-loop person follow 모드로 고객(Owner)을 실시간 추적·추종하도록, YOLOv8→ByteTrack→ReID 기반 타깃 추정→제어 엔진을 담당하였습니다. Raspberry Pi 5에서 실시간 비전·ReID 경량화(NCNN)와 py_trees 행동트리를 연동하여, 혼잡한 매장 환경에서도 카트가 사람을 놓치지 않도록 구현하였습니다 (ros-repo-2).
  • Owner 실시간 추적 엔진을 구현하였고, YOLOv8 + ByteTrack + CNN ReID와 5프레임 Safe-ID 잠금으로 ReID 연산을 줄여 E2E 지연을 최적화하였습니다.
  • ReID 엔진을 재설계하였고, OSNet에서 MobileNetV3 및 색상통계 폴백 구조로 전환하였으며, NCNN 양자화로 Raspberry Pi 5 추론 부하를 경량화하였습니다.
  • py_trees 행동트리(추종·탐색), PID 추종, LiDAR 장애물 회피를 튜닝하였고, TRACKING/LOCKED 등 상태 머신을 확장하였습니다.
Tech
ROS 2 JazzyPyTorch/torchreidYOLOv8OpenCVpy_treesRaspberry Pi 5NCNN
shoppinkki — Smart Shopping-Cart RobotAutonomous Driving
3 Apr – 14 Apr 2026
For the Pinky Pro mart cart on Nav2, I owned a vision-based closed-loop person-follow stack — YOLOv8 → ByteTrack → ReID for real-time target estimation → control that keeps the shopper (Owner) in frame. On Raspberry Pi 5 I tuned real-time vision + NCNN-quantized ReID and wired it into py_trees so the cart keeps the person locked even in a busy aisle (ros-repo-2).
  • Built the real-time owner-tracking engine — YOLOv8 + ByteTrack + CNN ReID, with a 5-frame Safe-ID lock that skips ReID compute to cut E2E latency.
  • Redesigned the ReID engine — OSNet → MobileNetV3 with a color-statistics fallback, plus NCNN quantization to lighten inference on Raspberry Pi 5.
  • Tuned py_trees behavior trees (follow/search) with PID following and LiDAR obstacle avoidance; extended the state machine (TRACKING/LOCKED, etc.).
Tech
ROS 2 JazzyPyTorch/torchreidYOLOv8OpenCVpy_treesRaspberry Pi 5NCNN
EduPing MuJoCo 디지털 트윈 — 파란/빨간 공
MuJoCo 트윈 · 파란 공→빨간 공 수렴 (closed-loop)MuJoCo twin · blue→red ball convergence (closed-loop)
pingdergarten — 교육보조로봇 “EduPing”Physical AI
2026.04.23 – 2026.06.04
OpenArm 양팔 로봇 기반 유치원 교육보조 로봇(EduPing) 프로젝트(6인 팀)에서 브라우저 텔레옵·등원/하원·놀이·학부모 포털 모듈을 담당하였습니다. three.js + WebSocket + MoveIt/TRAC-IK로 교사·학부모가 안전하게 로봇과 상호작용할 수 있는 브라우저 UI와 closed-loop 제어를 구현하였으며, MuJoCo 디지털 트윈으로 sim-before-hardware 방식으로 실물 시연 전 안전·동작을 검증하였습니다 (physical-ai-repo-2).
  • 브라우저 텔레옵·등원 하이파이브 기능을 구현하였고, D435 zstd WebSocket → 브라우저 포인트클라우드, three.js URDF + TRAC-IK→FK 잔차 closed-loop로 손 빗나감을 약 28cm에서 약 2cm로 줄였습니다.
  • MuJoCo 디지털 트윈으로 어깨 침범·접촉 거리·떨림을 자동 측정하여 안전을 검증한 뒤 실물 OpenArm으로 시연하였으며, 왼팔 IK 실패를 미러(대칭) 풀이로 해결하였습니다(오차 1.1cm).
  • 무궁화 꽃이 피었습니다 게임을 구현하였고, 6단계 상태 머신, 오디오 단일 시계 박자 변주, 다중 얼굴 등록(InsightFace), SAD 기반 움직임 판정 및 YOLO·ByteTrack을 적용하였습니다.
  • 학부모 포털 일과 보고서를 개발하였고, Vue 3 타임라인과 이중 파싱(JSON→정규식 폴백), LLM(Ollama) ‘골격 고정’ 방식으로 사실 정보는 고정하고 문장만 생성하도록 구성하였습니다.
Tech
ROS 2 JazzyMoveItMuJoCoTRAC-IKthree.jsVue 3 + TypeScriptFastAPIWebSocketMediaPipeD435
pingdergarten — “EduPing” Education Assistant RobotPhysical AI
23 Apr – 4 Jun 2026
Kindergarten assistant robot on a bimanual OpenArm (team of 6) — I owned browser teleop, attendance/play flows, and the parent portal. Built three.js + WebSocket + MoveIt/TRAC-IK browser UX with closed-loop control for teachers and parents, and used a MuJoCo digital twin in a sim-before-hardware workflow to validate safety and motion before field demos (physical-ai-repo-2).
  • Browser teleop & depth high-five — D435 zstd WebSocket → browser point cloud, three.js URDF + TRAC-IK→FK residual closed loop; miss distance from ~28 cm to ~2 cm.
  • Built a MuJoCo digital twin that auto-measures shoulder-ceiling violations, contact distance, and jitter to validate safety before the real OpenArm demo; solved an unsolvable left-arm IK via a mirror-solve (1.1 cm error).
  • Red-light/green-light game — 6-state machine, single-audio-clock tempo variation, multi-face registration (InsightFace), SAD-based motion judging + YOLO/ByteTrack.
  • Parent portal daily report — Vue 3 timeline with dual parsing (JSON → regex fallback) and an LLM (Ollama) “skeleton-lock” generation that fixes facts and only writes the prose.
Tech
ROS 2 JazzyMoveItMuJoCoTRAC-IKthree.jsVue 3 + TypeScriptFastAPIWebSocketMediaPipeD435

학력 · 교육Education

University of Utah
2024년 12월 13일 졸업Dec 13, 2024
B.S. in Games(게임학사) · College of Architecture + Planning · GPA 3.98/4.00 · 졸업증명서(PDF)B.S. in Games · College of Architecture + Planning · GPA 3.98/4.00 · Diploma (PDF)
게임 디자인·3D·실시간 렌더링·팀 프로젝트 중심 커리큘럼을 이수하였으며, 이후 Physical AI·로봇 소프트웨어 구현에 필요한 공간 감각·UI·통합 역량의 기반이 되었습니다.Coursework in game design, 3D, real-time graphics, and team-based shipping — the foundation for my spatial sense, UI work, and integration in robotics today.
Addinedu — Physical AI 부트캠프 1기Bootcamp, Cohort 1
2026.01 – 2026.06Jan – Jun 2026
IoT · 딥러닝 · 자율주행 · Physical AI 분야 팀 프로젝트 4건 수료IoT · Deep Learning · Autonomous Driving · Physical AI (4 team projects)
약 1~6주 주기로 딥러닝(Gesto) → IoT(주차) → ROS 2 자율주행(ShopPinkki) → Physical AI 캡스톤(EduPing) 순으로 난이도를 높여 가며, 인식·임베디드·내비게이션·양팔 로봇 통합을 단계적으로 경험하였습니다.Four ~1–6 week team sprints — DL (Gesto) → IoT parking → ROS 2 follow (ShopPinkki) → Physical AI capstone (EduPing) — stepping through perception, embedded, navigation, and bimanual integration.