1. 프로젝트 개요

목표

6축 로봇팔 + Edge AI + Agent를 결합하여 USB 삽입 → PC 포맷 → OS 설치를 자율로 수행하는 산업용 엣지 AI 시스템.

핵심 기술

2. 부품 구매 및 하드웨어 현황

2.1 DigiKey 구매 (인보이스 Quest 3 제출)

DigiKey 구매 인보이스는 Quest 3에서 제출합니다.

2.2 추가 구매 (국내)

PCA9685는 RPI4에서 I2C로 6축 서보를 직접 제어하기 위한 필수 부품입니다. 기존 ESP32-S3로도 제어 가능하나, I2C 방식이 펌웨어 개발 없이 Python 라이브러리로 즉시 제어 가능하여 PCA9685를 선택했습니다. 배송 수령 후 즉시 하드웨어 통합에 착수합니다.

2.3 보유 장비 활용

3. 설계 변경 사항 (v1 → v2)

Quest 1 제출 시점의 초기 설계(v1)와 실제 하드웨어 확보 후 변경된 현재 설계(v2)의 차이:

변경의 핵심 원칙

"보유 장비를 최대한 활용하고, 추가 구매는 최소화하여 빠르게 동작하는 프로토타입을 완성한다."

• PCA9685 1개만 추가 배송되면 전체 하드웨어 구성이 완료됨
• 소프트웨어는 시뮬레이션 모드로 하드웨어 도착 전에 전체 로직을 구현 완료

4. 소프트웨어 개발 현황

4.1 구현 완료 항목 (40개 파일, ~317KB)

전체 소프트웨어는 시뮬레이션 모드(SIMULATE_HARDWARE=True)로 하드웨어 없이 개발 및 테스트가 가능하도록 설계했습니다. PCA9685 수령 후 SIMULATE_HARDWARE=False로 전환하면 실제 하드웨어와 즉시 연동됩니다.

Backend (Flask + Socket.IO) - 21 파일

Dashboard (Web UI) - 4 파일

Jetson AI Server (FastAPI) - 7 파일

Firmware - 5 파일

4.2 시스템 아키텍처

┌──────────────────────────────────────────────────────────────────┐
│                    AMFX System Architecture v2                    │
├──────────────────────────────────────────────────────────────────┤
│                                                                   │
│  ┌─────────────────────────────────────────────────────────────┐ │
│  │              Jetson Xavier NX (AI Hub)                       │ │
│  │              AverMedia NX215AG Carrier                      │ │
│  │                                                              │ │
│  │  ┌────────────┐ ┌────────────┐ ┌────────────┐ ┌──────────┐│ │
│  │  │ USB Camera │ │HDMI Capture│ │  YOLO v8   │ │Claude API││ │
│  │  │ (Top View) │ │ (NX215AG)  │ │ Detector   │ │  Agent   ││ │
│  │  └──────┬─────┘ └──────┬─────┘ └──────┬─────┘ └────┬─────┘│ │
│  │         │               │              │             │      │ │
│  │  ┌──────┴───────────────┴──────────────┴─────────────┴────┐│ │
│  │  │              FastAPI AI Server (:8000)                   ││ │
│  │  └────────────────────────┬────────────────────────────────┘│ │
│  └───────────────────────────┼──────────────────────────────────┘ │
│                              │ HTTP/REST                          │
│  ┌───────────────────────────┼──────────────────────────────────┐ │
│  │              Raspberry Pi 4 (Control Hub)                    │ │
│  │                                                              │ │
│  │  ┌──────────────────────────────────────────────────────┐   │ │
│  │  │          Flask + Socket.IO Server (:5000)             │   │ │
│  │  └─────────────────────────┬──────────────────────────────┘   │ │
│  │                            │                                   │ │
│  │    ┌───────────┐   ┌──────┴──────┐   ┌─────────────┐        │ │
│  │    │  PCA9685  │   │   INA219    │   │  RPi Pico   │        │ │
│  │    │  I2C PWM  │   │  I2C 센서   │   │  USB HID    │        │ │
│  │    └─────┬─────┘   └─────────────┘   └──────┬──────┘        │ │
│  │    ┌─────┴─────┐                        ┌────┴─────┐        │ │
│  │    │ MG996R x6 │                        │ Target PC│        │ │
│  │    │ 6축 로봇팔 │                        │ (포맷대상)│        │ │
│  │    └───────────┘                        └──────────┘        │ │
│  └──────────────────────────────────────────────────────────────┘ │
│                                                                   │
│  ┌──────────────────────────────────────────────────────────────┐ │
│  │         Web Dashboard (Socket.IO 실시간 모니터링)              │ │
│  └──────────────────────────────────────────────────────────────┘ │
└──────────────────────────────────────────────────────────────────┘

5. 구현 순서 및 일정

5.1 완료된 작업 (Quest 2 기간: 01.17~02.15)

5.2 남은 작업 및 개발 계획 (Quest 3 기간: 02.16~03.01)

Phase A: 하드웨어 통합 (02.16~02.20, 5일)

현재 전체 소프트웨어가 시뮬레이션 모드(SIMULATE_HARDWARE=True)로 동작 중이므로, PCA9685 수령 즉시 False로 전환하여 실제 하드웨어 연동이 가능합니다.

Phase B: 디바이스 연동 (02.21~02.24, 4일)

Phase C: End-to-End 통합 (02.25~03.01, 5일)

5.3 개발 방식

6. 데모 시나리오

[Phase 1] USB 삽입
  로봇 Home → USB 파지 → Visual Servoing으로 USB 포트 탐지 → 정밀 삽입

[Phase 2] OS 설치
  Pico HID로 타겟 PC 키보드 제어 → BIOS 진입 (F2/DEL)
  → 부팅 순서 변경 → USB 부팅 → Windows 설치 자동 진행

[Phase 3] Agent 자율 판단
  HDMI 화면 캡처 → Claude Vision 분석 → 다음 행동 결정
  → 예상치 못한 상황 발생 시 Agent HIL로 운영자 개입 요청

[Phase 4] 완료
  설치 완료 확인 → USB 제거 → 로봇 Home 복귀
  → 대시보드에 전체 작업 리포트 표시

7. 로봇팔 조립 사진

[사진 첨부 예정] 6축 로봇팔 (MG996R x6) 조립 완료 상태

8. 대시보드 스크린샷

대시보드는 시뮬레이션 모드에서 동작 확인 완료:

• 6축 관절 각도 실시간 표시 (Base, Shoulder, Elbow, W.Pitch, W.Roll, Gripper)
• 서보 전류 / 전압 게이지
• 작업 진행률 (Phase 단위)
• Agent HIL 패널 (AI 질문 → 운영자 응답)
• Cycle Time 트렌드 차트
• Anomaly Log (이상징후 실시간 로그)
• 시스템 상태 바 (RPI4, PCA9685, Jetson NX, Pico HID, INA219)

9. 기술 스택 요약

10. 구매 인보이스

DigiKey 구매 (Quest 1)

DigiKey 구매 인보이스는 Quest 3에서 별도 제출합니다.