엣지 AI 보드 추천: Jetson·Coral·라즈베리 파이 5, 무엇으로 갈리나

클라우드로 영상을 보내 추론하는 방식은 세 가지 벽을 만난다. 지연, 대역폭 비용, 그리고 프라이버시다. 카메라 수십 대의 영상을 계속 올리는 구조는 회선비만으로 감당이 안 되고, 공장이나 매장처럼 외부 전송이 제한되는 환경도 많다.

그래서 현장 단말에서 직접 추론하는 엣지 AI가 필요해진다. 문제는 보드 선택인데, 여기서 연산 성능(TOPS) 숫자만 보고 고르면 대체로 실패한다. 진짜 벽은 성능이 아니라 제약이기 때문이다.

세 후보의 구조적 차이

핵심은 정밀도와 프레임워크 칸이다. 여기서 프로젝트의 성패가 갈린다.

Jetson: 제약이 가장 적다

CUDA를 쓰는 통합 GPU가 들어 있어 데스크톱에서 개발한 PyTorch 모델을 거의 그대로 올릴 수 있다. TensorRT로 변환하면 FP16이나 INT8로 최적화되어 성능이 더 나온다.

# ONNX 모델을 FP16 TensorRT 엔진으로 변환
trtexec --onnx=model.onnx --saveEngine=model.plan --fp16

장점은 자유도다. 커스텀 연산자를 쓰는 모델, 최신 아키텍처, 여러 모델 동시 실행이 가능하다. 영상 디코딩 가속도 내장돼 있어 카메라 여러 대를 다루는 파이프라인에 유리하다.

단점은 비용과 전력, 그리고 발열이다. 배터리로 돌리거나 밀폐된 함체에 넣어야 하는 환경에서는 이 항목들이 결정적일 수 있다.

Coral TPU: 싸고 빠르지만 문턱이 있다

Edge TPU는 완전 INT8 양자화된 TFLite 모델만 실행한다. 이 조건이 생각보다 까다롭다.

# 양자화된 TFLite 모델을 Edge TPU용으로 컴파일
edgetpu_compiler model_int8.tflite

컴파일러가 지원하지 않는 연산자를 만나면 그 지점부터 뒤의 연산이 전부 CPU로 떨어진다. 컴파일은 성공했는데 속도가 기대의 절반도 안 나오는 흔한 원인이 이것이다. 컴파일 로그에서 몇 개의 연산이 TPU에 매핑됐는지 반드시 확인해야 한다.

맞는 경우: MobileNet, EfficientNet-Lite 같은 지원이 검증된 계열의 분류·검출 모델을 낮은 전력으로 돌릴 때. 이 조건에 들어맞으면 전력 대비 성능이 매우 좋다.

안 맞는 경우: 최신 아키텍처, 커스텀 레이어, 양자화 시 정확도 손실이 큰 모델. 이 경우 시간을 오래 쓰고도 결국 못 올린다.

라즈베리 파이 5 단독: 가속기 없이 어디까지

CPU만으로 추론한다. 이전 세대보다 CPU가 크게 빨라져 가벼운 모델은 쓸 만해졌다.

맞는 경우: 초당 몇 프레임이면 충분한 작업(주기적 촬영 후 분류, 사람 유무 감지), 프로토타입, 가속기 없이 되는지 먼저 확인해보는 단계.

안 맞는 경우: 실시간 영상 객체 검출, 여러 스트림 동시 처리.

장점은 생태계다. 자료가 가장 많고, 주변 기기 호환성이 넓고, 문제가 생겼을 때 검색해서 나오는 글이 압도적으로 많다. 처음 시작한다면 여기서 시작해 부족한 것이 확인된 뒤 올라가는 순서가 낭비가 적다.

고르는 순서

숫자 비교보다 이 순서가 실용적이다.

1. 돌릴 모델이 정해져 있는가?
2. 정해져 있고 그것이 MobileNet 계열 → Coral을 먼저 검토
3. 커스텀 모델이거나 아직 바뀔 예정 → Jetson

4. 아직 모르겠다 → 라즈베리 파이 5로 프로토타입

5. 전력 제약이 있는가? 배터리·태양광이면 Coral 조합, 상시 전원이면 Jetson도 후보

6. 필요한 처리량은? 실시간 다중 스트림이면 Jetson, 초당 몇 프레임이면 나머지도 가능

7. 개발 인력의 여유는? Coral은 양자화와 컴파일에 시간이 든다. 일정이 빠듯하면 제약이 적은 쪽이 총비용에서 유리할 수 있다

보드 값보다 개발 시간이 비싼 경우가 많다. 하드웨어 단가 몇 만 원 차이를 아끼려다 양자화 삽질에 2주를 쓰면 손해다.

배포에서 자주 걸리는 것

• 버전 고정: 엣지 보드는 프레임워크·드라이버 버전 조합이 까다롭다. 되는 조합을 찾았다면 이미지로 백업해둔다
• 컨테이너화: 도커로 묶으면 여러 대에 같은 환경을 배포하기 쉽다. 다만 GPU·TPU 접근 설정이 추가로 필요하다
• 원격 업데이트: 현장에 나간 기기를 어떻게 갱신할지 처음부터 설계한다. 나중에 붙이면 훨씬 어렵다
• 발열과 함체: 실측 성능은 냉각에 크게 좌우된다. 밀폐 함체에서는 스로틀링으로 벤치마크 대비 성능이 떨어진다

⚠️ 보드 사양, 가격, 지원 프레임워크 버전은 2026년 8월 기준이며 변경될 수 있다. 실제 성능은 모델·냉각·전원 조건에 따라 크게 달라지므로 도입 전 대상 모델로 직접 측정할 것.