하드웨어 자원과 응답 요구에 맞춘 기능별 처리 위치 분리

VIORA에는 두 가지 기능이 필요했습니다. 상체 높이의 장애물을 감지해 위험을 알리는 기능과, 음성으로 질문하면 AI 답변을 들려주는 기능입니다. PoC를 진행하면서 STT·LLM·TTS를 어떤 구성으로 처리할지 검토했습니다.

개발 대상 하드웨어는 오디오 처리에 쓸 자원이 부족했고 응답도 느렸습니다. 이 사양으로는 오디오 처리 모델을 돌리기 어렵다고 봤습니다. 스마트폰에서는 자원 문제가 없었고 응답도 더 빨랐습니다.

위험물 감지는 실시간으로 판단하고 안내해야 했습니다. 그래서 두 기능을 한곳에서 처리할지, 나눠서 처리할지 정해야 했습니다.

온디바이스, BLE, Wi-Fi, 스마트폰을 쓰는 네 가지 구성을 비교하는 테스트를 직접 설계하고 측정했습니다.

비교 결과를 바탕으로 기능마다 처리 위치를 나누자고 제안했습니다.

분리 방안은 제가 제안했고, 최종 결정은 펌웨어 담당 개발자와 함께 내렸습니다.

• 비교 테스트는 설계부터 측정까지 제가 혼자 했습니다. 하드웨어 자원과 응답 속도를 확인한 내용을 근거로 처리 위치 분리 방안을 냈습니다.
• 다른 개발자와 논의한 끝에 위험물 감지는 온디바이스에서, 음성 LLM 질의응답은 Wi-Fi로 연결한 스마트폰에서 처리하기로 했습니다.
• 저는 Mentra Bluetooth SDK로 디바이스 연결 설정을 만들고 React Native 앱을 맡아 STT·TTS·LLM 기반 질문·답변 기능을 구현했습니다.
• 펌웨어 개발은 다른 개발자가 맡았고, 저는 처리 구성 비교와 앱 개발을 맡았습니다.

위험물 감지는 온디바이스, 음성 질의응답은 스마트폰에서 처리하도록 기능별 처리 위치를 함께 결정했습니다. 제가 맡은 앱에는 디바이스 연결 설정과 음성 질의응답 기능을 구현했습니다.

비교 테스트에서는 스마트폰에서 처리하는 구성이 대상 하드웨어보다 응답이 빨랐고, 이 결과가 분리 방안의 근거가 됐습니다.