본 연구는 사용자의 디지털 행동을 실시간으로 지원하는 지능형 모바일 AI 에이전트 시스템을 제안한다. 사용자의 멀티모달 입력(음성, 터치, UI 이벤트 등)을 바탕으로 현재 상황과 작업 의도를 인식하고, 사용자 반응에 따라 가이드형 또는 자동형 에이전트 페르소나를 실시간 전환하여 작업을 안내하거나 직접 수행한다. 이 시스템은 특히 노인·장애인 등 디지털 취약계층의 자율성과 접근성을 향상시키는 것을 주요 목표로 하였다.

이러한 상호작용을 가능하게 하기 위해, 사용자 시연과 LLM 기반 자동 탐색을 결합한 지식베이스 구축 방법을 제안하였다. LLM은 사용자 입력과 앱 환경 정보를 문맥적으로 해석하여 수행 가능한 작업 시퀀스를 생성하며, 다양한 앱 환경에 적응할 수 있는 실행 계획을 누적 학습한다. 이를 통해 에이전트는 학습되지 않은 새로운 과업에도 유연하게 대응할 수 있다.

이 시스템은 상황 인식 및 작업 계획, 페르소나 결정 및 실행, 작업 피드백 및 재계획의 순환 구조로 이루어져 있으며, 사용자 반응에 따라 상호작용 방식을 동적으로 최적화한다. 결과적으로, 실시간 판단과 사용자 반응을 기반으로 한 페르소나 전환 기술을 결합함으로써, 다양한 디지털 환경에서 범용성과 적응성을 갖춘 사용자 중심의 AI 상호작용 설계 프레임워크를 제시하였다.