배달 리뷰 답글과 상품 매칭, AI에게 맡겨봤습니다 — YG-POS AI

배달앱 리뷰에 매일 답글을 다는 건 생각보다 손이 많이 가는 일입니다.

리뷰는 하루에도 몇 건씩 쌓이고, 답글은 매번 새로 써야 하고, 손님이 남긴 말투를 곱씹어 답할 시간은 늘 부족합니다.

YG-POS AI와 장사똑똑 백오피스는 이 화면에 AI를 붙여, 리뷰를 읽고 답글 초안을 먼저 채워 두도록 했습니다.

이번에 쓴 모델은 국산 LLM인 Upstage Solar Open2입니다.

2026년 7월 중순 프라이빗 베타 키를 받아 실제 운영 화면에서 테스트했고, 8월 2일 자정부터는 이 모델을 더 이상 쓸 수 없습니다.

그래서 이 글은 벤치마크가 아니라, 국산 LLM을 매장 화면에 실제로 붙여 볼 때 무엇을 먼저 정해야 하는지 남겨 두는 기록에 가깝습니다.

한국어 메뉴명과 구어체 리뷰를 다루는 화면에서, 결과는 사용자에게 그대로 보여도 될 수준이었습니다.

다만 아직 주 모델을 바꾸지는 않았습니다. 판단은 8월 3일 Pro 4로 같은 화면을 한 번 더 돌려본 뒤에 하기로 했습니다.

고지

2026년 7월 중순 Upstage에서 Solar Open2 프라이빗 베타 키를 무상으로 받았습니다.

대가나 사전 검토는 없었고, 이 글도 Upstage와 관계 없습니다.

테스트는 지인의 매장 1곳에서 진행했습니다.

어디에 붙였나

YG-POS AI와 장사똑똑 백오피스의 두 화면입니다.

데모를 새로 만들지 않고, 이미 사장님들이 쓰고 있는 화면에 그대로 연결했습니다.

한 번의 그럴듯한 답변보다, 실제 운영 데이터에서 며칠을 버티는지가 더 중요하다고 봤습니다.

좋았던 점 세 가지

1. 한국어가 번역투가 아니었다.

가장 크게 체감한 지점입니다.

영어권 모델을 한국어로 쓸 때 나오는 어색한 조사·문말 처리가 답글 초안에서 거의 보이지 않았습니다.

아래는 같은 화면에서 나온 초안입니다.

안녕하세요, 소중한 리뷰와 의견 감사합니다. 크리미어니언 치킨에 생양파 토핑이 부족하셨다니 죄송합니다. 추가 토핑 가능 여부를 매장에 확인 후 안내드리겠습니다.

사장님이 그대로 등록해도 어색하지 않은 수준이었고, 이 한 가지 때문에 감정 분석을 실험이 아니라 실제 화면에 남겨 두기로 했습니다.

2. 메뉴 도메인 어휘를 알고 있었다.

한국 배달앱 상품명은 「1인분」「곱빼기」「세트」「추가」가 뒤섞인 표기입니다.

이름이 비슷한 정도만 보는 방식으로는 「치즈볼」과 「치즈볼 3개」를 같은 상품으로 묶기 어려웠습니다.

AI의 매칭 제안과 수량 변형 예외를 같이 둔 뒤에야 이 케이스를 운영 규칙으로 받을 수 있었습니다.

3. 응답 형식이 깨지지 않았다.

정해진 형식대로 답이 돌아오지 않아 다시 불러야 하는 경우가 거의 없었습니다.

감정 분류, 상품 매칭, 답글 초안 모두 같은 방식으로 동작합니다.

사용자가 화면 앞에서 기다리는 기능이라, 응답이 늦어지면 곧 이탈로 이어집니다.

그래서 업로드가 끝나기를 기다리게 하지 않고, 한 번에 몰아서 부르지 않고 나눠서 처리하기 때문에 POS에서 업로드하는 동안 화면이 멈추지 않습니다.

아쉬웠던 점 세 가지

1. 신뢰도 점수만으로는 판단하기 어려웠다.

AI가 매기는 점수는 정답률과 항상 같지는 않았습니다.

그래서 점수만 보지 않고, 이름이 비슷한 정도와 묶음 규칙을 함께 확인합니다.

수량만 다른 경우(치즈볼 / 치즈볼 3개)는 같은 상품으로 묶어 두었습니다.

점수가 낮으면 연결하지 않고 참고로만 보여준 뒤, 사장님이 직접 고르거나 새 메뉴를 등록하도록 안내합니다.

2. 세트 메뉴는 사람 확인이 필요했다.

채널에는 세트나 옵션이 길게 붙어 있는데, POS에는 단품만 등록돼 있는 경우가 있습니다.

이럴 때 AI는 가장 비슷한 단품을 후보로 보여주고, 최종 선택은 사장님이 합니다.

세트 메뉴를 POS에 미리 등록해 두면 이 과정이 더 정확해집니다.

3. 별점과 리뷰 내용이 다를 때도 있었다.

별점만으로는 리뷰의 진짜 의도를 알기 어려운 경우가 있었습니다.

그래서 화면에는 감정과 별점을 나란히 보여주고, 최종 판단은 사장님이 하도록 뒀습니다.

리뷰 본문이 비어 있으면 AI를 부르지 않고 별점만으로 판단합니다.

답글은 초안까지만

리뷰에 적힌 "양파가 좀 적어요" 같은 말을 알아듣고, 답글 초안에 그 대목을 짚어 줍니다.

문장이 길거나 딱딱하면 사장님이 그 자리에서 고치면 됩니다.

초안과 게시를 분리해 뒀기 때문에, 톤이 과하거나 내용이 틀려도 매장에서 막을 수 있습니다.

사장님이 확인 버튼을 누르기 전까지는 채널에 실제로 올라가지 않고, 테스트 모드에서는 그마저도 등록 없이 화면 흐름만 확인합니다.

이렇게 설계했습니다

업로드 응답과 AI 호출은 같은 요청에 묶지 않았습니다.

POS 업로드가 AI 응답을 기다리면 매장 화면이 그대로 멈추기 때문입니다. 한 번에 몰아서 부르지 않고 나눠서 처리하기 때문에, POS에서 업로드하는 동안 화면이 멈추지 않습니다.

런당 호출 수와 일일 한도, 타임아웃은 붙이기 전에 먼저 정해 뒀습니다.

나중에 정하면 이미 요금이 나간 뒤이기 때문입니다.

매칭과 답글은 제안·초안까지만 만들고, 최종 확정은 항상 사장님 몫으로 남겨 뒀습니다.

자동으로 확정해 버리면 AI 품질이 아니라 사고 확률을 관리해야 하기 때문입니다.

밖으로 나가는 데이터

개인정보는 보내지 않습니다.

실제로 밖으로 나가는 정보와 나가지 않는 정보는 아래와 같습니다.

결과는 서버 DB에만 저장하고, 채널에 직접 쓰지 않습니다.

Pro 4 전환 계획

우리는 당시 기준으로 아직 전환 전이었습니다. solar-open2는 안내상 지원이 종료된 모델이며, 이 글은 베타 적용 기록으로 남겨 둡니다.

Pro 4 전환 안내는 Solar Pro 4 AI 모델 안내를 참고하세요. 이 글은 Open2 베타 적용 기록입니다.

참고: Upstage API 문서

한 달 전만 해도 이 화면들에는 규칙 기반 매칭과 별점 휴리스틱만 있었습니다.

지금은 초안이 먼저 채워져 있고, 사장님은 고치기만 하면 됩니다.

국산 모델로 여기까지 왔다는 게 이번 베타에서 가장 기억에 남는 부분입니다.

리뷰 답글과 상품 매칭에 AI를 붙인 화면은 YG-POS AI에서 직접 써 볼 수 있습니다.

관련: AI 비서 · Solar Pro 4 안내 · 시작하기
문의: 게시판 · 문의