Bonsai 27B 정리 — 폰에서 돌아가는 27B급 온디바이스 LLM (2026-07)

본 글은 2026년 7월 14일 PrismML이 공식 발표한 Bonsai 27B의 스펙과 도입 판단 기준을 정리합니다. Bonsai 27B는 Qwen3.6 27B를 베이스로 한 멀티모달 모델이며 1-bit·ternary 양자화를 통해 스마트폰과 일반 노트북에서 27B급 추론을 실행하도록 설계된 온디바이스 LLM입니다.

기준 시점: 2026-07-14. 참고 스펙과 벤치마크는 PrismML 공식 발표 페이지 기준이며 라이선스는 Apache 2.0입니다.

1. Bonsai 27B 개요

Bonsai 27B는 PrismML이 앞서 공개한 저비트 양자화 계열의 확장판입니다. PrismML 공식 발표에 따르면 이전 릴리즈는 1-bit 및 ternary 가중치로 상용 언어 모델이 가능함을 실증했고, 이번 27B 모델은 그 프론티어를 다단계 추론과 툴 호출, 비전 처리, 그리고 컴퓨터-사용(agentic) 루프까지 확장했습니다.

27B급 모델을 로컬에 배포하는 것은 지금까지 실용적이지 않았습니다. PrismML 발표 기준 27B 모델은 16-bit 정밀도에서 약 54GB, 4-bit 빌드에서도 약 18GB 메모리를 차지해 대다수 스마트폰과 노트북의 예산을 초과했습니다. Bonsai 27B는 이 지점을 해결하려는 시도입니다.

• 베이스: Qwen3.6 27B (PrismML 발표 기준)
• 멀티모달: 언어 + 비전 (비전 타워는 4-bit로 별도 압축)
• 컨텍스트: 262K 토큰
• 가속: speculative-decoding (드래프트-검증 방식) 지원
• 라이선스: Apache 2.0

2. 두 변형 — Ternary와 1-bit

PrismML 발표에 따르면 Bonsai 27B는 목적이 다른 두 변형으로 배포됩니다. 언어 네트워크 전체(임베딩, 어텐션, MLP, LM 헤드)가 저비트 표현으로 관통되며 고정밀 우회 경로는 없다고 명시되어 있습니다.

2-1. Ternary Bonsai 27B — 품질 우선

Ternary 변형은 가중치를 {−1, 0, +1} 세 값으로 표현하고 FP16 그룹 스케일링을 결합합니다. PrismML 공식 스펙 기준 실효 비트폭은 가중치당 1.71 bit이며 총 용량은 5.9GB입니다. 이 용량은 일반 노트북 메모리에 담아 추론, 툴 호출, agentic 루프까지 온전히 돌릴 수 있는 수준입니다.

2-2. 1-bit Bonsai 27B — 풋프린트 우선

1-bit 변형은 가중치를 {−1, +1} 두 값으로 표현하고 동일한 그룹 스케일링을 사용합니다. PrismML 발표 수치 기준 실효 비트폭은 가중치당 1.125 bit, 총 용량은 3.9GB입니다. PrismML은 이 용량이 iPhone 17 Pro의 메모리 예산 안에 들어간다고 명시했고, 27B급 모델이 스마트폰에서 실행되는 첫 사례로 소개했습니다.

3. 벤치마크 유지율

공식 발표에는 지식·수학·코딩·명령 준수·툴 호출·비전을 아우르는 15개 벤치마크 스위트가 사용되었습니다. thinking 모드에서 측정된 값이며, 원본 Qwen3.6 27B 대비 유지율은 Ternary Bonsai 27B 95%, 1-bit Bonsai 27B 90%로 PrismML 발표 기준에 명시되어 있습니다.

• 수학 (GSM8K/MATH-500/AIME25·26): Qwen3.6 95.3 → Ternary 93.4 → 1-bit 91.7 (PrismML 발표 기준)
• 코딩 (HumanEval+, MBPP+, LiveCodeBench): 88.7 → 86.0 → 81.9
• Agentic·툴 호출 (BFCL v3, TauBench): 80.0 → 74.0 → 66.0
• 명령 준수 (IFEval, IFBench): 78.4 → 71.8 → 65.8
• 지식·STEM (MMLU-Redux, MuSR): 83.1 → 77.0 → 73.4
• 비전 (MMMU Pro, OCRBench): 72.6 → 65.2 → 59.6
• 15개 종합 평균: 85.0 → 80.5 → 76.1

수치를 그대로 읽으면 수학·코딩은 유지율이 상대적으로 높지만 agentic·툴 호출과 비전은 낙폭이 큽니다. 이 점은 3장 이후의 도입 판단에서 결정적인 신호로 작용합니다.

4. 왜 지금 중요한가

온디바이스 LLM은 크게 세 가지 문제를 건드립니다. 첫째는 프라이버시로, 사용자 데이터가 단말을 벗어나지 않는 흐름을 만들 수 있습니다. 둘째는 지연으로, 왕복 네트워크가 사라지면 UI 응답성이 크게 달라집니다. 셋째는 원가로, 사용량 폭증 시 API 호출당 비용이 서비스 마진을 잠식하는 구조에서 벗어날 여지가 생깁니다.

지금까지 27B급 모델은 사실상 서버 전용이었습니다. 4-bit 양자화를 써도 약 18GB를 요구했기 때문에 프리미엄 노트북에서도 벅찼습니다. Bonsai 27B는 이 임계값을 5.9GB 또는 3.9GB로 낮춰 온디바이스 배포의 실용 구간에 27B급을 처음 편입시켰다는 점에서 신호가 있습니다.

5. 도입 시 고려할 트레이드오프

발표 수치만 보고 도입을 결정하기보다는 실제 워크로드에 맞춰 계산해 보아야 합니다. 아래 항목은 자체 검토 시 반드시 짚어야 할 지점입니다.

5-1. 벤치마크와 실제의 간극

PrismML 벤치마크 기준 종합 유지율은 90~95%이지만 agentic·툴 호출 유지율은 1-bit 변형에서 66.0으로 원본 80.0 대비 폭이 큽니다. 여러 단계에 걸친 툴 호출이 필수인 서비스라면 이 손실이 최종 성공률에 곱해집니다. 도입 전 자체 시나리오로 재측정하지 않으면 벤치 낙관에 갇힐 위험이 있습니다.

5-2. 메모리 이외의 자원

PrismML 발표에는 용량과 벤치마크 유지율이 명시되어 있지만 배터리 소모, 발열, 지속 추론 시 스로틀링에 대한 수치는 이번 발표에 포함되지 않았습니다. iPhone 17 Pro에서 실행 가능하다는 문구는 메모리 예산 기준의 표현으로 이해해야 하며 지속 사용성은 별도 검증이 필요합니다.

5-3. 라이선스와 공급망

Apache 2.0으로 상업 사용은 자유롭습니다. 다만 베이스가 Qwen3.6이므로 파생 사용 시 원 모델의 정책과 데이터셋 관련 조항을 함께 확인해야 합니다. 규제 산업(금융·의료·공공)이라면 데이터가 단말에 머문다는 점이 오히려 감사 관점의 새 요건을 만들 수 있습니다.

6. 어떤 팀이 채택할 만한가

PrismML이 제시한 스펙과 유지율을 그대로 받아들이더라도, 채택 여부는 사용 패턴에 따라 갈립니다. 아래 체크리스트는 팀 회의에서 즉시 활용할 수 있도록 정리한 판단 가이드입니다.

1. 사용량이 API 청구서로 매월 유의미하게 잡히는가 (온디바이스 전환의 원가 이득이 큰 구간)
2. 수학·코딩·요약처럼 단일 턴 중심 워크로드가 주력인가 (벤치 낙폭이 작은 영역)
3. 이용자 단말이 최신 프리미엄 기기(iPhone 17 Pro급 또는 동급 안드로이드) 이상으로 균질한가
4. 프라이버시가 서비스 가치에 실제로 반영되는 도메인인가 (건강·금융·문서 등)
5. 오프라인 사용 시나리오가 매출·리텐션에 유의미한가

다섯 항목 중 3개 이상 해당하면 실증 파일럿을 붙일 가치가 있습니다. 반대로 다단계 툴 호출 중심 서비스이거나 저사양 단말 비중이 높다면 서버 추론과의 하이브리드 설계가 더 안전합니다. 온디바이스 LLM은 서버 대체가 아니라 요청 라우팅의 새 축이라는 관점이 현실적입니다.

7. 관련 글

Bonsai 27B와 함께 살펴보면 좋은 기존 정리 글입니다. 오픈 모델 도입 신호와 개발 스택 전환의 판단 기준을 다룹니다.

• 서버측 오픈 모델 도입 신호와 온디바이스 대비 지점 확인: Hy3 정리 — 텐센트 Hunyuan 295B MoE 오픈모델 도입 신호 (2026)
• 백엔드 스택 전환 판단 기준의 참고 사례: TypeScript 7.0 공식 출시 정리 — Go 네이티브 컴파일러와 백엔드 팀 도입 기준
• 오픈 하드웨어·엣지 방향의 최근 시그널을 함께 보고 싶다면: OpenWrt One 정리 — 89달러 오픈 하드웨어 라우터가 개발자에게 남기는 신호

---

📌 함께 보시면 좋은 글

• 개발자 커리어 체크리스트 →
• 개발 커리어 결정 가이드 →

※ 본 글은 AI(Claude)의 초안을 기반으로 편집자 검수를 거쳐 발행되었습니다. (한국 AI기본법 대응 고지)