2026-11-12 05:20:48
icon loading...

Tree-Ising 연구: 큐원3.5 모델 가중치 수정으로 수학 정답률 69.4% 달성

摘要
Tree-Ising 연구진은 큐원3.5-2B 모델의 BF16 가중치를 수정한 결과, GSM8K에서 정답률이 69.4%까지 상승했다. 기존 모델은 21.6%에 불과했으며, 이는 반복 출력을 줄이고 답변 방향성을 강화한 방법론의 효과로 분석된다.

Tree-Ising 연구팀은 큐원(Qwen) 3.5-2B 모델의 일부 BF16 가중치를 조정한 결과, 수학 문제 벤치마크인 GSM8K에서 정답률이 69.4%에 달하는 성과를 기록했다. 이는 동일 조건 하에서 원본 모델의 정확도 21.6%와 비교해 극적인 개선이다. 해당 연구 결과는 QDeep 및 ITMO대 LEAD 연구진이 11월 10일 arXiv에 공개한 사전논문을 통해 확인됐다.

연구진은 GSM8K 시험 세트 중 1,319개 문제를 사고 모드와 탐욕적 디코딩 방식으로 처리했으며, 출력 길이는 8,192토큰으로 제한했다. 초기 200개 문제 분석을 통해 탐욕적 디코딩이 모델의 주요 난관임을 확인하고, 이를 평가 기준으로 채택했다. 나머지 1,119개 문제에서도 수정 모델은 69.6%의 정확도를 보였고, 기준 모델은 21.6%에 머물렀다. 전체 평가 과정에서 토큰 한계에 도달한 비율은 77.9%에서 26.7%로 감소했으나, 기존에 맞힌 285개 문제 중 38개는 수정 후 오답으로 전환되기도 했다.

수학 문제 해결 능력 향상의 기술적 원리

이번 연구에서는 모델 재훈련 없이 저장된 BF16 가중치 일부를 수정하는 접근법을 사용했다. 가중치의 부호를 반전하거나 지수 값을 제한된 범위 내에서 조정함으로써 반복 출력 현상을 완화하고, 올바른 추론 경로를 유도하는 방향성을 강화했다. 연구진은 가중치 수정 여부를 출력 행별 이진 최적화 문제로 변환하고, 이진 선택지를 위한 수학적 표현으로 Ising 모델과 QUBO(이차 무제약 이진 최적화)를 활용했다.

주요 실험 결과는 GPU 환경에서 시뮬레이티드 어닐링과 시뮬레이티드 바이퍼케이션이라는 양자 영감 최적화 기법을 통해 도출됐다. 이는 실제 IBM 양자컴퓨터를 사용한 실험과 구분되는 독립적 접근이다.

큐원 3.5-0.8B 모델의 MATH-500 평가(4회 생성 기준)에서 시뮬레이티드 어닐링은 54.6%, 시뮬레이티드 바이퍼케이션은 55.1%의 점수를 기록했다. 같은 절차로 측정된 에이전트 수정 모델은 51.7%였다. 기준 모델의 7.9%는 본 연구진이 직접 재측정한 값이 아닌 기존 선행 연구의 수치다.

최적화 기법 간 성능 비교

연구진은 다섯 가지 수학 평가에서 두 가지 최적화 방식 모두 에이전트 수정 모델보다 높은 정확도를 달성했다고 밝혔다. 특히 MATH-500과 GSM8K에서 다중 비교 기반 통계적 유의미성도 확인됐다. MATH-500의 100개 문제는 초기 검토용으로 사용되었고, 나머지 400개 문제에서는 시뮬레이티드 어닐링이 53.8%의 정확도를, 에이전트 수정 모델은 50.8%를 기록했다.

기존 MIT 연구진은 AI 에이전트를 활용해 반복 출력을 분석하고 가중치를 조정한 바 있으며, 그 결과 MATH-500 점수가 7.9%에서 48.1%로 상승했다고 발표한 바 있다. 이번 연구의 0.8B 실험은 이전 에이전트가 선정한 층을 재사용했지만, 2B 실험에서는 수정 전 모델만으로 적합한 층과 수정량을 자동 선별했다.

비용 효율성과 연구 범위의 한계

논문 내 비용 분석에 따르면, Tree-Ising의 0.8B 모델 절차 한 번 실행에는 순전파 요청 4회, 약 31분 소요, 비용은 약 0.90달러(1,200원)였다. 반면 기존 에이전트 기반 수정 탐색은 순전파 요청 50회, LLM 대화 158회, 총 8,970만 토큰 처리, 약 15.6시간, 312달러(41만 7천 원)가 필요했다. 이는 기존 에이전트의 탐색 과정과 Tree-Ising의 고정 절차 1회 실행을 비교한 결과이며, 양쪽 방법의 개발 비용은 이번 계산에서 제외됐다.

IBM Heron 양자컴퓨터 실험은 변수 8개만을 추출한 개념 검증 수준이며, 연구진은 전체 모델 적용 후 정확도를 측정하지 않았다. 또한 이번 연구의 평가 범위는 큐원 3.5 계열의 두 모델에 대한 수학 문제 해결 능력과 반복 출력 현상에 국한되어 있으며, 일반 언어 능력이나 다른 모델 계열에서의 동일 효과 여부는 평가되지 않았다.

声明:文章不代表币圈网观点及立场,不构成本平台任何投资建议。投资决策需建立在独立思考之上,本文内容仅供参考,风险自担!转载请注明出处!侵权必究!
币圈快讯
查看更多
回顶部