언어모델 (1) 썸네일형 리스트형 AI가 잘 이해·표현하는 언어는? 지표별 측정 방법번역·표현력(표현 정확도) 지표 : WMT 2024 일반 번역 과제(인간/자동 평가, LLM 포함) 결과. Claude 3.5 Sonnet, Unbabel-Tower70B 등이 여러 언어쌍에서 상위권을 차지했고, 언어쌍별 격차가 큽니다. (www2.statmt.org)언어 범위·저자원 영향 : Meta NLLB/FLORES-200(+ FLORES+), 200개 이상 언어 방향에서 번역 품질을 인류/자동으로 측정, 저자원 언어 난이도 확인., 2024 Nature 논문 및 WMT 확장판 자료 포함. (Nature)범용 이해·추론(비번역) 지표 : Google XTREME(40개 언어, XNLI/UDPOS/MLQA 등 복수 과제)와 후속 연구들. 고자원→중자원→저자원으로 갈수록 성능 하락 경.. 이전 1 다음
