AI 학습용 데이터 3544만건 무료 개방…누구나 활용 가능

과학기술정보통신부와 한국지능정보사회진흥원(NIA)은 27일 이 프로젝트 5개 정예팀이 1차 단계평가 과정에서 구축한 데이터를 AI허브(aihub.or.kr)에 공개한다고 밝혔다.

이번 데이터는 정예팀이 지난해 데이터 구축·가공 예산 150억 원을 통해 확보한 것으로, 사전학습용 대규모 데이터셋부터 영상·음성 등 멀티모달 데이터, 안전성 확보를 위한 레드티밍 데이터까지 포함한다. 토큰 기준 약 1조 5600억 토큰 규모로, 70~80B 수준의 대형 AI 모델 학습이 가능한 양이다.

정예팀별로는 네이버클라우드가 공개 영상 234만 건, 방송 영상 52만 건, 텍스트 1550만 건, 음성 질의응답 1200만 건을 구축했다. 업스테이지는 1조 토큰 규모의 사전학습 데이터와 50만 건의 사후 학습 데이터를 마련했다. SK텔레콤은 수학·과학·법률 등 전문 도메인의 고난도 추론 데이터와 한국형 레드티밍 데이터 약 1만 건을 구축했다.

엔씨에이아이는 제조 분야 기술문서, 민원 상담 음성 등 현장 데이터 기반의 LLM 핵심 역량 데이터 7종을, LG AI연구원은 국내 50개 실제 가정환경에서 50종 이상의 가사 활동을 촬영한 피지컬AI 멀티모달 데이터셋을 각각 확보했다.

NIA와 한국정보통신기술협회(TTA)는 데이터 품질검증, 개인정보·유해성 검증, 라이선스 제약 데이터 제외 등 조치를 거쳐 공개를 진행했다. 사업 공고상 참여조건에 따라 데이터 구축 예산으로 확보한 데이터 중 50% 이상을 개방해야 하며, 네이버클라우드·업스테이지·SK텔레콤·엔씨에이아이는 전체 데이터를, LG AI연구원은 의무량을 준수해 통계적으로 선별한 데이터를 공개했다.

김경만 과기정통부 인공지능정책실장은 "개방된 데이터는 정예팀의 AI 학습 전략이 담긴 자산으로, AI 생태계 성장과 자생력 강화의 밑거름이 될 것"이라고 말했다.