구글, 20억 매개변수 AI 비전 모델 훈련

2021년 6월 22일 2MIN READ

 

구글 브레인 연구진은 20억 개의 매개 변수가 포함된 딥러닝 컴퓨터 비전(CV) 모델을 발표했다.이 모델은 30억 개의 영상에 대해 교육을 받았고 이미지넷에서 90.45%의 Top-1 정확도를 달성하며 새로운 최첨단 기록을 세웠다.

연구팀은 arXiv에 발표된 논문에서 모델과 실험을 설명했다.ViT-G/14로 불리는 이 모델은 구글의 최근 비전 트랜스포머(ViT)에 관한 연구에 바탕을 두고 있다.ViT-G/14는 ImageNet, ImageNet-v2 및 VTAB-1k를 포함한 여러 벤치마크에서 이전 최첨단 솔루션을 능가했다.몇 발의 영상인식 과제에서 정확도 향상은 5%포인트 이상이었다.연구진은 또한 성능이 자연어 처리(NLP) 작업에 사용되는 트랜스포머 모델과 유사하게 파워 로 함수를 따른다는 점에 주목하면서, 아키텍처에 대한 스케일링 법칙을 조사하기 위해 몇 가지 더 작은 버전의 모델을 훈련시켰다.

2017년 구글 연구진이 처음 설명한 트랜스포머 아키텍처는 오픈과 함께 NLP 딥러닝 모델을 선도하는 디자인이 됐다.AI의 GPT-3는 가장 유명한 것 중 하나이다.작년, 오픈AI는 이들 모델에 대한 스케일링 법칙을 설명하는 논문을 발표했다.다양한 크기의 유사한 모델을 교육하고 교육 데이터와 컴퓨팅 능력을 변화시킴으로써, 오픈AI는 모델의 정확도를 추정하기 위한 파워 로 함수를 결정했다.추가적으로, 오픈AI는 대형 모델의 성능이 더 좋을 뿐만 아니라 컴퓨팅 효율도 더 높다는 것을 발견했다.

NLP 모델과 대조적으로, 대부분의 최첨단 CV 딥러닝 모델은 경동신경망(CNN) 아키텍처를 사용한다.1989년에 처음 기술된 이 아키텍처는 2012년 CNN 모델이 ImageNet 도전에서 승리한 후 우위를 점했다. 최근 NLP 공간에서 트랜스포머의 성공으로 연구원들은 비전 과제(예: 오픈)에 대한 그것의 성능을 조사하기 시작했다.AI는 최근 GPT-3를 기반으로 한 이미지 생성 시스템을 개발했다.특히 구글은 2020년 말 600M 매개변수 ViT 모델을 양성하기 위해 자사 소유의 JFT-300M 데이터세트를 사용하는 등 이 분야에서 활발히 활동하고 있다.

새로운 ViT-G/14 모델은 약 30억 개의 이미지를 포함하고 있는 데이터셋의 업데이트된 버전인 JFT-3B에 대해 사전 교육을 받았다.연구팀은 ViT 아키텍처를 여러 차례 개선해 이 모델이 단일 TPUv3 코어에 들어갈 수 있도록 메모리 활용도를 개선했다.ViT-G/14와 다른 소형 모델의 성능을 평가하기 위해, 팀은 사전 훈련된 모델에서 몇 번의 촬영과 미세 조정 전송 학습을 모두 수행했다.연구팀은 이 결과를 NLP법과 유사한 스케일링 법률을 제정하는 데 사용했다.

• 멱함수에 따라 컴퓨팅, 모델 및 데이터의 스케일업으로 정확성 향상
• 소형 모델에서는 정확도가 병목 현상을 일으킬 수 있음
• 대규모 데이터셋의 이점을 제공하는 대형 모델

ImageNet 리더보드에는 현재 ViT-G/14의 점수가 1위에 올라 있다.다음으로 점수가 높은 8개 모델도 구글 연구진이 개발했고, 10위 모델은 페이스북이 개발했다.트위터 토론에서 한 사용자는 구글이 ViT-G/14용 코드와 모델 웨이트를 출시할 계획이 있는지 물었다.연구팀의 일원인 루카스 바이어는 이렇게 대답했다.

무게는 확실히 아니야, 내부 데이터에 대해 훈련된 거야!코드, 좋은 질문이야원래 공개되어 있는 ViT 코드와 매우 가깝기 때문에 우리는 계획하지 않았지만, 아마도 거기에 새로운 조각들을 추가하는 것이 좋은 방법이 될 것이다.

구글은 깃허브에서 지난해 600M 변수 ViT 모델의 코드와 무게를 공개했다.

 

원본출처 : https://www.infoq.com/news/2021/06/google-vision-transformer/

 

더 많은 흥미거리를 원하시면 아래 link로 방문해 보셔도 좋을꺼 같습니다.

블로그 사용설명서 for Bb7942(40% 업데이트 진행중_2022.03.16)

Bb7942의 쉽터_함께 성장합시다.