A Primer in BERTology: What we know about how BERT works

Key Points

• 현재까지의 다양한 BERT 연구를 자세하게는 아니어도 한 눈에 파악할 수 있다.
• BERT에 대한 새로운 연구를 진행하기 이전에 꼭 이 논문을 읽어보자
• 연구를 하려면 이정도는 논문을 읽어야 하지 않을까

Description

BERT는 19~20년도에 있어서 NLP 연구의 가장 중심이 된 모델이다. 복잡하지 않은 구조에 간단한 튜닝을 통해 여러 테스크에서 좋은 성능을 낼 수 있다는 것은 다양한 NLP 연구에서 BERT를 사용하도록 만들었다. 본 논문은 이렇게 많이 사용되는 BERT에 대한 연구가 어떻게 진행되었고 진행되고 있는지에 대해 정리해놓은 세미나 형식을 띄고 있다. 새로운 아이디어는 마지막에 어떤 방향으로 연구가 진행될 지에 대한 정리를 통해 제안하였지만 BERT에 대한 다양한 연구들을 한 논문에서 파악하고 비교할 수 있다는 것에 그 의의를 둘 수 있겠다. 아래에서는 BERT 연구의 각 주제를 간략하게 정리한 내용을 다루어보겠다.

BERT Embeddings

• 일반적인 WordVec이나 GloVe와는 다르게 BERT는 그 모델의 Output을 Context에 따라 달라지는 Contextualized Embedding으로 사용할 수 있다.
• 각 단어는 Context에 따라 달라지지만 문장의 위치에 의해서 결정될 수도 있다.
• Context의 정보는 BERT의 마지막 Layer에서 가장 중점적으로 나타난다.

What BERT knows

• 보통 빈 값을 채우는 MLM과 Self Attention 등을 통하여 분석한다.

Syntactic Knowledge

• BERT Representation은 Linear보다는 Hierarchical Structure를 띈다

  • Syntactic Tree를 생각하면 좋다.

    

• BERT Embedding에는 Part Of Speech (POS), Syntactic Chunk 등에 대한 정보가 담겨 있다.

  • 하지만 이 정보는 부분적으로 존재하는데, Syntactic Tree에서 다른 Parent Node에 대한 정보를 재구성하지 못하는 것을 통해 설명되었다.

• 보통 Attention을 통해 Syntactic Structure를 분석하려 했지만 사실 정보는 바로 Encode되는 것이 아니라 Input이 Transformation되는 것을 통해 나타난다.

• BERT는 "Ever"과 같이 Negative Polarity Item (NPI)을 잘 학습하지만 순서에 대한 정보는 잘 담지 못했다.

  • 단어의 순서를 바꾸더라도 그 성능이 크게 변하지는 않았다.
  • Mask Reconstruction이 서로 독립적이기 때문에 생기는 문제로 보인다.