ModernBERT-large是一個現代化的雙向編碼器Transformer模型（BERT風格），在2萬億個英文和代碼數據上預訓練，具有長達8192個token的原生上下文長度。該模型採用了最新的架構改進，如旋轉位置嵌入（RoPE）以支持長上下文，局部-全局交替注意力以提高長輸入的效率，以及無填充和Flash Attention以提高推理效率。ModernBERT-long適合處理需要處理長文檔的任務，如檢索、分類和大型語料庫中的語義搜索。模型訓練數據主要是英文和代碼，因此可能在其他語言上的表現會較低。