# 數據合成

Nous Research專注於開發以人為中心的語言模型和模擬器，致力於將AI系統與現實世界用戶體驗對齊。我們的主要研究領域包括模型架構、數據合成、微調和推理。我們優先開發開源、人類兼容的模型，挑戰傳統的封閉模型方法。

DocLayout-YOLO是一個用於文檔佈局分析的深度學習模型，它通過多樣化的合成數據和全局到局部自適應感知來增強文檔佈局分析的準確性和處理速度。該模型通過Mesh-candidate BestFit算法生成大規模多樣化的DocSynth-300K數據集，顯著提升了不同文檔類型在微調性能上的表現。此外，它還提出了一個全局到局部可控的感受野模塊，更好地處理文檔元素的多尺度變化。DocLayout-YOLO在各種文檔類型上的下游數據集上表現出色，無論是在速度還是準確性上都有顯著優勢。

LLaVA-Video是一個專注於視頻指令調優的大型多模態模型（LMMs），通過創建高質量的合成數據集LLaVA-Video-178K來解決從網絡獲取大量高質量原始數據的難題。該數據集包括詳細的視頻描述、開放式問答和多項選擇問答等任務，旨在提高視頻語言模型的理解和推理能力。LLaVA-Video模型在多個視頻基準測試中表現出色，證明了其數據集的有效性。

Nemotron-4-340B-Instruct是由NVIDIA開發的大型語言模型(LLM)，專為英文單輪和多輪對話場景優化。該模型支持4096個token的上下文長度，經過監督式微調(SFT)、直接偏好優化(DPO)和獎勵感知偏好優化(RPO)等額外的對齊步驟。模型在約20K人工標註數據的基礎上，通過合成數據生成管道合成了超過98%的用於監督微調和偏好微調的數據。這使得模型在人類對話偏好、數學推理、編碼和指令遵循方面表現良好，並且能夠為多種用例生成高質量的合成數據。

Semiring是一個端到端的平臺,能夠通過少量樣本數據生成高質量合成數據集,從而使開發者可以輕鬆創建高性能的機器學習模型。它提供了完整的ML模型構建流程,包括數據合成、模型訓練、評估和部署。關鍵功能及優勢包括:基於先進自然語言模型的高效數據合成;支持自定義域特定數據;無縫自動標註;多樣化的預訓練模型庫;自動模型調優;一體化的雲端訓練服務;簡易的API集成和高速推理等。相比於直接提示大型語言模型和自建方案,Semiring以其卓越的速度、成本效益和質量優勢脫穎而出。

Entry Point AI是一款訓練大型語言模型的平臺，可以快速高效地進行訓練、管理和評估自定義模型，無需編寫代碼。它提供了跨平臺的訓練工具，可以比較模型性能、標註數據集、生成合成數據，並以速度和質量優於基於對話的模型。