# transformer

MindSearch是一個基於大型語言模型（LLM）的多智能體網絡搜索引擎框架，具有與Perplexity.ai Pro相似的性能。用戶可以輕鬆部署自己的搜索引擎，支持閉源大型語言模型（如GPT、Claude）或開源大型語言模型（如InternLM2.5-7b-chat）。它具備以下特點：能夠解決生活中的任何問題，利用網絡知識提供深入和廣泛的知識庫答案；展示詳細的解決方案路徑，提高最終響應的可信度和可用性；提供優化的UI體驗，包括React、Gradio、Streamlit和Terminal等多種接口；動態構建圖譜，將用戶查詢分解為圖譜中的原子子問題，並根據WebSearcher的搜索結果逐步擴展圖譜。

EasyAnimate 是一個基於 transformer 架構的流水線，可以用於生成 AI 照片和視頻，訓練基線模型和 Lora 模型以用於 Diffusion Transformer。支持直接從預訓練的 EasyAnimate 模型進行預測，生成不同分辨率、約 6 秒（24fps）的視頻。用戶還可以訓練自己的基線模型和 Lora 模型以執行特定風格轉換。

create-tsi是一個生成性AI RAG（Retrieval-Augmented Generation）工具包，用於低代碼生成AI應用程序。它利用LlamaIndex和T-Systems在Open Telekom Cloud上託管的大型語言模型（LLMs），簡化了AI應用程序的創建過程，使其變得快捷、靈活。用戶可以使用create-tsi生成聊天機器人、編寫代理並針對特定用例進行定製。

VideoPrism是一個通用的視頻編碼模型,能夠在各種視頻理解任務上取得領先的性能,包括分類、定位、檢索、字幕生成和問答等。其創新點在於預訓練的數據集非常大且多樣,包含3600萬高質量的視頻-文本對,以及5.82億帶有嘈雜文本的視頻剪輯。預訓練採用兩階段策略,先利用對比學習匹配視頻和文本,然後預測遮蔽的視頻塊,充分利用不同的監督信號。一個固定的VideoPrism模型可以直接適配到下游任務,並在30個視頻理解基準上刷新狀態最優成績。

Snap視頻是一個視頻優先的模型,通過延伸EDM框架系統地解決視頻生成域中的運動保真度、視覺質量和可擴展性等挑戰。該模型利用幀間的冗餘信息,提出了一個可伸縮的transformer架構,將空間和時間維度作為一個高度壓縮的1D潛在向量,從而有效地進行空間時間聯合建模,合成時間連貫性強、運動複雜的視頻。這種架構使模型可以高效訓練,達到數十億參數規模,在多項基準測試中取得最優效果。

Mistral是一個小型但強大的開源自然語言處理模型,可適用於多種使用場景。Mistral 7B模型性能優於Llama 2 13B模型,擁有自然的編程能力和8000個序列長度。Mistral採用Apache 2.0許可證發佈,易於在任何雲端和個人電腦GPU上部署使用。