minbpe
M
Minbpe
簡介 :
minbpe項目旨在為LLM中常用的BPE算法創建乾淨、教育性的代碼實現。該項目提供了兩種Tokenizer,實現了BPE算法的訓練、編碼、解碼等主要功能,代碼簡潔易讀,為用戶提供便捷高效的使用體驗。該項目展現出巨大的關注度和吸引力,相信其會對LLM和自然語言處理技術的發展起到重要作用。
需求人群 :
["應用於基於Transformer的語言模型中","用作BERT等模型的分詞器"]
總訪問量: 474.6M
佔比最多地區: US(19.34%)
本站瀏覽量 : 61.0K
使用場景
用minbpe對文本進行BPE編碼
使用minbpe實現自定義BPE分詞器
minbpe可用於自己訓練語言模型
產品特色
實現BPE算法的訓練
實現文本的BPE編碼
實現BPE編碼的文本解碼
提供可保存和加載的功能
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase