# GPU

Flux 是由字节跳动开发的一个高性能通信重叠库，专为 GPU 上的张量和专家并行设计。它通过高效的内核和对 PyTorch 的兼容性，支持多种并行化策略，适用于大规模模型训练和推理。Flux 的主要优点包括高性能、易于集成和对多种 NVIDIA GPU 架构的支持。它在大规模分布式训练中表现出色，尤其是在 Mixture-of-Experts (MoE) 模型中，能够显著提高计算效率。

FlashInfer是一个专为大型语言模型（LLM）服务而设计的高性能GPU内核库。它通过提供高效的稀疏/密集注意力机制、负载平衡调度、内存效率优化等功能，显著提升了LLM在推理和部署时的性能。FlashInfer支持PyTorch、TVM和C++ API，易于集成到现有项目中。其主要优点包括高效的内核实现、灵活的自定义能力和广泛的兼容性。FlashInfer的开发背景是为了满足日益增长的LLM应用需求，提供更高效、更可靠的推理支持。

kelindar/search 是一个Go语言库，它提供了嵌入式向量搜索和语义嵌入的功能，基于llama.cpp构建。这个库特别适合于小到中型项目，需要强大的语义搜索能力，同时保持简单高效的实现。它支持GGUF BERT模型，允许用户利用复杂的嵌入技术，而不需要深陷传统搜索系统的复杂性。该库还提供了GPU加速功能，能够在支持的硬件上快速进行计算。如果你的数据集少于100,000条目，这个库可以轻松集成到你的Go应用中，实现语义搜索功能。

UALink™是一个开放的行业标准化组织，旨在开发加速器间通信的技术规范，以实现直接负载、存储和原子操作。该技术专注于为数百个加速器提供低延迟、高带宽的网络，并实现简单的负载和存储语义以及软件一致性。UALink 1.0规范将利用发起成员在开发和部署各种加速器和交换机方面的经验。联盟公司代表了广泛的行业专长，包括云服务提供商、系统OEM、加速器开发者、交换机开发者和IP提供商。目前正在开发数据中心AI连接的额外使用模型。

派欧算力云是一个一站式AIGC云服务平台，提供高性价比的GPU基础设施和无缝集成的最前沿AI推理技术。它全面覆盖不同业务阶段的AI需求，加速业务发展。派欧算力云的主要优点包括：高性能的云服务产品、无需管理和运维GPU基础设施、自动弹性扩缩容、全球覆盖的GPU容器实例、7X24小时客户服务。产品背景信息显示，派欧算力云旨在为AI应用开发者提供强大的算力支持，降低开发成本，提高开发效率。

NVIDIA DLI Teaching Kits是由NVIDIA深度学习研究所（DLI）提供的一套教学资源，旨在帮助大学教育者将GPU技术融入到他们的课程中。这些教学套件与领先的大学教师共同开发，提供完整的课程设计和易于使用的资源，使教育者能够将学术理论与现实世界的应用相结合，培养下一代创新者的关键计算技能。大多数教学套件现在也作为现成的Canvas LMS课程提供。

LLM GPU Helper 是一个专注于人工智能领域的在线平台，提供GPU内存计算、模型推荐和大模型知识库访问等服务。它通过量身定制的建议和专家知识，帮助企业加速AI应用，深受超过3500名用户的信赖，并获得了5.0的高评分。平台的主要优点包括高准确度的GPU内存计算器、个性化的模型推荐、全面的知识库访问以及对小型企业和初创公司的特别支持。

GPUDeploy是一个提供低成本按需GPU资源的网站，专为机器学习和人工智能任务设计，用户可以立即启动预配置的GPU实例，以支持复杂的计算任务。该产品主要优点包括低成本、即时可用性以及预配置的便利性，适合需要快速部署机器学习模型和算法的企业和个人。

vLLM是一个为大型语言模型(LLM)推理和提供服务的快速、易用且高效的库。它通过使用最新的服务吞吐量技术、高效的内存管理、连续批处理请求、CUDA/HIP图快速模型执行、量化技术、优化的CUDA内核等，提供了高性能的推理服务。vLLM支持与流行的HuggingFace模型无缝集成，支持多种解码算法，包括并行采样、束搜索等，支持张量并行性，适用于分布式推理，支持流式输出，并兼容OpenAI API服务器。此外，vLLM还支持NVIDIA和AMD GPU，以及实验性的前缀缓存和多lora支持。

Ollama是一个开源项目,能够在Windows本地运行各类大型AI模型,支持GPU加速,内置OpenAI模型兼容层,提供永久在线的API。用户可以无缝访问Ollama的完整模型库,进行图片和语音交互。Ollama免配置就能获得强大的AI能力,帮助开发者和创作者在Windows上构建AI应用。

Saturn Cloud是一个解决数据科学和机器学习所需复杂基础设施管理和扩展的云平台。它提供了使用R和Python进行数据科学的环境，支持GPU、Dask集群等功能。Saturn Cloud可以帮助数据科学家、数据科学领导者和软件工程师简化开发、部署和数据处理的流程。该产品提供不同的功能和定价计划以满足各种需求。

Colaboratory(简称Colab)是谷歌研究团队推出的一个在线编程平台,用户可以在浏览器中编写和执行Python代码,并利用谷歌云端的免费GPU/TPU资源加速运行。Colab提供代码编辑器、交互执行、可视化结果等功能,可以插入文本、公式、图像,是进行数据分析、机器学习等工作的好助手。主要优势有:无需配置,免费使用GPU,方便分享等。适用于学生、数据科学家、AI研究人员等编写Python代码。

矩池云是一家专注于人工智能领域的GPU云服务商,提供稳定的人工智能云服务器、高速网盘等服务,支持公有云、私有云等专业级人工智能解决方案。帮助降低使用云服务门槛,提高科研教育效率。

NMKD稳定扩散GUI是一个方便的界面工具，可以在自己的硬件上本地运行稳定扩散，这是一个用于从文本生成图像的机器学习工具包。它完全没有审查和过滤，生成的内容我不负责。不会共享/收集任何数据。该工具正在积极开发中，可能会出现一些小问题。 主要功能： - 包含依赖项，无需复杂安装 - 支持文本到图像和图像到图像（图像+文本提示） - 支持基于指令的图像编辑（InstructPix2Pix） - 提示功能：关注/强调，负面提示 - 支持自定义稳定扩散模型和自定义VAE模型 - 同时运行多个提示 - 内置图像查看器，显示生成图像的信息 - 内置超分辨率（RealESRGAN）和人脸修复（CodeFormer或GFPGAN） - 提示队列和提示历史 - 创建无缝（平铺）图像的选项，例如用于游戏纹理 - 支持加载自定义概念（文本反转） - 支持加载LoRA概念/角色/风格 - 各种用户体验功能 - 速度快，取决于您的GPU（RTX 4090每张图像<1秒，RTX 3090每张图像<2秒） - 内置安全措施，扫描下载的模型是否包含恶意软件 - 内置更新工具 系统要求：请参阅GitHub指南 如果您想支持开发，请查看我的Patreon，您还可以获得我最新的视频插帧工具Flowframes。 https://www.patreon.com/platform/iframe?widget=become-patron-button&redirectURI=https%3A%2F%2Fitch.io%2Fgame%2Fedit%2F755540%23published&creatorID=19695417 如果需要帮助或有问题，请加入Discord： https://discord.com/widget?id=777892450232434688&theme=dark 请不要直接私信或@我，如果需要帮助，请使用stable-diffusion-gui频道。

RunDiffusion是一款完全托管的Automatic1111云端产品，运行在高性能GPU上。无需编写代码，无需安装软件，无需处理错误。具备稳定的Diffusion版本，私密的工作空间，集成文件浏览器，智能计时器等功能。适用于创造AI生成艺术。