SolidUI社区-Huggingface Spaces

[dlimeng]

背景

随着文本生成图像的语言模型兴起，SolidUI想帮人们快速构建可视化工具，可视化内容包括2D,3D,3D场景，从而快速构三维数据演示场景。SolidUI 是一个创新的项目，旨在将自然语言处理（NLP）与计算机图形学相结合，实现文生图功能。通过构建自研的文生图语言模型，SolidUI 利用 RLHF (Reinforcement Learning Human Feedback) 流程实现从文本描述到图形生成的过程。

项目地址: https://github.com/CloudOrc/SolidUI

项目镜像地址: https://gitee.com/CloudOrc/SolidUI

社区官网: https://cloudorc.github.io/SolidUI-Website

Discord: https://discord.gg/NGRNu2mGeQ

Huggingface Spaces

介绍

Huggingface Spaces是一个基于云的平台,允许用户轻松地构建、训练和部署先进的AI模型。它具有以下主要功能:

• 模型托管 - 用户可以在Spaces上托管预训练或定制的Transformer模型,并与他人共享。这包括各种NLP、计算机视觉和语音模型。
• 训练平台 - Spaces提供了一个基于云的平台,允许用户使用强大的GPU训练他们的模型。它与主要的深度学习框架集成。
• 模型部署 - 用户可以将他们在Spaces上训练的模型作为REST API端点部署,以便轻松地将模型集成到应用程序中。部署支持批量和实时请求。
• 数据集管理 - Spaces允许用户上传和管理数据集,以用于模型的训练和优化。它还提供了基于云的存储。
• 协作 - Spaces具有协作功能,允许团队成员一起训练和部署模型。用户可以分享模型和数据集。
• MLOps工具 - Spaces提供了MLOps功能如模型版本控制、项目管理、CI/CD 管道等来帮助管理机器学习生命周期。
• 免费层 - Spaces提供免费层让用户体验平台。付费层提供更大的计算资源和存储。
  总体而言,Huggingface Spaces旨在成为机器学习从研究到生产全流程的一站式平台,降低构建及部署AI应用的门槛。它的目标用户包括机器学习研究人员、数据科学家以及企业。

功能需求

SolidUI Huggingface Spaces 是为了调用代理API和自研模型API。

0.2.0版本实现了一个基于GPT模型的图像生成web应用。主要功能如下:

• 定义了一些辅助函数:
  • decode_image:将base64编码的图像解码为PIL Image对象
  • get_image_data:从matplotlib figure对象中提取图像数据,并转换为PIL Image对象
  • execute_code:执行传入的Python代码,从代码生成的fig对象中提取图像
• gpt_inference函数:
  • 构造prompt,向GPT模型询问生成指定图像的Python代码
  • 调用OpenAI API,传入prompt、模型名、Key,请求生成代码
  • 执行生成的代码,提取fig中的图像数据,编码为base64
  • 将base64解码回PIL Image对象并返回
• 使用gradio构建一个简单的web界面
  • 输入:代码生成提示、GPT模型名、OpenAI Key
  • 输出:生成的图像
  • 调用gpt_inference函数实现后端逻辑
    总体来说,实现了一个可以通过自然语言描述来让GPT生成图像的web应用 Demo。核心是调用OpenAI API获取生成代码,并执行代码来渲染图像。

示例

https://huggingface.co/spaces/CloudOrc/SolidUI

代码

https://github.com/CloudOrc/SolidUI/blob/dev/soliduimodelui/spacesplugin/app.py

如何成为贡献者

• 官方文档贡献。发现文档的不足、优化文档，持续更新文档等方式参与社区贡献。通过文档贡献，让开发者熟悉如何提交PR和真正参与到社区的建设。参考攻略：Participate in the co-construction of the SolidUI AI-generated visualization project: the power of the open source community #54
• 代码贡献。我们梳理了社区中简单并且容易入门的的任务，非常适合新人做代码贡献。请查阅新手任务列表：[easy to fix list] good first contributor #12
• 内容贡献：发布SolidUI开源组件相关的内容，包括但不限于安装部署教程、使用经验、案例实践等，形式不限，请投稿给小助手。例如：Welcome to provide articles on the SolidUI? #10
• 社区答疑：积极在社区中进行答疑、分享技术、帮助开发者解决问题等；
• 其他：积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等；