ControlNet Stable Diffusion——在几秒钟内创建逼真的图像

网贝WebBay • 2023年06月17号 2:56 pm • 人工智能 • 阅读 816

How-to-Create-Realistic-Images-with-ControlNet-Stable-Diffusion-1-750x422-1

ControlNet Stable Diffusion模型，允许您通过从参考图像复制生成的图像来管理它们的组成和姿势。

经验丰富的 Stable Diffusion 用户了解生成您想要的精确构图有多么困难。照片有些随意。你只能玩数字游戏：创建大量图像并选择你最喜欢的。

什么是 ControlNet Stable Diffusion？

ControlNet Stable Diffusion 可让您对生成的图像进行无与伦比的精细控制。ControlNet 通过允许用户向模型输入额外信息（例如文本提示或视觉效果）来增加额外的控制级别。提供的数据可能会改变结果图像的结构、外观和内容。该模型基于 Stable Diffusion，一种用于创建高质量照片的扩散模型。

使用 ControlNet Stable Diffusion创建图像

与其他 AI 图像生成算法相比，ControlNet Stable Diffusion 具有多项优势。它使用户能够对生成的图像进行前所未有的控制。这是因为 ControlNet 采用多种策略来理解输入数据和预期输出图像之间的关系。
ControlNet 非常稳定。这意味着它不太可能产生不清晰或扭曲的图像。
ControlNet 速度极快，这意味着您可以非常快速地生成图形。

ControlNet中有多种模型，包括 Canny Edge、Hough、HED、Scribble、Interactive Scribbles、Fake Scribble、Human Pose、Segmentation、Depth 和 Normal Maps。让我们用独特的图像和提示一一尝试。

要在此模型中创建图像，您只需上传要重新创建的图像并在上传的图像下方添加提示。

Canny Edge ControlNet 模型

使用 Canny Edge ControlNet 模型时，只有狗的姿势在最终输出中保持不变，而环境、天气、颜色和时间不断变化。

Prompt: "cute dog"

其他 ControlNet 模型也以相同的方式创建图像。让我们看一下带有提示的示例。

M-LSD 线 ControlNet Stable Diffusion模型

此 M-LSD 线模型使用简单的 M-LSD 直线检测来创建图像。

Prompt: "Building"

HED边界控制网络模型

该模型使用软 HED 边界，它将保留输入图像中的许多细节以创建令人惊叹的图像。

Prompt: "oil painting of handsome old man, masterpiece"

涂鸦地图 ControlNet 模型

在这个模型中，你必须画一个热气球的涂鸦并将其作为输入图像上传，以获得令人惊叹的输出图像。

Prompt: "Hot air balloon"

ControlNet-with-User-Scribbles-1024x794-1

交互式涂鸦 ControlNet Stable Diffusion模型

使用交互式涂鸦模型，您可以使用“打开绘图画布”选项来绘制您自己的作品并将其作为输入图像上传。您可以调整画布的宽度和高度。

Prompt: "dog in a room"

ControlNet-with-Interactive-Scribbles-1024x805-1

假涂鸦 ControlNet 模型

当使用这个假涂鸦时，你可以只上传输入图像而不是画涂鸦。该脚本使用完全相同的基于涂鸦的模型，但使用简单的算法从输入图像合成涂鸦。

Prompt: "bag"

ControlNet-with-Fake-Scribbles-1024x789-1

人体姿势 ControlNet 模型

这个 Human Pose ControlNet 模型直接操纵姿势骨架。您需要输入图像，然后它会为您检测姿势。

 Prompt: "Chef in the kitchen"

语义分割 ControlNet 模型

使用语义分割模型，您可以直接绘制分割。你需要输入一张图片，然后一个名为 Uniformer 的模型会为你检测分割。

Prompt: "River"

深度控制ControlNet模型

ControlNet 接收完整的 512×512 深度图，而不是 64×64 深度图。Depth ControlNet 模型使用 64×64 深度图。这意味着 ControlNet 将在深度图中保留更多细节。

Prompt: "Stormtrooper's lecture"

法线贴图 ControlNet 模型

该模型使用法线贴图来查找背景中有多少区域具有观察者法线的标识。调整“正常背景阈值”以获得感觉。

Prompt: "Cute toy"

非提示模式

您可以通过调整参数获得一些非常有趣的结果，如下所示：另请阅读Stable Diffusion web UI: A Comprehensive Guide

结论

总的来说，ControlNet 是一个强大的工具，它允许 Stable Diffusion 用户完全控制他们生成的图像的外观和组成。如果您想使用 Stable Diffusion 生成逼真且详细的图像，ControlNet 是一个很好的选择。

原创文章，作者：网贝WebBay，如若转载，请注明出处：https://www.webbay.cn/controlnet-stable-diffusion-create-realistic-images-in-seconds