FLUX.1-Dev&Schnell-High Quality 8-Step Modified Version FP8

FLUX.1-Dev&Schnell MIX FP8-魔改组 AiARTiST

近期stable diffusion的部分核心开发同学，推出了全新的图像生成模型FLUX.1。

从模型架构上看，FLUX.1和SD3有很多相似之处，都是基于FlowingMatching调度的模型，都通过引入T5来增强prompt的依从性。而比较显著的区别在于：flux模型引入了一种叫DoubleStreamBlock的结构，具体来说在前几层layer中，采用了txt和img embedding独立过各自的transformer块，然后再拼到一起过统一的transformer块，我们推测是为了进一步对齐图像和文本特征，但是这部分还没有更具体的技术报告。

魔改组在schnell与dev基础上进行了50：50融合，并且量化为FP8版本。

实测显存占用8~12G，内存占用22G 基本上达到了全民可用的程度

此版本支持Liblib平台ComfyUI模式下工作流加载，兼顾速度与质量！

推荐步数：8 | 采样器：Euler | 调度器：simple | 专属vae：ae.sft | T5: xxl fp8

FLUX.1在文本控制能力，多主体生成能力，手部生成能力等取得了很好的效果。

FLUX.1提供三种型号：

下载和部署ComfyUI

clone代码，并安装相关依赖：

#@title Environment Setup
from pathlib import Path
OPTIONS = {}
UPDATE_COMFY_UI = True  #@param {type:"boolean"}WORKSPACE = 'ComfyUI'OPTIONS['UPDATE_COMFY_UI'] = UPDATE_COMFY_UI
WORKSPACE = "/mnt/workspace/ComfyUI"%cd /mnt/workspace/
![ ! -d $WORKSPACE ] && echo -= Initial setup ComfyUI =- && git clone https://github.com/comfyanonymous/ComfyUI%cd $WORKSPACE
if OPTIONS['UPDATE_COMFY_UI']:  !echo -= Updating ComfyUI =-  !git pull
!echo -= Install dependencies =-

模型下载

#@markdown ###Download standard resources
FLUX1-DEV!modelscope download --model=AI-ModelScope/FLUX.1-dev --local_dir ./models/unet/ flux1-dev.sft!modelscope download --model=AI-ModelScope/flux-fp8 --local_dir ./models/unet/ flux1-dev-fp8.safetensors

Download text encoder model!modelscope download --model=AI-ModelScope/flux_text_encoders --local_dir ./models/clip/ t5xxl_fp16.safetensors!modelscope download --model=AI-ModelScope/flux_text_encoders --local_dir ./models/clip/ clip_l.safetensors!modelscope download --model=AI-ModelScope/flux_text_encoders --local_dir ./models/clip/ t5xxl_fp8_e4m3fn.safetensors

vae!modelscope download --model=AI-ModelScope/FLUX.1-dev --local_dir ./models/vae/ ae.sft

----------------------------------------------------------------------

AiARTiST 提供模型训练/工作流搭建/内容制作服务 开源知识库：

https://x1f3ewlrcf.feishu.cn/wiki/BjJ1waQaLitPB4k7Lbvc0MaVnzb

----------------------------------------------------------------------

Lib会员可享有在线加速生成，方便在线搭配CADS系列LoRA使用。

模型清单： https://www.liblib.art/search?keyword=AiARTiST

免费模型占比 55% ，开源模型占比 95%

会员模型占比 40% ，闭源模型占比 5%

商用模型：

AiARTiST-CADS2.0 XL 商业广告辅助系统（企业定制）

https://www.liblib.art/modelinfo/a56ebacdba7d4e30b97bb124bc3fc28f <<点击直达

----------------------------------------------------------------------

其他模型推广：

开源模型 UNIT-lib XL（已包含1GIRL权重，叠加使用可加强人像）：

AiARTiST XL 基础单元 CADS2 LoRA 兼容版 站内链接

https://www.liblib.art/modelinfo/b10dfccc06f34dfa9031f1d070d846ee

UNIT2XL基础单元2-图形设计与IP形象AiARTiST 站内链接

https://www.liblib.art/modelinfo/a202d2e89e2946539a52a5a4e937262d

UNIT-lib XL 开放会员下载，支持融合，会员同时享有在线加速生成

更明亮的3D效果，请搭配 ACG Playground V6 开源版 ：

https://www.liblib.art/modelinfo/4bb107737a1349f7a053bbf618e46977 <<免费下载

ControlNET 配置优化方案及本地配置方案，请加群：

联系方式见 https://afdian.net/a/AiARTiST-lib 发电用户专享

----------------------------------------------------------------------

模型用途声明：

1. 您不得将此模型及其衍生版本（如融合模型版本）托管于计划赚取收入或捐赠的网站/应用程序。

2. 您不得直接售卖此模型及其衍生版本（如融合模型版本），除非您对此模型进行了足够程度的人工修改，使其在法律意义上可以被完全判定为您的个人作品。如果您违反本条，所造成的一切法律后果由您个人承担，请恕本人概不负责。

3. 您不能使用该模型故意制作或共享非法或有害的内容传播和输出，请您遵守公序良德，将此模型用于积极正面的用途。

----------------------------------------------------------------------

测试问题请留言，业务合作看个人首页 +V Zyuan980

AiARTiST | Metaverse 中国·山东 数字人/AiGC/元宇宙方向

做好工具人 服务艺术家 联系方式：K.F.C. 开源模型魔改组飞书资料库