5分钟概览AIGC衣服LORA

2023-07-04 07:28:35来源：哔哩哔哩

前言

衣服LoRA具有重要的现实意义，训练给定衣服图片得到的模型，能够结合AIGC技术生成该衣服的其他图片。在语言/图像大模型的加持下，可以让虚拟模特穿上该衣服，并出现在各种新的场景。

参考教程：

/video/BV1pa4y1c7SS/?spm_id_from=&vd_source=2e2392af70eca013a5de37b768cceae3

【资料图】

/video/BV1bM4y1t7VS/?spm_id_from=&vd_source=2e2392af70eca013a5de37b768cceae3

数据集准备

电商商品：LIME FLARE莱茵2023年蝴蝶结系带连衣裙春季新款小众碎花雪纺泡泡袖裙子浅米色 L【图片价格品牌报价】-京东 ()

选择高清的图片进行下载

图片裁剪与抠图

目的是仅保留衣服部分，去掉背景，人脸部分保留与否都可以

图片打标

每张图片需要一个对应的prompt文件，二次元图片建议使用DeepBooru工具，三次元图片使用Tagger工具，用VIT模型进行批次打标

完成全部处理后大概是这样的

标签人工处理

需要把直接描述衣服的单词替换为激活词，例如这里我把dress改为hellodress

图片预处理

对图片进行裁剪，建议保持图片长度比，使用Auto-size crop，分辨率设置为512

衣服LoRA训练

脚本下载和处理

训练脚本 Akegarasu/lora-scripts: LoRA training scripts use kohya-ss's trainer, for diffusion model. ()

或者对这些很熟悉的话也可以用HCP实验室开发的训练框架 7eu7d7/HCP-Diffusion: A universal Stable-Diffusion toolbox () 这个框架更加灵活

修改脚本中的路径，以及各种参数。不是很懂的话就按照我这样的设置

开始训练

没什么好说的，20个epoch几分钟应该就训好了，注意loss不要发散就行

衣服LoRA推理

checkpoint选取

模型训好之后，复制到 stable-diffusion-webui/models/Lora目录，需要复制多个checkpoint进行调试，我这里使用了addition network插件和X/Y/Z script，不会的朋友也可以每个checkpooint轮着测

我写了一些简单的prompt进行测试，注意加入训练的激活词hellodress

可以看到第14个epoch的花纹已经比较好了，而第18个epoch的路人背面也出现了这个花纹，说明模型有点过拟合了，取epoch14的模型进行下一步测试就可以了。

prompt: 1 beautiful woman, solo, jewelry,hellodress, full body, shopping in the street,

neg prompt: nsfw, lowres, bad anatomy, bad hands, text, missing fingers, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry,missing fingers,bad hands,missing arms, long neck, Humpbacked

图片生成

使用该checkpoint进行更多的尝试

prompt: 1 beautiful woman, solo, jewelry,hellodress, full body, in the Cafe

可以看到脸部不是很好，我们可以再插入一个脸部LoRA改善这个情况（/models/77710/normal-korean-girl-face-chilloutmix-base-lora）