From Zero to Hero (P29): Chỉnh sửa lỗi tay do ảnh tạo từ AI

Sau khi làm việc hoặc sử dụng các công cụ AI image thì các bạn hẳn đã nhận ra tay là phần hay lỗi nhất khi tạo ảnh, mức độ lỗi tay đến mức không thể chấp nhận được :persevere:

Để khắc phục những lỗi này, mình có thực hiện 1 số phương pháp để sửa tay dưới đây :

:boom: Lưu ý: những phương pháp này chỉ được giới thiệu, không chi tiết từng cách làm nên không dành cho người mới. Việc sửa tay chỉ áp dụng khi bạn có 1 tấm hình ưng ý (composition) nhưng lại lỗi tay.

:one: Phương pháp 1: Controlnet Openpose

Đưa ảnh bạn tạo sang Img2img, bật controlnet openpose và chạy preview. Tiếp theo edit openpose (cái này cần cái (sd-webui-controlnet). Bạn sẽ thấy phần left hand và right hand, edit sao cho cái tay ở vị trí mong muốn hoặc thêm cho đủ ngon tay và bặt đầu generate với denoising streght thấp và controlnet is more important.

:two: Phương pháp 2: Controlnet Canny/ Lineart/Depth

Bạn tìm 1 cái tay tương đồng theo ý định của bạn, không cần giống quá, đưa vào vị trí tay của ảnh đang bị lỗi (dùng photoshop), mục đích là đưa controlnet vào vị trí đúng cái tay lỗi kia.

Sau đó lưu ảnh cái tay đúng với phông nền đen/ trắng,và đưa vào trong controlnet canny/lineart.

Chọn Starting control step khoảng 0.2; controlnet is more important, và gen để tìm ảnh ưng ý

:three: Phương pháp 3: Inpaint

Đưa ảnh có tay lỗi vào inpaint, tô cái tay lỗi, đưa 1 prompt đơn giản vào, nếu không có prompt nào thì để mỗi prompt về quality (masterpiece, high quality…)

Gen ảnh đến khi ưng ý

:four: Phương pháp 4: Photoshop generative fill

Phương pháp này giống inpaint, nhưng làm trên photoshop.

:five: Phương pháp 5: Kết hợp PTS và inpaint

Bạn tìm 1 cái tay tương đối giống chiếc tay cần thay đưa vào photoshop, mục đích là thay thế hoàn toàn tay bị lỗi. Dùng PTS để điều chỉnh lại kích cỡ tay, màu sắc cho phù hợp khung hình

Đưa ảnh vào img2img hoặc inpaint, với denosing strenght thấp. chạy nhiều lần dể SD tự blend cái tay mới ghép cho phù hợp.

:six: Tùy chọn Adetailer
Nếu các bạn đã biết Adetailer có thể sửa chữa khuôn mặt biến dạng thì nó cũng được dùng để sửa tay bị lỗi. Tại tùy chọn adetailer, bạn kéo xuống và lựa chọn model hand_yolov8n.pt.


Adetailer sẽ tự động tìm ra được khi vực bàn tay (nếu có) và tự sửa chữa lại bằng data có sẵn. Việc này có thể sẽ không đảm bảo 100% hiệu quả, nhưng cũng rút ngắn được thời gian sửa chữa đáng kể.

:seven: Sử dụng model SDXL hoặc SD3 thay vì SD 1.5
Dù biết các model SD 1.5 vẫn phổ biến và được nhiều bạn sử dụng, nhưng các model SDXL và SD3 với lượng dữ liệu lớn, thời gian training dài hơn sẽ cho kết quả ít lỗi hơn phiên bản 1.5.

:boom: Extra tips: Sử dụng model, lora có tỉ lệ tay lỗi thấp

Khi sử dụng nhiều Stable Diffusion, các bạn sẽ nhận ra rằng một số model/ lora được training phù hợp với một số style nhất định, một số được train tốt hơn một số khác, và do đó một số model có khả năng có tỉ lệ lỗi giải phẫu thấp hơn một số khác (vì được train kỹ hơn, có data nhiều hơn). Hãy thử tải các model được đánh giá cao, phù hợp với nhu cầu tạo ảnh của bạn.
Một số lora sẽ được sử dụng chuyên để sửa lỗi tay, thường được đặt ở negative prompt, ví dụ như Negative_hand Embedding với khoảng gần 300 nghìn lượt tải về. Việc sử dụng embedding này sẽ giống như bạn đưa những từ khóa như missing fingers, elongated hands, disconnected limbs vào negative prompt giúp giảm tỉ lệ tay bị lỗi khi tạo ảnh.

Việc fix tay cần nhiều thời gian và công sức, phải gen nhiều lần mới được ảnh ưng ý, chúc các bạn thành công.

2 Likes