Hãy đảm bảo các bạn đã thành thạo hoặc ít nhất đã đọc và hiểu các controlnet phổ thông trước khi bắt đầu.
Tile/Blur
Controlnet này sẽ thêm các chi tiết vào trong ảnh, thường được sử dụng để nâng cao chất lượng hình ảnh.
Đọc thêm tại From Zero to Hero (P6): Nâng cấp chi tiết bức ảnh của bạn bằng các phương pháp Upscale
Shuffle
Đúng như tên gọi, model này tạo ra 1 thứ tự đảo lộn ngẫu nhiên bức ảnh đầu vào.
Điều đặc biệt là model này có thể dùng cùng hoặc không cùng preprocessor của nó.
Việc không dùng với preprocessor sẽ làm ảnh tạo ra “ít ngẫu nhiên hơn”
Ghi chú: các nội dung do shuffle bóp méo tuy lộn xộn nhưng ảnh đầu ra vẫn mang nét hơi hướng
SegmentationModel này sẽ phân các chủ thể vào các mảng màu.
Để kiểm tra các mảng màu tượng trưng cho vật thể nào hãy xem liên kết
Có 4 preprocessor chính dùng với Segmentation
ofake20k: phân vùng thành mảng màu có viền xung quanh
ufake20k: phân vùng thành mảng màu
ofcoco: giống ofake20k nhưng ít màu sắc đa dạng hơn
ý nghĩa của 4 lựa chọn này là chúng được training bởi các data khác nhau, tuy nhiên mình không thấy quá nhiều sự khác biệt khi sử dụng
Phiên bản này ít được dùng khi đã có Inpaint Anything.
Reference
Controlnet này sẽ tái tạo lại style của ảnh input
Điều đặc biệt là controlnet này không có model mà chỉ có preprocessor.
Ref only: hay sử dụng nhất, lấy gần như toàn bộ bức ảnh gốc bê sang
Ref adain: chỉ lấy 1 số bối cảnh, đặc điểm nhân vật, nhưng giữ lại style của Checkpoitn
Ref adain + attn: hài hòa của 2 ref trên
Ghi chú: Bức ảnh đầu là ảnh input, ảnh sau là kết quả tạo ra, ta thấy ánh mắt và dáng người là giống nhất
Recolor
Đây là controlnet mới, dùng để tô màu cho bức ảnh đen trắng
Dưới đây là 1 ví dụ về sự tô màu
Trước
Sau
Màu sắc của recolor khá nhạt, thường thích hợp cho việc phục chế.
Inpaint
Việc sử dụng inpaint control net khá giống inpainting
Tuy nhiên ứng dụng thực sự mà mọi người hay sử dụng lại là outpainting.
Controlnet inpaint có 3 preprocessor chính:
- Inpaint_global_harmonious : Cải thiện tính nhất quán toàn cầu và cho phép bạn sử dụng cường độ khử nhiễu cao.
- Inpaint_only : Không thay đổi vùng được che giấu. Nó giống như Inpaint_global_harmonious trong AUTOMATIC1111.
- Inpaint_only+lama : Xử lý ảnh theo mô hình lama. Nó có xu hướng tạo ra kết quả sạch hơn và tốt cho việc loại bỏ vật thể.
Revision
Khá là giống reference only, nên không giải thích lại
Dưới đây là ví dụ
Prompt: closeup of an ice skating ballerina
IP Adapter
Là một sản phẩm của Tencent ARC - Image prompt Adapter: dùng hình ảnh input làm thêm chất liệu cho ảnh tạo ra.
Nó giống như bạn tạo ra Lora 1 cách đơn giản bằng một ánh input duy nhất vậy. Tuy nhiên do thiếu data nên chất lượng tạo ra khi chỉ có một ánh input sẽ không tốt như lora phổ thông. Bù lại, nó tương đối nhanh
Dưới đây là một số kết quả khi sử dụng IP adapter
T2I Adapter
T2I là một hệ thống có các model khá giống controlnet, tuy nhiên ít được sử dụng hơn.
Hệ thống này nhé hơn và có tốc độ xử lý nhanh hơn controller thông thường. Tuy nhiên số lượng model ít hơn controlnet.
Mình vẫn không hiểu tại sao lại đặt chung trong Controlnet
Vì dụ sự dụng depth map hình con cá mập
prompt: underwater photograph shark
Controlnet
By T2I
T2I có 1 hệ thống model riêng, mà bạn có thể download
Một thông tin thú vị nữa là T2I là con đẻ của Tencent
Model không sử dụng preprocessor
Các model được đặt trong controlnet nhưng không sử dụng preprocessor được các nhà phát triển tạo ra
Nổi bất nhất trong số đó bao gồm QR Code
Bài viết có tham khảo Github của Controlnet và các chia sẻ trên Reddit