From Zero to Hero (P19): Những ứng dụng thực tế của Controlnet

Hãy đảm bảo bạn đã đọc P17 và P18 trước khi đọc bài viết này
Bài viết dưới đây trình bày tính ứng dụng cao của Controlnet trong công việc thực tế của mọi người.

:one: Ứng dụng trong thiết kế kiến trúc
Trước đây, khi nhắc đến công việc phác thảo, lên ý tưởng cho những công trình, những kiến trúc sư có lẽ mấy nhiều ngày trời để truyền tải ý tưởng dưới dạng 3D, chưa nói đến việc chủ nhà còn yêu cầu sửa chữa nhiều lần.
Hiện nay với sự phát triển của AI, mọi việc đã dễ dàng hơn, chỉ người sử dụng bình thường cũng làm được việc lên ý tưởng hoặc thay đổi cho ngôi nhà,
Chúng ta bắt đầu bằng ngôi nhà đang dở dang sau đây

Chúng ta có thể đơn giản phối lại màu sắc hoặc lên ý tưởng cho ngôi nhà giúp hoàn thiện ngôi nhà đẹp hơn.
Tham khảo cài đặt dưới đây

Prompt: modern townhouse, modern street, glass window best quality, daylight time, lighting lamp, raw photo, orange and white tone
Negative prompt: (worst quality:2),(low quality:2),(normal quality:2),lowres,watermark,badhandv4,ng_deepnegative_v1_75t,

Value threshold: (0.0 - 2.0): Giá trị càng cao thì đường nét càng ít chi tiết và ngược lại.
Distance Threshold: (0.0 - 20.0): Giá trị càng cao thì vật thể càng ít ở góc cung, Có thể hiểu giá trị càng nhỏ thì đường cong được bảo toàn càng nhiều, giá trị càng lớn thì đường cong được bảo toàn càng ít.

Ta sẽ thấy khi dùng controlnet MLSD ta sẽ có được các đường nét thẳng cơ bản của ngôi nhà như tường, cửa,…


Ấn chạy vài lần và tìm kết quả ưng ý, dưới đây là 1 số kết quả mình đã tạo ra

:two: Ứng dụng trong phục chế màu
Nếu chúng ta có một bức ảnh đen trắng chụp từ xưa, rất dễ dàng có thể phục chế màu bằng controlnet

Hãy thử phục chế màu cho bức ảnh

Quan sát sơ qua bạn có thể thấy một cậu bé đội mũ, mặc một chiếc sơ mi bên trong một chiếc áo khoác. Tuy nhiên để mô tả rõ bức ảnh hay sử dụng một AI khác của Kaikun
Bạn vào phần Chat image, chọn GPT4, tải ảnh và nhập yêu cầu prompt mô tả bức ảnh

Đây là kết quả mà GPT4 trả về


 a sepia-tone historical photograph featuring a young boy in worn clothing and a cap, staring directly into the camera with an intense, perhaps weary, expression. The photo captures detailed textures and suggests a bygone era, possibly early 20th century.

Nếu quá lười chỉnh sửa, có thể copy thẳng mô tả này vào prompt của bạn

Vào tab img2img và nhập prompt

Prompt:color film of a young boy in worn clothing and a cap, staring directly into the camera with an intense, perhaps weary, expression. The photo captures detailed textures and suggests a bygone era, possibly early 20th century.

Negative prompt: (worst quality:2),(low quality:2),(normal quality:2),lowres,watermark,badhandv4,ng_deepnegative_v1_75t

Tải ảnh cần làm màu và chọn thông số tham khảo như bên dưới

Gamma Correction: Gamma càng nhỏ thì ảnh tạo ra càng sáng, và gamma lớn thì ảnh tạo ra sẽ tối hơn
Kết quả


Ảnh đã có màu đúng kiểu film, vintage.
Trường hợp bạn muốn đúng màu sắc mô tả của mình, hãy nêu rõ trong mô tả

Prompt: color film of a young boy in worn clothing, white shirt, blue coat, blue cap, staring directly into the camera with an intense, perhaps weary, expression.

Result:

Kết quả đã khá ổn hơn rất nhiều

Tip:Sử dụng thêm Multi Controlnet để kiểm soát tốt hơn kết quả đầu ra
Một số trường hợp hình ảnh đầu vào có thêm nhiều chi tiết, cần được giữ lại tốt hơn, hãy kết hợp nhiều controlnet trong workflow của bạn


Đồng thời mở thêm controlnet Unit 1, controlnet Unit 2 sẽ cải thiện hơn các chi tiết nhỏ, tuy nhiên sẽ tốn nhiều VRAM hơn.

:three: Ứng dụng trong chụp ảnh sản phẩm, thời trang

Nếu có những maneque mặc đồ sản phẩm, nhưng các bạn muốn người mẫu trông thật hơn và muốn tiết kiệm thời gian và chi phí để thuê được dàn người mẫu, hãy tham khảo cách làm sử dụng AI generate và controlnet net, dưới đây là 1 workflow như vậy


Đây là hình một maneque mặc sẵn một sản phẩm thời trang, chúng ta sẽ thay đổi bằng cả người thật và bối cảnh cho chân thật.
Đầu tiên, chúng ta dùng segment anything để tách chiếc váy ra khỏi người mẫu.

Hình từ segment anything, dùng cọ chấm vào các chi tiết là chiếc váy để tách mask.

Tách chiếc váy ra ta được alpha mode và mask mode như sau

prompt: a woman, brown hair, asian girl, walking infront of a coffee shop, realistic, 8k, high quality, smiling, wearing high heels
negative prompt: (worst quality:2),(low quality:2),(normal quality:2),lowres,watermark,badhandv4,ng_deepnegative_v1_75t

Ta sẽ chọn Multi Controlnet
Openpose


Và Softedge

Mask content: Fill
Mask mode: Only mask


Nhớ chọn hình cái thước để size đúng size ảnh (trường hợp size ảnh to, hãy điều chỉnh size nhỏ hơn nhưng vẫn giữ tỉ lệ đó)
Thử tạo vài lần để có kết quả ưng ý, sau đó blend ảnh lại vài lần với img2img với denoising strenght thấp, ta có kết quả

Model sử dụng trong bài viết là realistic vision v6.

1 Like