Hãy đảm bảo bạn đã đọc P17 và P18 trước khi đọc bài viết này
Bài viết dưới đây trình bày tính ứng dụng cao của Controlnet trong công việc thực tế của mọi người.
Ứng dụng trong thiết kế kiến trúc
Trước đây, khi nhắc đến công việc phác thảo, lên ý tưởng cho những công trình, những kiến trúc sư có lẽ mấy nhiều ngày trời để truyền tải ý tưởng dưới dạng 3D, chưa nói đến việc chủ nhà còn yêu cầu sửa chữa nhiều lần.
Hiện nay với sự phát triển của AI, mọi việc đã dễ dàng hơn, chỉ người sử dụng bình thường cũng làm được việc lên ý tưởng hoặc thay đổi cho ngôi nhà,
Chúng ta bắt đầu bằng ngôi nhà đang dở dang sau đây
Chúng ta có thể đơn giản phối lại màu sắc hoặc lên ý tưởng cho ngôi nhà giúp hoàn thiện ngôi nhà đẹp hơn.
Tham khảo cài đặt dưới đây
Prompt: modern townhouse, modern street, glass window best quality, daylight time, lighting lamp, raw photo, orange and white tone
Negative prompt: (worst quality:2),(low quality:2),(normal quality:2),lowres,watermark,badhandv4,ng_deepnegative_v1_75t,
Value threshold: (0.0 - 2.0): Giá trị càng cao thì đường nét càng ít chi tiết và ngược lại.
Distance Threshold: (0.0 - 20.0): Giá trị càng cao thì vật thể càng ít ở góc cung, Có thể hiểu giá trị càng nhỏ thì đường cong được bảo toàn càng nhiều, giá trị càng lớn thì đường cong được bảo toàn càng ít.
Ta sẽ thấy khi dùng controlnet MLSD ta sẽ có được các đường nét thẳng cơ bản của ngôi nhà như tường, cửa,…
Ấn chạy vài lần và tìm kết quả ưng ý, dưới đây là 1 số kết quả mình đã tạo ra
Ứng dụng trong phục chế màu
Nếu chúng ta có một bức ảnh đen trắng chụp từ xưa, rất dễ dàng có thể phục chế màu bằng controlnet
Hãy thử phục chế màu cho bức ảnh
Quan sát sơ qua bạn có thể thấy một cậu bé đội mũ, mặc một chiếc sơ mi bên trong một chiếc áo khoác. Tuy nhiên để mô tả rõ bức ảnh hay sử dụng một AI khác của Kaikun
Bạn vào phần Chat image, chọn GPT4, tải ảnh và nhập yêu cầu prompt mô tả bức ảnh
Đây là kết quả mà GPT4 trả về
a sepia-tone historical photograph featuring a young boy in worn clothing and a cap, staring directly into the camera with an intense, perhaps weary, expression. The photo captures detailed textures and suggests a bygone era, possibly early 20th century.
Nếu quá lười chỉnh sửa, có thể copy thẳng mô tả này vào prompt của bạn
Vào tab img2img và nhập prompt
Prompt:color film of a young boy in worn clothing and a cap, staring directly into the camera with an intense, perhaps weary, expression. The photo captures detailed textures and suggests a bygone era, possibly early 20th century.
Negative prompt: (worst quality:2),(low quality:2),(normal quality:2),lowres,watermark,badhandv4,ng_deepnegative_v1_75t
Tải ảnh cần làm màu và chọn thông số tham khảo như bên dưới
Gamma Correction: Gamma càng nhỏ thì ảnh tạo ra càng sáng, và gamma lớn thì ảnh tạo ra sẽ tối hơn
Kết quả
Ảnh đã có màu đúng kiểu film, vintage.
Trường hợp bạn muốn đúng màu sắc mô tả của mình, hãy nêu rõ trong mô tả
Prompt: color film of a young boy in worn clothing, white shirt, blue coat, blue cap, staring directly into the camera with an intense, perhaps weary, expression.
Result:
Kết quả đã khá ổn hơn rất nhiều
Tip:Sử dụng thêm Multi Controlnet để kiểm soát tốt hơn kết quả đầu ra
Một số trường hợp hình ảnh đầu vào có thêm nhiều chi tiết, cần được giữ lại tốt hơn, hãy kết hợp nhiều controlnet trong workflow của bạn
Đồng thời mở thêm controlnet Unit 1, controlnet Unit 2 sẽ cải thiện hơn các chi tiết nhỏ, tuy nhiên sẽ tốn nhiều VRAM hơn.
Ứng dụng trong chụp ảnh sản phẩm, thời trang
Nếu có những maneque mặc đồ sản phẩm, nhưng các bạn muốn người mẫu trông thật hơn và muốn tiết kiệm thời gian và chi phí để thuê được dàn người mẫu, hãy tham khảo cách làm sử dụng AI generate và controlnet net, dưới đây là 1 workflow như vậy
Đây là hình một maneque mặc sẵn một sản phẩm thời trang, chúng ta sẽ thay đổi bằng cả người thật và bối cảnh cho chân thật.
Đầu tiên, chúng ta dùng segment anything để tách chiếc váy ra khỏi người mẫu.
Hình từ segment anything, dùng cọ chấm vào các chi tiết là chiếc váy để tách mask.
Tách chiếc váy ra ta được alpha mode và mask mode như sau
prompt: a woman, brown hair, asian girl, walking infront of a coffee shop, realistic, 8k, high quality, smiling, wearing high heels
negative prompt: (worst quality:2),(low quality:2),(normal quality:2),lowres,watermark,badhandv4,ng_deepnegative_v1_75t
Ta sẽ chọn Multi Controlnet
Openpose
Và Softedge
Mask content: Fill
Mask mode: Only mask
Nhớ chọn hình cái thước để size đúng size ảnh (trường hợp size ảnh to, hãy điều chỉnh size nhỏ hơn nhưng vẫn giữ tỉ lệ đó)
Thử tạo vài lần để có kết quả ưng ý, sau đó blend ảnh lại vài lần với img2img với denoising strenght thấp, ta có kết quả
Model sử dụng trong bài viết là realistic vision v6.