“Lazy boy” thử xây dựng hệ thống tự động chỉnh màu ảnh bằng MobileNetV2

Xin chào tuần mới các mem, hôm nay chúng ta thử đóng vai một “lazy boy” thử xây dựng hệ thống tự động chỉnh màu cho ảnh nhá.

Chả là anh chàng “lazy boy” có một cô người yêu khó tính gửi cho 1 tập ảnh và yêu cầu chỉnh màu cho cô. Vốn sẵn tính lười nên lazy boy muốn code ra một hệ thống có thể làm thay anh ta điều đó không thì chết với cô người yêu =)).

Quan sát lại các ảnh mà cô người yêu đã sửa và up facebook trước đây, chàng lazy boy nhận ra rằng hóa ra có quy luật cả. Mỗi loại ảnh thì cô nàng đều apply với một loại chỉnh màu riêng. Kaka.

Thế là chàng lười mới quyết định tạo ra một phần mềm tự động chỉnh màu tuỳ vào ảnh cho nhanh gọn gồm 2 loại:

  • Nếu ảnh ngoài trời thì thêm chút nắng ấm
  • Nếu ảnh “giường chiếu”/trong nhà thì thêm tẹo Saphire chống noise
tự động chỉnh màu
Nguồn: Tại đây

Rồi , tạm thế đã, nếu ổn thì sẽ làm với tất cả các loại ảnh của nàng gửi =))

Phần 1 – Phân tích bài toán tự động chỉnh màu ảnh

Với bài toán này ta có thể nghĩ tới các kỹ thuật như sau:

  • Áp dụng kỹ thuật transfer learning với mạng MobileNetV2 để tăng tốc độ train và inference. Mạng này sẽ dùng để nhận diện xem hình ảnh input là ảnh giường chiếu/trong nhà hay ảnh ngoài trời.
  • Sử dụng OpenCV để tạo ra các filter cho ảnh và áp dụng các filter cho các bức ảnh tương ứng với class mà mạng ở bước trên predict ra.
mobilenet v2
Nguồn: Tại đây

Chúng ta sẽ sử dụng bộ dữ liệu gồm các ảnh indoor và outdoor để train. Các bạn có thể tải bộ dữ liệu tại Thư viện Mì AI: https://miai.vn/thu-vien-mi-ai . Bạn xem video clip để biết cách tải về.

Phần 2 – Xây dựng các filter cho ảnh

Như đã nói ở trên, sau khi nhận diện được ảnh đưa vào là trong nhà hay ngoài trời thì model sẽ áp dụng các filter ảnh tương ứng (thêm màu ấm, sapie…). Như vậy chúng ta phải viết sẵn các filter này cho model, việc này đơn giản bằng opencv thuần thôi. Ví dụ đây là 2 filter cần dùng trong bài:

Trong project của mình, các filter này được lưu vào file filters.py để các file khác có thể import và sử dụng cho nhanh gọn.

Phần 3 – Train model nhận diện cảnh trong/ngoài

Chuẩn bị dữ liệu

Bài này mình sẽ sử dụng kỹ thuật image generator. Đây là một kỹ thuật thông dụng mà mình đã sử dụng trong rất nhiều bài.

Thư mục data của chúng ta sẽ chứa 2 thư mục con:

  • indoor: thư mục này chứa 400 file ảnh trong nhà, giường chiếu, bàn ăn….
  • outdoor: thư mục này chứa 400 file ảnh ngoài trời, bãi biển, núi non…

Dữ liệu này các bạn tải tại Thư viện Mì AI: https://miai.vn/thu-vien-mi-ai . Bạn xem video clip để biết cách tải về.

Bây giờ ta sẽ sử dụng Image Generator để load dữ liệu từ 2 folder trên, sử dụng tên folder làm nhãn:

Các bạn để ý mình có dùng rescale để đưa các giá trị trong ảnh về khoảng [0,1] nhé.

Rồi, data vậy là okie, nếu các bạn chạy thành công sẽ thấy hiện ra màn hình:

Dòng trên là số ảnh cho train và dòng thứ 2 là số ảnh cho validation nhé.

Tạo cấu trúc model

Trong bài này mình sẽ sử dụng mạng MobilenetV2 và có xào nấu tý để ghép nối thành mạng của mình:

Và cấu trúc mạng của chúng ta sẽ được in ra màn hình:

Các bạn để ý model Dense mà ta đã thêm vào đã đúng. Tổng số tham số của mạng là 2,260,546 trong đó có 414,722 đã fix cứng, còn lại 1,845,824 tham số sẽ được train.

Train model

Okie rồi, train thôi các bạn:

Ở đây các bạn cần chú ý 2 vấn đề:

  • Thay đổi số epoch theo nhu cầu và dữ liệu của các bạn sao cho loss hội tụ.
  • Sau khi train xong sẽ có 2 file:
    • Một file .hdf5: Là file weights tốt nhất mình sử dụng Model Checkpoint để lưu lại.
    • Một file .h5: Là file model cuối cùng sau khi train all các epochs.

Phần 4 – Kiểm thử model tự động chỉnh màu ảnh

Bây giờ chúng ta thử nghiệm xem model chạy thế nào với dữ liệu thực tế nào.

Chúng ta sẽ đưa vào một bức ảnh, đọc ảnh và chuyển thành tensor (nhớ rescale / 255) và predict:

Output của chúng ta sẽ là một vector $p$ như sau:

$$p = \begin{bmatrix} p1 & p2 \end{bmatrix}$$

Trong đó :

  • $p1$: Là xác xuất ảnh đầu vào là indoor
  • $p2$: Là xác xuất ảnh đầu vào là outdoor

Do đó chúng ta chỉ cần dùng $np.argmax$ là có thể lấy được giá trị 0,1 để biết ảnh hiện tại đang là class nào:

Và bước cuối cùng, khi đã biết class ảnh ta sẽ áp dụng các filter tương ứng:

Ở đây mình sẽ thử với 2 ảnh KHÔNG CÓ TRONG TẬP TRAIN để xem model như nào. Và kết quả khá ổn!

Với ảnh ngoài trời thì sẽ được thêm chút “nắng ấm xa dần”:

Còn nếu là ảnh “giường chiếu”/trong phòng thì thêm tý hiệu ứng Sapie nào cho nó ấm cúng (anh em nào nhận ra ảnh này quen ko nhở 😀 )

Mình có code viết sẵn kèm file pretrain h5 tại github này nhé. Các bạn có thể tải về để thử luôn.

Chúc các bạn thành công!

#MìAI

Fanpage: http://facebook.com/miaiblog
Group trao đổi, chia sẻ: https://www.facebook.com/groups/miaigroup
Website: http://miai.vn
Youtube: http://bit.ly/miaiyoutube

Cảm ơn bài tham khảo tuyệt vời tại đây.

Related Post

Leave a Reply

Your email address will not be published. Required fields are marked *