Doximex.Com: TRECVID 2007 - BBC Rushes Summarization Task

Monday, July 13, 2009

TRECVID 2007 - BBC Rushes Summarization Task

Năm nay những nhóm làm về BBC Rushes Summarization Task sẽ có 1-day workshop tại ACM Multimedia. Chính vì vậy mà submission deadline năm nay sớm hơn mọi năm, 11 May. Mặc dù biết về task này từ năm trước nhưng tôi cũng không hứng thú lắm. Tuy nhiên khi thử làm về nó trong thời gian đi dự ICDE'07 vừa rồi, tôi thấy task này cũng khá thú vị. Hơn nữa, đây là task mới nên cơ hội dành cho mọi nhóm là ngang nhau.

Trong post đầu tiên, tôi cũng đã giới thiệu sơ lược về task này. Để tiện theo dõi, tôi tóm tắt lại như sau: Cho trước một đoạn video khoảng 30-40 phút, hãy generate a summary clip sao cho kích thước (về thời gian) của summary clip này tối đa chỉ bằng 4% so với video ban đầu. Nghĩa là, summary clip chỉ khoảng trong vòng 1 phút mà thôi. Các video dùng cho task này được cung cấp bởi BBC, đa số ở dạng thô (rush). Nói là thô bởi vì các đoạn video này chưa được biên tập để có thể dùng. Ví dụ khi quay một đoạn phim chẳng hạn, đạo diễn có thể phải bắt quay đi quay lại nhiều lần cho đến khi tất cả diễn viên diễn xuất đạt yêu cầu mới thôi. Với video kiểu này, những đoạn lặp lại là không cần thiết cho summary vì chỉ cần một đoạn là đủ.

Summarization là một trong những task rất khó evaluate vì nó phụ thuộc rất nhiều vào chủ quan của evaluator. Tôi đã đọc một số paper về vấn đề này và thấy phần evaluation cũng ko được thuyết phục lắm. Ví dụ, họ mời khoảng 10 students đánh giá về kết quả summarization và cho điểm. Sẽ có người hỏi đánh giá của 10 students này có đủ tin cậy không? Tuy nhiên ko có cách nào khác là phải chấp nhận thôi,

Năm nay NIST cũng đã đưa ra một số tiêu chí để giúp cho việc evaluation fair hơn. Với mỗi test video clip, họ sẽ tạo ground truth trong đó yêu cầu những objects và events cần phải có trong summary clip. Ví dụ:

woman and 2 puppets standing on an old stone bridge
woman and 2 puppets looking at a map
close up of woman and two puppets looking at map
woman and 2 puppets walk off to the right

Tiêu chí để đánh giá bao gồm:

fraction of the ground truth objects/events found in the summary
time (in seconds) needed to check summary against ground truth
number of frames in the summary
system time (in seconds) to generate the summary
usability scores

The judge will also be asked to assess the usability/quality of the summary. Included will be at least something like the following with 5 possible answers for each - where only the extremes are labeled: "Strongly agree" and "strongly disagree".