#!/bin/sh -f

dd if=list.txt status=progress |gawk -F ';' '{
    OFS=FS
    for (i=4; i < NF; i++) {
        if ($i != "") {
            for (j=i+1 ; j<=NF ; j++) {
                if ($i==$j) $j=""
            }
        }
    }
    print
}' <list.txt >nodup.txt
