uniq

Вывести уникальные строки со стандартного ввода (stdin) или файла. Поскольку uniq не обнаруживает повторяющиеся строки, если они не являются смежными, нам нужно сначала их отсортировать.

• Показать все строки файла только по одному разу (порядок изменится):

sort {{file}} | uniq

• Вывести только уникальные строки:

sort {{file}} | uniq -u

• Вывести только повторяющиеся строки:

sort {{file}} | uniq -d

• Вывести число вхождений перед каждой строкой:

sort {{file}} | uniq -c

• Вывести число вхождений перед каждой строкой, самые частые выводятся раньше:

sort {{file}} | uniq -c | sort -nr