uniq

uniqはソートされたファイルの重複した行を削除して出力するコマンドです。前項のsortと合わせて利用することで重複した行を削除することが可能です。

uniq hoge.txt

とすると、hoge.txtの重複した行を削除して出力されます。（元のファイル自体は変更されません。）

uniqコマンドのオプション

-d --repeated

通常のuniqコマンドとは逆に、重複した行のみを表示します。

uniq -d hoge.txt

とするとhoge.txtの中の重複している行のみが表示されます。

-c --count

重複した行数を表示します。

uniq -c hoge.txt

とすると、表示の左側に何行重複しているかが表示されるようになります。