国产精品吹潮在线播放,日韩一区二区三区在线播放,啊级免费黄片视频,66av视频

Linux刪除重復行的代碼 linux 刪除重復行

更新時間:2023-07-12 00:15:15作者:未知

Linux刪除重復行的代碼 linux 刪除重復行

  Linux刪除重復行的代碼

文本處理時,經(jīng)常要刪除重復行,下面是三種方法

  第一,用sort+uniq,注意,單純uniq是不行的。

  ?


1

sort -n test.txt | uniq

  第二,用sort+awk命令,注意,單純awk同樣不行,原因同上。

  sort -n $file | awk '{if($0!=line)print; line=$0}'

  第三,用sort+sed命令,同樣需要sort命令先排序。

  sort -n $file | sed '$!N; /^.? \1$/!P; D'

  Shell腳本

  ?


1

2

3

4

5

6

# !/bin/sh

file='test.txt'

sort -n $file | uniq

sort -n $file | awk '{if($0!=line)print; line=$0}'

sort -n $file | sed '$!N; /^\(.*\)\n\1$/!P; D'

  測試文件:

  yanggang@barry$ cat test.txt

  aaa

  bbbbb

  ccccc

  123

  aaaaa

  123

  bbb

  aaa

  執(zhí)行結果:

  yanggang@barry$ ./diffRow.sh

  aaa

  aaaaa

  bbb

  bbbbb

  ccccc

  123

服務器教程

平板電腦教程

視頻播放教程

本文標簽: 命令  三種  腳本