linux常用命令去重 linux 命令去重

关于LINUX最基本的一些命令?

1、linux常用命令及用法包括登陆、重启、关机、添加／删除用户、切换用户等。登陆 ＃和＄ ＃表示为root用户，＄表示普通用户。

创新互联是一家专注于成都网站设计、成都网站建设与策划设计,肥乡网站建设哪家好?创新互联做网站,专注于网站建设10年,网设计领域的专业建站公司;建站业务涵盖:肥乡等地区。肥乡做网站价格咨询:18982081108

2、linux基本操作命令：pwd命令、cd命令、ls命令、cat命令、cp命令。pwd命令 使用pwd命令找出您所在的当前工作目录的路径。该命令将返回一个绝对（完整）路径，该路径基本上是所有以/开头的目录的路径。

3、mkdir 命令 使用mkdir 命令创建一个新目录 - 如果键入 mkdir Music，它将创建一个名为 Music 的目录。

4、tar命令能创建、查看和提取tar压缩文件。tar -cvf 是创建对应压缩文件，tar -tvf 来查看对应压缩文件，tar -xvf 来提取对应压缩文件。gzip 命令创建和提取gzip压缩文件，还可以用gzip -d 来提取压缩文件。

linux去重命令

1、原因：在Linux中，有一个命令叫做uniq，它可以用来过滤掉文件中的重复行。通过将文件中的每一行都当做一个单独的元素，然后对这些元素进行排序和去重，可以得到文件中的非重复行数，也就是非重复文件个数。

2、uniq命令去重，只有两行出现重复，而且是相邻的两行，如果不相邻，即使出现两行一模一样，不会去重。

3、uniq 对排序好的内容进行去重 -c 显示输出中，在每行行首加上本行在文件中出现的次数。

4、无论是工作中使用还是应付各种面试，linux sort 都是必须要掌握的 linux 基本命令之一。

linux命令对某一列去重/统计

主要用到的命令有sort，uniq和cut。其中，sort主要功能是排序，uniq主要功能是实现相邻文本行的去重，cut可以从文本行中提取相应的文本列(简单地说，就是按列操作文本行)。

默认情况下uniq只会检索相邻的重复数据从而去重。在/tmp/uniq.txt中虽然“onmpw web site” 有三条，但是其中一条是和其他两条不相邻的，所以只去重了一条，同理“error php function”也是这种情况。

结论：使用Linux命令可以计算非重复文件个数。原因：在Linux中，有一个命令叫做uniq，它可以用来过滤掉文件中的重复行。

uniq命令去重，只有两行出现重复，而且是相邻的两行，如果不相邻，即使出现两行一模一样，不会去重。

为了更好地控制列出的文件，使用find命令而不是ls：[root@localhost ~]# find /etc -maxdepth 1 -type f |wc -l -type f选项告诉find仅列出文件（包括隐藏文件），-maxdepth 1将搜索限制到第一级目录。