文章 78
评论 0
浏览 8355
文本处理三剑客之awk-9

文本处理三剑客之awk-9

4 文本处理三剑客之awk awk:Aho,Weinberger,Kernighan,报告生成器,格式化文本输出,GNU/Linux发布的AWK目前由自由软件基金会(FSF)进行开发维护,通常也称为GNU AWK 版本: AWK:原先来源于AT&T实验室的AWK NAWK:AT&T实验室的AWK的升级 GAWK:即GNU AWK。所有的GNU/Linux发布版都自带GAWK,他与AWK和NAWK完全兼容 gawk:模式扫描和处理语言,可以实现下面功能 文本处理 输出格式化的文本报表 执行算数运算 执行字符串操作 格式: awk [options] 'program' var=value file... awk [options] -f programfile var=value file... 说明: program通常是被放在单引号中,并可以由三种部分组成 BEGIN语句块,文本没有读取时就执行 模式匹配的通用块 END语句块,文本内容执行完毕后执行 常见选项: -F “分隔符”指明输入时用到的字段分隔符,默认的分隔符是若干个连续空白符 -v var=....

磁盘存储和文件系统-8

磁盘存储和文件系统-8

1 磁盘结构 1.1设备文件 一切皆文件:open(),read(),write(),close() 设备文件:关联至少一个设备驱动程序,进而能够跟与之对应硬件设备进行通信 设备号码: 主设备号:major number,标识设备类型 次设备号:minor number,标识同一类型下的不同设备 #实例: [01:22:56 root@localhost ~]#ll /dev/null crw-rw-rw-. 1 root root 1, 3 Nov 22 01:12 /dev/null # 1,3 1是主设备号 3是次设备号 范例:创建一个跟/dev/zero一样的文件 [01:23:04 root@localhost ~]#mknod /root/zero c 1 5 [01:27:23 root@localhost ~]#ll total 8 -rw-------. 1 root root 1301 Nov 21 23:55 anaconda-ks.cfg -rwxr-xr-x. 1 root root 1596 Nov 21 23:57 reset.sh crw-r--r-......

软件管理-7

软件管理-7

内容概述: 软件运行环境 软件包基础 rpm包管理 yum和dnf管理 定制yum仓库 编译安装 Ubuntu软件管理 1 软件运行和编译 1.1 软件相关概念 1.1.1 ABI ABI:Application Binary Interface Windows与Linux不兼容 ELF(Executable and Linkable Format) PE(Portable Executable) 库级别的虚拟化: Linux:WINE Windows:Cygwin 1.1.2 API 系统级开发 汇编语言 C C++ 应用级开发 java Python go php perl ruby bash 1.2 C语言程序的实现过程 C程序源代码——预处理——编译——汇编——链接 C语言的程序编译主要经过四个过程: 预处理:(Pre-Processing) 将所有的#define删除,并且展开所有的宏定义 处理所有的条件预编译指令,比如#if #ifdef #elif等 处理#include预编译指令,将被包含的文件插入到该预编译指令的位置 删除所有注释 添加行号....

文件处理三剑客之sed-6

文件处理三剑客之sed-6

1 文件处理三剑客之sed 1.1 sed工作原理 sed即Stream EDitor,和vi不同,sed是行编辑器 sed是从文件或者管道中读取一行,处理一行,输出一行;在读取一行,在处理一行,在输入一行,直到最后一行。每当处理一行时,把当前处理的行存储在临时缓冲区中,称为模式空间(Pattern Space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓存区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。一次处理一行的设计模式使得sed性能很高,sed在读取大文件时不会出现卡顿现象。如果使用vi命令打开几十M上百M的文件,明显会出现有卡顿的现象,这是因为vi命令打开文件是一次性将文件加载到内存,然后在打开。sed就避免了这种情况,一行一行的处理,打开速度非常快,执行速度也很快 参考网站:http://www.gnu.org/software/sed/manual/sed.html 1.2 sed基本用法 格式: sed [option]... 'script;script;...' inputfile... 常用选项: -n 不输出模式空间内容到屏幕,即不自......

文件查找和压缩-5

文件查找和压缩-5

内容概述 locate find xargs compress和uncompress gzip和gunzip bzip和bunzip xz和unxz zip和unzip tar cpio 1 文件查找 在文件系统上查找符合条件的文件 文件查找: 非实时查找(数据库查找):locate 实时查找:find 1.1 locate locate查询系统上预建的文件索引数据库/var/lib/mlocate/mlocate.db 索引的构建是在系统较为空闲时自动进行(周期性任务),执行updatedb可以更新数据库 索引构建过程需要遍历整个根文件系统,很消耗资源 locate和updatedb命令来自于mlocate包 工作特点: 查找快速 模糊查找 非实时查找 搜索的是文件的全路径,不仅仅是文件名 可能只搜索用户具备读取和执行权限的目录 格式: locate [OPTION]... [PATTERN]... 常用选项 -i 不区分大小写的搜索 -n N只列举前N个匹配项目 -r 使用基本正则表达式 范例: #搜索名称或路径中包含conf的文件 [10:15:54 root....

文本处理工具和正则表达式-4

文本处理工具和正则表达式-4

内容概述 文本编辑工具VIM 各种文本工具 基本正则表达式和扩展正则表达式 文本处理三剑客之grep 1 文本编辑工具之VIM 1.1 vi 和 vim简介 在Linux中我们经常编辑修改文本文件,即由ASCII,Unicode或其他编码的纯文字的文件。 文本编辑种类: 全屏编辑器:vi,vim...... 行编辑器:sed vi visual editor,文本编辑器,是Linux必备工具之一,功能强大,学习曲线较陡峭,学习难度大。 vim Visual editor iMproved,和vi使用方法一致,但功能更为强大,最小化安装时不是必安装软件,需要自行安装 官网:https://www.vim.org/ 1.2 使用 vim 初步 1.2.1 vim 命令格式 vim [option]... FILE... 常用选项: +# #打开文件后,让光标处于第#行的行首,+默认行尾 +/PATTERN #让光标处于第一个被PATTERN匹配到的行行首 -b file #二进制方式打开文件 -d file1 file2... #比较多个文件,相当于vimdiff -m fil....

用户、组和权限,ACL权限-3

用户、组和权限,ACL权限-3

内容概述: Linux的安全模型 用户和组相关文件 用户和组管理命令 理解并设置文件权限 默认权限 特殊权限 文件访问控制列表 1.Linux安全模型 资源分派: Authentication:认证,验证用户身份 Authorization:授权,不同的用户设置不同权限 Accouting|Audition:审计 当用户登录成功时,系统会自动分配令牌token,包括:用户标识和组成员等信息 1.1 用户 Linux 中每个用户是通过User id (UID)来唯一标识的 管理员:root,0 普通用户:1-60000 自动分配 系统用户:1-499(centos6以前),1-999(centos7以后) 对守护进程获取资源进行权限分配 登录用户:500+(centos6以前),1000+(centos7之后) 给用户进行交互式登录使用 1.2 用户组 Linux 中可以将一个或多个用户加入用户组中,用户组是通过Group ID(GUID)来唯一标识的。 管理员组:root,0 普通组: 系统组:1-499(centos6以前),1-999(centos....

Linux文件管理和IO重定向-2

Linux文件管理和IO重定向-2

主要内容: 文件系统目录结构 创建和查看文件 复制、转移和删除文件 软和硬链接 IO重定向和管道 1.文件系统目录结构 1.1 文件系统的目录结构 文件和目录被组织成一个单根倒置树结构 文件系统从根目录下开始,用“/”表示 跟文件系统(rootfs):root filesystem 标准Linux文件系统(如:ext4),文件名称大小写敏感,例如:MAIL,Mail 以 . 开头的文件为隐藏文件 路径分割的 / 文件名最长255个字节 包括路径在内的文件名称最长4095个字节 蓝色-->目录 绿色-->可执行文件 红色-->压缩文件 浅蓝色-->链接文件 灰色-->其他文件 除了斜杆和NULL,所有字符都有效,但使用特殊字符的目录名和文件不推荐使用,有些字符需要用引号来引用 每个文件都有俩类相关数据:元数据:metadata,即属性,数据:data,即文件内容 Linux的文件系统分层结构:FHS Filesystem Hierarchy Standard 参考文档:https://www.pathname.com/fhs/ 1.2常见的文件系统....

linux基础入门-1

linux基础入门-1

1.Linux 基础 1.1 用户类型 root用户 一个特殊的管理员账户 也被称为超级用户 root已接近完整的系统控制,对系统损害几乎有无限的能力 普通(非特权)用户 除非必要,不要登录为root 权限有限 造成损害的能力比较有限 是什么用户是由用户uid来决定 ,查看方法 id -u 1.2 终端 terminal 1.2.1 终端类型 控制台终端:/dev/console 串行终端:/dev/ttys# 虚拟终端:tty: /dev/tty# 图形终端:startx,xwindows 伪终端:tpy:/dev/pts/# 如:ssh远程连接 1.2.2 查看当前终端设备:tty 范例: [20:00:11 root@localhost ~]#tty /dev/pts/0 1.2.3 查看所有的登录终端:who | w [20:14:12 root@localhost ~]#who root pts/0 2020-11-25 08:37 (192.168.10.1) root pts/1 2020-11-25 20:14 (192.168.10.1) w命令也能看到其....

生而为人