Programación II

1. 4 – Filtros Programación II Ing. Diego J. Arcusin info@digikol.com.ar

2. Introducción a los Filtros • Programas de UNIX que leen una entrada, realizan una transformación y escriben una salida. • Ejemplos: • grep y tail Seleccionan parte de una entrada • sort Clasifica la entrada • wc Cuenta la entrada. • etc. • Filtros de Datos o Filtros Programables • sed Editor de Flujo • awk Filtro programable con sintaxis similar al C

3. Grep • $ grep patrón archivos.... • El comando grep examina los archivos nombrados (o la entrada estándar) e imprime cada línea que contenga un caso de patrón. • Ejemplos: • grep –n variable *.[ch] Localiza “variable” en archivos fuentes de C • grep –y mary $HOME/lib/agenda Encontrar el número de teléfono de Mary • who | grep mary Comprobar si mary inicio sesión • ls | grep –v .c Archivos que no sean fuentes de C • -n Imprime lo números de línea • - v Invierte el sentido de la prueba • -y Hace indistinto el patrón en mayúsculas o minúsculas

4. Expresiones Regulares • Grep (y todos los filtros) manejan patrones mucho más intricados denominados Expresiones Regulares. • Las expresiones regulares se especifican dando un significado especial a ciertos caracteres. • Algunos metacaracteres: • ^ Ancla el patrón al inicio de la línea • $ Ancla el patrón al final de la línea. • [a-z] Rango (cualquier minúscula)Ojo!!: [^0-9] Complemento del Rango (cualquier caracter menos un dígito) • . Se acopla con cualquier caracter (Similar al ? para el Shell) • Algunos ejemplos: • $ ls –l | grep ‘^d’ Lista los nombres de directorios • $ ls –l | grep ‘^.......rw’ Lista los archivos que otros pueden leer y escribir.

5. Expresiones Regulares (cont.) • Operador cerradura ‘*’Se aplica al caracter o metacaracter anterior (incluyendo un rango), y en conjunto concuerdan con cualquier número de acomplamientos sucesivos del caracter o metacaracter. • Ejemplos: • x* Concuerda con una secuencia de x lo más larga posible. • [a-zA-Z]* Concuerda con una cadena alfabética de cualquier longitud • .* Concuerda con cualquier cosa hasta una nueva línea • .*x Concuerda con cualquier cosa hasta la última x del renglón • Advertencias: • * Se aplica exclusivamente a un caracter. fg* reconoce a una f seguida de varias g, y no una secuencia como fgfgfgfg. • * Reconoce cero, una o varias concordancias del caracter. Si queremos que reconozca por lo menos un caracter tendremos que duplicarlo. Por ejemplo para reconocer una cadena de letras la expresión correcta será [a-zA-Z][a-zA-Z]* • Ninguna expresión regular de grep reconoce el caracter nueva línea.

6. La Familia Grep • grep es en realidad el más antiguo de su familia. • fgrep • Permite buscas muchas cadenas literales simultáneamente • egrep • Busca expresiones regulares verdaderas (Igual que grep pero adiciona el operador “o” y paréntesis para agrupar expresiones. • Los paréntesis se utilizan para agrupar de manera que:(xy)* concuerda con la cadena vacía, xy, xyxy,xyxyxy, y así sucesivamente. • La barra vertical | es un operador “o”. • Egrep agrega otros dos operadores de cerradura: + y ?. • x+ reconoce una o más x • x? reconoce cero o una x (no varias)

7. Ejemplos Complejos • ^[^aeiou]*a[^aeiou]*e[^aeiou]*i[^aeiou]*o[^aeiou]*u[^aeiou]*$Encuentra palabras que contengan las 5 vocales en orden alfabético. • egrep ‘^a?b?c?d?e?f?g?h?i?j?k?l?m?n?o?p?q?r?s?t?u?v?w?x?y?z?$’ archivo | grep ‘. . . . . .’ Encuentra palabras de 6 letras que tengan todas sus letras (distintas) en orden alfabético.

8. ¿Por qué 3 programas? • fgrep no interpreta ningún metacaracter, pero permite la búsqueda eficiente de miles de palabras en paralelo. El tamaño de los patrones típicos de fgrep rebasa la capacidad de los algoritmos usados en grep y egrep. • La distinción entre grep y egrep es más difícil de justificar. Simplemente grep es más antiguo (aunque más difundido).

9. Sort • Por default, clasifica su entrada por renglones en orden ASCII. Algunas de sus opciones: • -f Vuelve equivalentes mayúsculas y minúsculas. • -d Orden de diccionario. Ignora todos los caracteres excepto letras, dígitos y blancos. • -n Comparación numérica • -r Revierte el sentido de la comparación • -o Especifica un nombre de archivo para la salida • -u Suprime las líneas repetidas • Ejemplos: • ls | sort –f Clasifica los archivos por orden alfabético • ls –s | sort –n Clasifica los archivos más pequeños primero • ls –s | sort –nr Clasifica los archivos más grandes primero

10. Sort (Campos) • Se le puede indicar a sort que dirija solo su atención a campos específicos. La notación +m significa que la comparación omite los primeros m campos; +0 es el inicio de la línea. Así por ejemplo: • ls –l | sort +3nr Clasifica por conteo de bytes (primero el más grande) • who | sort +4n Clasifica por tiempo desde inicio de sesión (primero el más antiguo)

11. Más filtros • El comando tr translitera los caracteres de su entrada.Uno de los usos más comunes es la conversión de mayúsculas y minúsculas. • $ tr a-z A-Z Convierte minúsculas en mayúsculas • $ tr A-Z a-z Convierte mayúsculas en minúsculas • Uniq • Elimina renglones duplicados • dd • Bastante distinto a lo visto hasta ahora. Suele emplearse para manejar datos en bruto y sin formato. Posee recursos para transformar de ASCII a EBCDIC y para manejar datos binarios.

12. Sed • Lee un renglón a la vez a partir de los archivos de entrada, aplica los comandos de la lista, por orden a cada renglón y escribe su forma editada en la salida estándar. • Sintaxis: sed ‘lista de comandos’ archivo ... • Por ejemplo: • sed ‘s/UNIX/UNIX (TM)/g’ archivos ... > output • Advertencia: sed no altera los contenidos de sus archivos de entrada. Escribe sobre la salida estándar por lo que archivos originales permanecen intactos. • Otro ejemplo: • who | sed ‘s/ .* / /’’Trae solo los nombres de usuarios y la hora de inicio de sesión. • sed ‘s/^/->/’ o sed ‘/./s/^/->/’ $*Pone un tabulador al inicio de cada línea. La segunda versión solo lo hace en aquellos renglones que no sean sólo un caracter nueva línea.

13. Sed (Cont.) • Por defecto realiza la impresión automática de la salida. La opción –n desactiva la salida la cuál debe ser explicitada mediante el comando p. Por ejemplo: • $ sed –n ‘/patrón/p’ hace lo mismo que grep • $ sed –n ‘/patrón/!p’ hace lo mismo que grep –v • Otros ejemplos: • $ sed ‘s/$/\ Agrega un caracter nueva línea al final de cada renglon> /’ haciendo que la salida tenga doble espacio. • $ sed ‘s/[ ->][ ->]*/\ Reemplaza cada cadena de blancos o tabs por un nueva línea> /’ por lo que divide cada palabra de la entrada en un renglón. • $ sed –n ’20,30p’ Imprime sólo las líneas 20 a 30. • $ sed ‘1,10d’ Borras las líneas 1 a 10 (= a tail +11) • $ sed ‘1,/^$/d’ Borra hasta la primera línea en blanco inclusive • $ sed ‘$d’ Borra la última línea

14. awk • Awk es parecido al sed pero con una sintaxis más similar al lenguaje C.Sintaxis: $ awk ‘programa’ archivos...La sintaxis del programa es: patrón { acción} patrón { acción} • Awk lee la entrada en los nombres de archivo un renglón a la vez. Cada renglón se compara con cada patrón en orden, para cada patrón que concuerde con el renglón se efectúa la acción correspondiente. • Al igual que sed, awk no altera los archivos de entrada. • Los patrones pueden ser expresiones regulares exactamente como en egrep, aunque también pueden ser condiciones más complejas que recuerdan más al lenguaje C.

15. awk (cont.) • Ejemplos: • awk ‘/expresion regular/ { print }’ archivos Hace lo que egrep • El patrón y la acción son opcionales. • Si se omite la acción, la acción por default es imprimir la línea. • Si se omite el patrón, la parte de acción se hace para todas la líneas de la entrada. • Al igual que en sed los comandos de awk pueden estar en un archivos separado mediante la siguiente sintaxis: • $ awk –f cmdfile archivo ...

16. awk - Campos • Awk divide cada renglón de entrada automáticamente en campos (cadenas de caracteres que no sean blancos, separados por blancos o tabuladores.) • Por ejemplo la salida de who tiene 5 campos: $ who carlos tty2 Sep 14 11:53 maria tty3 Sep 14 11:27 • Awk llama a los campos $1, $2,..., $NF. NF es una variable cuyo valor es igual al número de campos. En este caso NF = 5 en ambos renglones. Notese la diferencia entre NF –número de campos- y $NF –el último campo del renglón-.En awk, a diferencia del Shell, sólo los campos empiezan con $, las variables no tienen ‘adornos’. • Por ejemplo: • $ du –a | awk ‘{ print $2 }’ Excluye los tamaños deja sólo los nombres de archivos.

17. awk – Campos (cont.) • Awk normalmente supone que el espacio en blanco (cualquier número de blancos y tabuladores) separa los campos, pero el separador puede cambiarse a cualquier caracter. Una manera de hacerlo es recurrir a la opción –F (mayúscula) de la línea de comandos. Por ejemplo: • $ awk –F: ‘{ print $1 }’ /etc/passwd Imprime sólo los nombres de usuarios del /etc/passwd

18. awk – Impresión • La variable NR es el número del “registro” o línea actual. $ awk ‘{ print NR $0 }’ Imprime el número de línea seguido de la línea completa. El campo $0 es la línea entera, sin cambios. • En una acción print, los elementos separados por comas se imprimen separados por el separador de salida (Por default el blanco.) • La proposición printf permite un control completo sobre la salida. (similar al C)$ awk ‘{ printf “%4d %s\n”, NR, $0}’%4d especifica un entero decimal (NR) en un campo de 4 dígitos de ancho, %s especifica una cadena de caracteres ($0) y\n un caracter nueva línea. (Printf no imprime ni blancos, ni nuevas líneas por default).

19. awk – Patrones • $ awk –F: ‘ $2 == “” ’ /etc/passwdBusca los usuarios sin contraseña. • Otras formas de obtener el mismo resultado: • $2 ~ /^$/ El segundo campo concuerda con la cadena vacía. • $2 !~ /./ El segundo campo no concuerda con cualquier caracter. • length($2) = = 0 La longitud del segundo campo es cero. • El símbolo ~ indica concordancia con una expresión regular y !~ significa “no corresponde”. La expresión regular debe estar encerrada entre diagonales. • Awk se vale de la misma convención que el Shell para los comentarios. El símbolo # indica el inicio de un comentario. • La función substr(s,m,n) produce la subcadena se s que comienza en la posición m y mide n caracteres de largo. • El Awk proporciona dos Patrones especiales BEGIN y END. Las acciones de BEGIN se realizan antes del primer renglón, y las acciones de END se efectúan luego de ser procesado el último renglón.

20. awk – Ejemplos • $ awk ‘NF % 2 != 0{ print}’ Despliega si hay un número par de campos • $ awk ‘length($0) > 72 { print “Renglón”, NR, “muy largo:”, substr ($0,1,50)}’ • $ dateThu Aug 29 12:17:01 EDT 2005$ date | awk ‘{ print substr($4, 1, 5)}’12:17 • $ awk ‘BEGIN {FS = “:”} Nuevamente Busca usuarios sin contraseña> $2 == “” ‘ /etc/passwd • awk ‘END { print NR }’ ... Idem wc –l

21. awk – Operaciones Aritméticas • awk también puede realizar cálculos sobre los datos de entrada. Es muy sencillo contar cosas, hacer sumas, sacar promedios y otras operaciones afines. Por ejemplo, para sumar todos los números de la primera columna: { s = s + $1 } END { print s }Si modificamos la última línea del programa por END { print s, s/NR }Imprime la suma y el promedio. • La variables se inicializan a cero por default. • Awk ofrece además los mismos operadores aritméticos abreviados que el lenguaje C. Por ejemplo: s += $1 es lo mismo que s = s + $1 • Ejemplo: # Versión de wc hecha en awk. { nc += length ($0) + 1 # número de caracteres nw += NF } END { print NR, nw, nc}

22. awk – Variables • Las variables también pueden guardar cadenas de caracteres. • Las variables de cadena se inicializan con la cadena vacía. • Variables predefinidas en awk • FILENAME Nombre del archivo de entrada actual • FS Caracter separador de campo (blanco y tab por default) • NF Número de campos del registro de entrada • NR Número del registro de entrada • OFMT Formato de salida para números (%g por default) • OFS Cadena separadora de campo de salida (blanco por default) • ORS Cadena separadora de registro de salida (Nueva línea por default) • RS Caracter separador de registro de entrada (Nueva línea por default)

23. awk – Operadores • Operadores de awk (por orden creciente de precedencia) • = += -= *= /= %= Asignación • || O lógico • && Y lógico • ! Niega el valor de la expresión • > >= < <= = = != ~ !~ Operadores relacionales ~ y !~ equivalen a correspondencia y no correspondencia • nada Concatenación de cadenas • + - más, menos • * / % multiplicar, dividir, resto • ++ - - Incrementar, decrementar (prefijo o postfijo)

24. awk – Control de Flujo • IF (Exactamente igual a la instrucción del lenguaje C). Sintaxis: if (condición) proposición 1 else proposición 2 • FOR (Exactamente igual a la del lenguaje C). Sintaxis: for (expresión 1; condición ; expresión 2) proposición • WHILE (equivalente al for anterior) expresión 1 while (condición ) { proposición expresión 2 } • La proposición next hace que se lea la siguiente línea de entrada y que se comparen los patrones para reanudar la ejecución al inicio del programa. La proposición exit origina una transferencia inmediata al patrón END.

25. Otro ejemplo El siguiente programa detecta palabras duplicadas sucesivas. awk ‘FILENAME != prevfile { # Nuevo archivo NR = 1 # Restablecer número de renglón prevfile = FILENAME}NF > 0 { if ($1 == ultimapalabra) printf “ duplicación %s, archivo %s, línea %d\n”, $1, FILENAME, NR for ( i=2; i <= NF; i++ ) if ( $i == $(i-1) ) printf “ duplicación %s, archivo %s, línea %d\n”, $i, FILENAME, NR ultimapalabra = $NF }’ $* $

26. Otro ejemplo El siguiente programa invierte el contenido de todos los renglones awk ‘ { for ( i = NF; i >= 2; i - - ) printf “%s “, $i printf “\n“ }’ $* $

27. Arreglos • Awk también proporciona arreglos. Ejemplo trivial: Invierte los renglones.$ cat backwards# backwards: despliega la entrada en dirección contraria awk ‘ { linea[NR] = $0 } END { for ( i = NR; i > 0; i - -) print linea[ i ] } ‘ $*$ • Los arreglos no necesitan ser declarados. • El tamaño del arreglo está limitado únicamente por la memoria disponible. • Awk soporta arreglos asociativos. Por lo general concebimos subíndices de arreglos como enteros, pero en awk cualquier valor puede servir de subíndice. • Por ejemplo, para sumarizar por nombre 2 columnas del tipo: Carlos 1000 Martin 2000 Carlos 500 ... ... Sandra 800 { sum [ $1 ] += $2 }END { for (name in sum) print name, sum [name] )

28. Otro ejemplo • $ cat frecuencia# frecuencia: muestra todas las palabras utilizadas y su frecuenciaawk ‘ { for ( i = 1; i <= NF ; i++ ) num[$i]++ }END { for ( palabra in num) print palabra, num[palabra] } ‘ $* | sort +1 -nr$

29. Funciones predefinidas de awk • cos (expr) Coseno de expr • exp (expr) Exponencia de expr: e elevado a exp • getline( ) lee la siguiente linea de entrada; devuelve 0 si es fin de archivo, 1 de lo contrario • index (s1,s2) Posición de la cadena s2 en s1; devuelve 1 si no está. • int (expr) Parte entera de expr, truncar hacia 0. • length (s= longitud de la cadena s • log (expr) Logaritmo natural de expr • sin (expr) Seno de expr • split (s,a,c) Divide s en a[1] ... a[n] en el carácter c; devuelve n • sprintf (fmt, ...) Da formato a ... según la especificación de fmt • substr (s,m,n) Subcadena de n caracteres de s, comenzando en la posición n

30. Interacción con el Shell • Supongamos que el usuario quiere escribir un programa campo n que imprime el campo n-esimo de cada renglón de la entrada.Por ejemplo: $ who | campo 1 Debería desplegar sólo el nombre de los usuarios que iniciaron sesión. Para poder resolver esto pasando un parámetro del shell al awk: • awk ‘{ print $’$1’ }’ Otra forma de hacerlo (aunque es preferible la anterior): • awk “{ printf \$$1 }”

31. Preguntas ?

32. Ejercicios 4.1. Crear un archivo diccionario.txt, con todas las palabras (una por línea) tomadas de archivos de datos (en castellano) de su Home Directory. El archivo diccionario.txt debe quedar ordenado, no contener duplicados y todas las letras deberán estar en minúsculas. a)Extraer todas las palabras que empiecen y terminen con vocal. b) Mostrar el archivo eliminando todas las vocales, estén acentuadas o no. c) Un diptongo está  formado por dos vocales, una fuerte y una débil, o dos débiles. Las vocales fuertes son a, e, o; las vocales débiles son i, u. La acentuación de u o i destruye el diptongo. i) mostrar todas las palabras con diptongo formado por dos vocales débiles, ii) mostrar todos los diptongos con a; iii) buscar una expresión regular mínima que despliegue todos los diptongos. d) Mostrar todas las palabras de 3 letras o más que sean palíndromos.

33. Ejercicios 4.2. El archivo acceso.log registra el acceso de los usuarios a un sistema UNIX. Este archivo cuenta con un renglón por cada uno de los accesos y posee la siguiente estructura de campos separados por “:” - Usuario - Fecha de Ingreso (Formato: ddmmyyyy) - Hora de Ingreso (Formato: hhmmss –24 horas-) - Dirección IP Desarrollar comandos que: a) Muestren el nombre de cada usuario y la cantidad total de accesos registrados, en orden alfabético. b) Extraer del archivo las líneas correspondientes a un usuario particular que se recibirá como parámetro. c) Agregar dos parámetros opcionales que permitan extraer sólo los registros correspondientes a cierto mes o cierto año. d) Extraer del archivo acceso.log las líneas que correspondan al usuario jperez o al usuario elopez.