¿Los scripts de Shell son sensibles a la codificación y los finales de línea?

Sí. Los scripts Bash son sensibles a los finales de línea, tanto en el propio script como en los datos que procesa. Deben tener finales de línea estilo Unix, es decir, cada línea termina con un carácter de avance de línea (decimal 10, hexadecimal 0A en ASCII).

Finales de línea de DOS/Windows en el script

Con finales de línea estilo Windows o DOS, cada línea termina con un retorno de carro seguido de un carácter de avance de línea. Puedes ver este carácter invisible en el resultado de cat -v yourfile:

$ cat -v yourfile
#!/bin/bash^M
^M
cd "src"^M
npm install^M
^M
cd ..^M
./tools/nwjs-sdk-v0.17.3-osx-x64/nwjs.app/Contents/MacOS/nwjs "src" &^M

En este caso, el retorno de carro ( ^Men notación de intercalación o \ren notación de escape C) no se trata como un espacio en blanco. Bash interpreta la primera línea después del shebang (que consta de un único carácter de retorno de carro) como el nombre de un comando/programa a ejecutar.

• Como no hay ningún comando nombrado ^M, imprime: command not found
• Como no hay ningún directorio llamado "src"^M(o src^M), imprime: No such file or directory
• Pasa install^Men lugar de installser un argumento al npmque se debe npmreclamar.

Finales de línea de DOS/Windows en datos de entrada

Como arriba, si tiene un archivo de entrada con retornos de carro:

hello^M
world^M

entonces se verá completamente normal en los editores y al escribirlo en la pantalla, pero las herramientas pueden producir resultados extraños. Por ejemplo, grepno podrá encontrar líneas que obviamente estén ahí:

$ grep 'hello$' file.txt || grep -x "hello" file.txt
(no match because the line actually ends in ^M)

En cambio, el texto agregado sobrescribirá la línea porque los retornos de carro mueven el cursor al inicio de la línea:

$ sed -e 's/$/!/' file.txt
!ello
!orld

La comparación de cadenas parecerá fallar, aunque las cadenas parezcan ser las mismas al escribir en la pantalla:

$ a="hello"; read b < file.txt
$ if [[ "$a" = "$b" ]]
  then echo "Variables are equal."
  else echo "Sorry, $a is not equal to $b"
  fi

Sorry, hello is not equal to hello

Soluciones

La solución es convertir el archivo para que utilice finales de línea estilo Unix. Hay varias maneras de lograr esto:

1. Esto se puede hacer usando el dos2unixprograma:

   dos2unix filename
   

2. Abra el archivo en un editor de texto compatible (Sublime, Notepad++, no Notepad) y configúrelo para guardar archivos con finales de línea de Unix, por ejemplo, con Vim, ejecute el siguiente comando antes de (re)guardarlo:

   :set fileformat=unix
   

3. Si tiene una versión de la sedutilidad que admite la opción -io --in-place, por ejemplo, GNU sed, puede ejecutar el siguiente comando para eliminar los retornos de carro finales:

   sed -i 's/\r$//' filename
   

   Con otras versiones de sed, puede utilizar la redirección de salida para escribir en un archivo nuevo. Asegúrese de utilizar un nombre de archivo diferente para el destino de la redirección (se puede cambiar el nombre más adelante).

   sed 's/\r$//' filename > filename.unix
   

4. De manera similar, el trfiltro de traducción se puede utilizar para eliminar caracteres no deseados de su entrada:

   tr -d '\r' <filename >filename.unix
   

Golpe de Cygwin

Con el puerto Bash para Cygwin, hay una igncropción personalizada que se puede configurar para ignorar el retorno de carro en los finales de línea (presumiblemente porque muchos de sus usuarios usan programas nativos de Windows para editar sus archivos de texto). Esto se puede habilitar para el shell actual ejecutando set -o igncr.

Establecer esta opción se aplica sólo al proceso de shell actual , por lo que puede resultar útil cuando se obtienen archivos con retornos de carro extraños. Si encuentra regularmente scripts de shell con finales de línea de DOS y desea que esta opción se establezca de forma permanente, puede configurar una variable de entorno llamada SHELLOPTS(todas letras mayúsculas) para incluir igncr. Bash utiliza esta variable de entorno para configurar las opciones de Shell cuando se inicia (antes de leer cualquier archivo de inicio).

Utilidades útiles

La fileutilidad es útil para ver rápidamente qué finales de línea se utilizan en un archivo de texto. Esto es lo que imprime para cada tipo de archivo:

• Finales de línea de Unix:Bourne-Again shell script, ASCII text executable
• Finales de línea de Mac:Bourne-Again shell script, ASCII text executable, with CR line terminators
• Finales de línea de DOS:Bourne-Again shell script, ASCII text executable, with CRLF line terminators

La versión GNU de la catutilidad tiene una -v, --show-nonprintingopción que muestra caracteres que no se pueden imprimir.

La dos2unixutilidad está escrita específicamente para convertir archivos de texto entre finales de línea de Unix, Mac y DOS.

Enlaces útiles

Wikipedia tiene un excelente artículo que cubre las diferentes formas de marcar el final de una línea de texto, la historia de dichas codificaciones y cómo se tratan las nuevas líneas en diferentes sistemas operativos, lenguajes de programación y protocolos de Internet (por ejemplo, FTP).

Archivos con terminaciones de línea clásicas de Mac OS

Con Classic Mac OS (anterior a OS X), cada línea terminaba con un retorno de carro (decimal 13, hexadecimal 0D en ASCII). Si se guardó un archivo de script con tales finales de línea, Bash solo vería una línea larga como esta:

#!/bin/bash^M^Mcd "src"^Mnpm install^M^Mcd ..^M./tools/nwjs-sdk-v0.17.3-osx-x64/nwjs.app/Contents/MacOS/nwjs "src" &^M

Dado que esta única línea larga comienza con un octothorpe ( #), Bash trata la línea (y todo el archivo) como un solo comentario.

Nota: En 2001, Apple lanzó Mac OS X, que se basó en el sistema operativo NeXTSTEP derivado de BSD. Como resultado, OS X también utiliza finales de línea de estilo Unix únicamente LF y, desde entonces, los archivos de texto terminados con CR se han vuelto extremadamente raros. Sin embargo, creo que vale la pena mostrar cómo Bash intentaría interpretar dichos archivos.

Sep 16 '2016 09:09 Anthony Geoghegan