¿Qué son Unicode, UTF-8 y UTF-16?

¿Por qué necesitamos Unicode?

En los (no demasiado) primeros días, todo lo que existía era ASCII . Esto estaba bien, ya que todo lo que se necesitaría serían algunos caracteres de control, puntuación, números y letras como los de esta oración. Desafortunadamente, el extraño mundo de hoy de la intercomunicación global y las redes sociales no fue prevista, y no es demasiado inusual ver inglés, العربية, 汉语, עִבְרִית, ελληνικós, y ភាសាខ្មែរ ភាសាខ្មែរ ភាសាខ្មែរ ភាសាខ្មែរ ភាសាខ្មែរ ភាសាខ្មែរ ភាសាខ្មែរ ភាសាខ្មែរ ភាសាខ្មែរ ភាសាខ្មែរ ភាសាខ្មែរ ភាសាខ្មែរ ភាសាខ្មែរ ភាសាខ្មែរ ភាសាខ្មែរ ភាសាខ្មែរ ភាសាខ្មែរ ភាសាខ្មែរ ភាសាខ្មែរ ភាសាខ្មែរ ភាសាខ្មែរ ភាសាខ្មែរ navegadores).

Pero a modo de argumento, digamos que Joe Average es un desarrollador de software. Insiste en que sólo necesitará inglés y, como tal, sólo quiere utilizar ASCII. Esto podría estar bien para Joe, el usuario , pero no está bien para Joe, el desarrollador de software . Aproximadamente la mitad del mundo usa caracteres no latinos y se puede decir que usar ASCII es desconsiderado para estas personas, y además de eso, está cerrando su software a una economía grande y en crecimiento.

Por lo tanto, se necesita un conjunto de caracteres que abarque todos los idiomas. Así surgió Unicode . Asigna a cada carácter un número único llamado punto de código . Una ventaja de Unicode sobre otros conjuntos posibles es que los primeros 256 puntos de código son idénticos a ISO-8859-1 y, por tanto, también a ASCII. Además, la gran mayoría de los caracteres utilizados habitualmente son representables mediante sólo dos bytes, en una región denominada Plano Multilingüe Básico (BMP) . Ahora se necesita una codificación de caracteres para acceder a este conjunto de caracteres y, como plantea la pregunta, me concentraré en UTF-8 y UTF-16.

Consideraciones de memoria

Entonces, ¿cuántos bytes dan acceso a qué caracteres de estas codificaciones?

• UTF-8:

• 1 byte: ASCII estándar
• 2 bytes: árabe, hebreo, la mayoría de las escrituras europeas (sobre todo excluyendo el georgiano )
• 3 bytes: BMP
• 4 bytes: todos los caracteres Unicode

• UTF-16:

• 2 bytes: BMP
• 4 bytes: todos los caracteres Unicode

Vale la pena mencionar ahora que los caracteres que no están en el BMP incluyen escrituras antiguas, símbolos matemáticos, símbolos musicales y caracteres chinos, japoneses y coreanos (CJK) más raros .

Si va a trabajar principalmente con caracteres ASCII, entonces UTF-8 es sin duda más eficiente en cuanto a memoria. Sin embargo, si trabaja principalmente con scripts no europeos, usar UTF-8 podría ser hasta 1,5 veces menos eficiente en memoria que UTF-16. Cuando se trabaja con grandes cantidades de texto, como páginas web de gran tamaño o documentos de texto extensos, esto podría afectar el rendimiento.

Conceptos básicos de codificación

^{Nota: Si sabe cómo se codifican UTF-8 y UTF-16, pase a la siguiente sección para aplicaciones prácticas.}

• UTF-8: para los caracteres ASCII estándar (0-127), los códigos UTF-8 son idénticos. Esto hace que UTF-8 sea ideal si se requiere compatibilidad con texto ASCII existente. Otros caracteres requieren entre 2 y 4 bytes. Esto se hace reservando algunos bits en cada uno de estos bytes para indicar que es parte de un carácter multibyte. En particular, el primer bit de cada byte sirve 1para evitar conflictos con los caracteres ASCII.
• UTF-16: para caracteres BMP válidos, la representación UTF-16 es simplemente su punto de código. Sin embargo, para caracteres que no son BMP, UTF-16 introduce pares sustitutos . En este caso, una combinación de dos porciones de dos bytes se asigna a un carácter que no es BMP. Estas porciones de dos bytes provienen del rango numérico BMP, pero el estándar Unicode garantiza que no son válidas como caracteres BMP. Además, dado que UTF-16 tiene dos bytes como unidad básica, se ve afectado por la endianidad . Para compensar, se puede colocar una marca de orden de bytes reservada al comienzo de un flujo de datos que indica endianidad. Por lo tanto, si está leyendo una entrada UTF-16 y no se especifica ningún endianismo, debe verificarlo.

Como puede verse, UTF-8 y UTF-16 no son compatibles entre sí. Entonces, si estás realizando E/S, ¡asegúrate de saber qué codificación estás usando! Para obtener más detalles sobre estas codificaciones, consulte las preguntas frecuentes sobre UTF .

Consideraciones prácticas de programación

Tipos de datos de caracteres y cadenas: ¿cómo se codifican en el lenguaje de programación? Si son bytes sin formato, en el momento en que intente generar caracteres que no sean ASCII, puede encontrarse con algunos problemas. Además, incluso si el tipo de carácter se basa en UTF, eso no significa que las cadenas sean UTF adecuadas. Es posible que permitan secuencias de bytes que sean ilegales. Generalmente, tendrás que usar una biblioteca que admita UTF, como ICU para C, C++ y Java. En cualquier caso, si desea ingresar/salir algo distinto a la codificación predeterminada, primero deberá convertirlo.

Codificaciones recomendadas, predeterminadas y dominantes: cuando se le da la opción de qué UTF usar, generalmente es mejor seguir los estándares recomendados para el entorno en el que está trabajando. Por ejemplo, UTF-8 es dominante en la web y, desde HTML5, ha sido la codificación recomendada . Por el contrario, tanto el entorno .NET como el Java se basan en un tipo de carácter UTF-16. De manera confusa (e incorrecta), a menudo se hacen referencias a la "codificación Unicode", que generalmente se refiere a la codificación UTF dominante en un entorno determinado.

Soporte de biblioteca: las bibliotecas que está utilizando admiten algún tipo de codificación. ¿Cuál? ¿Admiten los casos de esquina? Dado que la necesidad es la madre de la invención, las bibliotecas UTF-8 generalmente admitirán correctamente caracteres de 4 bytes, ya que con frecuencia pueden aparecer caracteres de 1, 2 e incluso 3 bytes. Sin embargo, no todas las supuestas bibliotecas UTF-16 admiten pares sustitutos correctamente, ya que ocurren muy raramente.

Contar caracteres: existe combinación de caracteres en Unicode. Por ejemplo, el punto de código U+006E (n) y U+0303 (una tilde combinada) forman ñ, pero el punto de código U+00F1 forma ñ. Deberían verse idénticos, pero un algoritmo de conteo simple devolverá 2 para el primer ejemplo y 1 para el último. Esto no es necesariamente malo, pero puede que tampoco sea el resultado deseado.

Comparando para determinar la igualdad: A, А y Α se ven iguales, pero son latín, cirílico y griego respectivamente. También tienes casos como C y Ⅽ. Una es una letra y la otra es un número romano. Además, también debemos considerar la combinación de personajes. Para obtener más información, consulte Caracteres duplicados en Unicode .

Pares sustitutos: aparecen con bastante frecuencia en Stack Overflow, por lo que solo proporcionaré algunos enlaces de ejemplo:

• Obtener la longitud de la cuerda
• Eliminación de parejas sustitutas
• Comprobación de palíndromo

Feb 28 '2013 05:02 DPenner1