MarginaGet Margina
Artículos

Publicado

¿Qué Es el Mojibake, y Por Qué Tu Apóstrofo Se Convierte en ’?

Un documento llega con ’ donde debería haber un apóstrofo, o é donde debería haber una é. Esto es mojibake: bytes leídos con la codificación de caracteres equivocada. Lo más probable es que el archivo esté bien; solo el último paso lo leyó mal.

Qué es

Abres un documento que alguien te envió y ves ’ donde debería haber un apóstrofo. O é en medio de una palabra que debería tener una é. Esto es mojibake: texto deformado porque se decodificó con la codificación de caracteres equivocada. Los bytes del archivo no han cambiado y casi con toda seguridad no están dañados. Solo el último programa que abrió el archivo se equivocó al interpretarlos.

El caso del apóstrofo es el que verás con más frecuencia. Una comilla simple curva de cierre (') se guarda en UTF-8 como tres bytes: E2, 80, 99. Si la aplicación que lee el archivo asume una codificación de un solo byte más antigua, como Windows-1252, en lugar de UTF-8, lee esos mismos tres bytes como tres caracteres separados y sin relación entre sí, y muestra ’ en tu pantalla. La codificación de caracteres es solo la clave que traduce bytes en caracteres. La clave equivocada te da las letras equivocadas, no datos rotos.

Por qué importa

Por qué las letras simples sobreviven y la puntuación no

Las letras normales del inglés —de la a a la z, de la A a la Z— comparten exactamente los mismos valores de byte en ASCII, UTF-8 y Windows-1252. Por eso un párrafo entero puede verse bien salvo por un apóstrofo o un guion rotos. Las comillas curvas, los guiones largos y otra tipografía "elegante" quedan fuera de ese rango compartido, así que son lo primero que se rompe cuando se adivina mal la codificación de un documento. Una buena regla general: si solo la puntuación se ve rara, esto es casi con certeza lo que pasó, y las palabras en sí están intactas.

El problema se agrava si no tienes cuidado

Si copias, exportas o guardas de nuevo un documento ya deformado a través del mismo proceso mal configurado, el daño se acumula. Un símbolo de libra que se convirtió en £ puede convertirse en £, y después en £: cada vuelta añade otra capa de mala interpretación. Esta es una razón por la que los metadatos dentro de tus archivos importan tanto. A menudo es ahí donde vive la declaración de codificación, y perderla es justo lo que deja a una aplicación adivinando desde el principio. También es la razón por la que UTF-8 se ha convertido en el estándar práctico en todas partes: hoy representa la gran mayoría del texto en la web, precisamente porque estandarizar una sola codificación es lo que hace que dejen de adivinar.

Dónde lo verás

El mojibake aparece sobre todo en documentos que han pasado por más de un programa: un archivo de Word exportado hace años, un hilo de correo copiado y pegado entre distintos clientes de correo, una exportación de un sistema antiguo que nunca declaró su codificación. Los documentos de texto plano son especialmente vulnerables, porque un archivo .txt suele no llevar ninguna etiqueta de codificación. La aplicación que lo lee no tiene más remedio que adivinar.

Es un problema muy parecido a uno que quizá ya conozcas con los PDF. Esa misma falta de una etiqueta confiable, que obliga al software a suponer algo, es parte de por qué un PDF se ve distinto en cada dispositivo. En ambos casos, el archivo en sí normalmente no tiene la culpa: el paso de renderizado asumió algo que quien creó el archivo nunca confirmó.

Así que si ves ’, é o cadenas parecidas, no supongas que el documento está corrupto ni que necesitas pedirlo de nuevo. En la mayoría de los casos el contenido está intacto, y es específicamente el programa que lo lee el que necesita que le indiquen —o que detecte correctamente— la codificación adecuada.

Cómo lo maneja Margina

Margina lee la codificación declarada o detectada de un documento directamente desde el archivo, en lugar de asumir una única codificación por defecto para todo lo que te envías a ti mismo. Además, evita cualquier paso de conversión intermedio que pudiera recodificar un archivo de forma incorrecta en el camino: menos pasos, menos oportunidades de que se cuele este tipo de error. ¿Estás moviendo un documento desde una exportación antigua, o desde un sistema en el que no confías del todo? Ese es exactamente el tipo de archivo que vale la pena abrir directamente en la aplicación de App Store o Google Play, en lugar de pasarlo por varias herramientas antes.

Preguntas frecuentes

¿Qué significa realmente ’?

Es la secuencia de tres bytes en UTF-8 de un apóstrofo curvo (') leída byte por byte por un programa que asume una codificación de un solo byte más antigua, como Windows-1252. En ese momento nada está roto de forma permanente: es un problema de visualización, no de pérdida de datos, salvo que el archivo se vuelva a guardar a través del mismo proceso mal configurado.

¿Puedo arreglar el mojibake después de que ocurre?

A veces, si conoces la codificación original: decodificas el texto deformado como si fuera la codificación equivocada y luego lo vuelves a codificar correctamente, lo cual puede revertir una sola ronda de daño. Pero si el archivo ya se guardó de nuevo en su estado deformado, o se deformó más de una vez, los bytes originales suelen perderse para siempre.

¿Por qué pasa esto más con apóstrofos y guiones que con letras normales?

Las letras simples del inglés, sin acentos, tienen los mismos valores de byte en ASCII, UTF-8 y Windows-1252, así que no se ven afectadas. Las comillas curvas, los guiones largos y otra tipografía "elegante" quedan fuera de ese rango compartido: son lo primero que se rompe cuando se adivina mal una codificación.

¿Esto pasa con PDF y EPUB, o solo con texto plano?

Puede pasar en cualquier lugar donde el texto se guarde como bytes con una etiqueta de codificación asociada. Los PDF, los EPUB, los documentos de Word y los correos exportados llevan —o no llevan— esa etiqueta internamente. Los archivos .txt son los más vulnerables, porque a menudo no llevan ningún metadato de codificación, y dejan a la aplicación de lectura adivinando.

¿Cómo evita esto Margina?

Margina lee la codificación declarada o detectada de un documento directamente desde el archivo, en lugar de asumir una única codificación por defecto, y evita hacer pasar tu archivo por un formato intermedio que pudiera recodificarlo de forma incorrecta en el camino.

Conclusión

El mojibake resulta alarmante la primera vez que lo ves. Pero casi siempre es un problema de interpretación, no una prueba de que el archivo esté dañado: los bytes suelen estar bien, y solo el último paso los leyó mal. Estandarizar en UTF-8 ha hecho que esto sea menos frecuente en la web de lo que era hace una década. Aun así, mientras existan exportaciones antiguas, sistemas heredados y archivos de texto plano sin codificación declarada, te lo seguirás encontrando de vez en cuando. Ahora ya sabrás qué es lo que realmente estás viendo.