Bab 11. Konversi data

	Tip
	iconv(1) disediakan sebagai bagian dari paket libc6 dan selalu tersedia di hampir semua sistem mirip Unix untuk mengonversi pengodean karakter.

Anda dapat mengonversi pengodean berkas teks dengan iconv(1) dengan yang berikut ini.

$ iconv -f encoding1 -t encoding2 input.txt >output.txt

Nilai pengodean tidak membedakan huruf besar kecil dan mengabaikan "-" dan "_" untuk pencocokkan. Pengodean yang didukung dapat diperiksa oleh perintah "iconv -l".

	Catatan
	Beberapa pengodean hanya didukung untuk konversi data dan tidak digunakan sebagai nilai lokal (Bagian 8.1, “Lokal”).

Untuk set karakter yang masuk dalam byte tunggal seperti set karakter ASCII dan ISO-8859, pengodean karakter berarti hampir sama dengan set karakter.

Untuk set karakter dengan banyak karakter seperti JIS X 0213 untuk Jepang atau Universal Character Set (UCS, Unicode, ISO-10646-1) untuk hampir semua bahasa, ada banyak skema pengodean yang sesuai dengan mereka ke dalam urutan data byte.

Untuk ini, ada diferensiasi yang jelas antara set karakter dan pengodean karakter.

Code page digunakan sebagai sinonim untuk tabel pengodean karakter untuk beberapa vendor tertentu.

Catatan

Please note most encoding systems share the same code with ASCII for the 7 bit characters. But there are some exceptions. If you are converting old Japanese C programs and URLs data from the casually-called shift-JIS encoding format to UTF-8 format, use "CP932" as the encoding name instead of "shift-JIS" to get the expected results: 0x5C → "\" and 0x7E → "~". Otherwise, these are converted to wrong characters.

	Tip
	recode(1) may be used too and offers more than the combined functionality of iconv(1), fromdos(1), todos(1), frommac(1), and tomac(1). For more, see "info recode".

#!/bin/sh
ENCDN=iso-8859-1
for x in *;
 do
 mv "$x" "$(echo "$x" | iconv -f $ENCDN -t utf-8)"
done

Variabel "$ENCDN" menentukan pengodean asli yang digunakan untuk nama berkas di bawah OS yang lebih tua seperti dalam Tabel 11.2, “Daftar nilai pengodean dan penggunaannya”.

Untuk kasus yang lebih rumit, silakan kait suatu sistem berkas (misalnya partisi pada disk drive) yang berisi nama berkas tersebut dengan pengodean yang tepat sebagai opsi mount(8) (lihat Bagian 8.1.3, “Pengodean nama berkas”) dan menyalin seluruh isinya ke sistem berkas lain yang dikait sebagai UTF-8 dengan perintah "cp -a".

$ vim u-file.txt

$ vim '+e ++enc=latin2 pu-file.txt'

$ vim '+e ++enc=eucJP ju-file.txt'

$ vim '+e ++enc=CP932 ++ff=dos jw-file.txt'

Please refer to the mbyte.txt "multi-byte text support" in vim on-line help and Tabel 11.2, “Daftar nilai pengodean dan penggunaannya” for locale values used with "++enc".

The emacs family of programs can perform the equivalent functions.

Teks XML terlihat agak mirip HTML. Ini memungkinkan kita untuk mengelola beberapa format keluaran untuk dokumen. Salah satu sistem XML yang mudah adalah paket docbook-xsl, yang digunakan di sini.

Setiap berkas XML dimulai dengan deklarasi XML standar sebagai berikut.

<?xml version="1.0" encoding="UTF-8"?>

Sintaks dasar untuk satu elemen XML ditandai sebagai berikut.

<name attribute="value">content</name>

Elemen XML dengan konten kosong ditandai dalam bentuk pendek berikut.

<name attribute="value" />

"attribute="nilai"" dalam contoh di atas adalah opsional.

Bagian komentar dalam XML ditandai sebagai berikut.

<!-- comment -->

Selain menambahkan markup, XML memerlukan konversi kecil ke konten menggunakan entitas terpradefinisi untuk karakter-karakter berikut.

	Perhatian
	"<" atau "&" tidak dapat digunakan dalam atribut atau elemen.

	Catatan
	Ketika entitas tentuan pengguna gaya SGML, misalnya "&tag-anu;", digunakan, definisi pertama menang atas yang lain. Definisi entitas dinyatakan dalam "<!ENTITY tag-anu "entity value">".

	Catatan
	Selama markup XML dilakukan secara konsisten dengan set tertentu dari nama tag (baik beberapa data sebagai konten atau nilai atribut), konversi ke XML lain adalah tugas sepele menggunakan Extensible Stylesheet Language Transformations (XSLT).

Ada banyak alat yang tersedia untuk memproses berkas XML seperti Extensible Stylesheet Language (XSL).

Pada dasarnya, setelah Anda membuat berkas XML yang terbentuk dengan baik, Anda dapat mengonversinya ke format apa pun menggunakan Extensible Stylesheet Language Transformations (XSLT).

Extensible Stylesheet Language for Formatting Objects (XSL-FO) seharusnya menjadi solusi untuk pemformatan. Paket fop baru di arsip main Debian karena ketergantungannya pada bahasa pemrograman Java. Jadi kode LaTeX biasanya dihasilkan dari XML menggunakan XSLT dan sistem LaTeX digunakan untuk membuat berkas yang dapat dicetak seperti DVI, PostScript, dan PDF.

Karena XML adalah bagian dari Standard Generalized Markup Language (SGML), itu dapat diproses oleh alat yang banyak tersedia untuk SGML, seperti Document Style Semantics and Specification Language (DSSSL).

	Tip
	GNOME yelp kadang-kadang berguna untuk membaca berkas XML Docbook secara langsung karena itu merender secara layak pada X.

Secara tradisional, roff adalah sistem pemrosesan teks Unix utama. Lihat roff(7), groff(7), groff(1), grotty(1), troff(1), groff_mdoc(7), groff_man(7), groff_ms(7), groff_me(7), groff_mm(7), dan "info groff".

Anda dapat membaca atau mencetak tutorial dan referensi yang bagus tentang "-me" makro di "/usr/share/doc/groff/" dengan memasang paket groff.

	Tip
	"groff -Tascii -me -" menghasilkan keluaran teks polos dengan kode escape ANSI. Jika Anda ingin mendapatkan keluaran mirip manpage dengan banyak "^H" dan "_", gunakan "GROFF_NO_SGR=1 groff -Tascii -me -" sebagai gantinya.

	Tip
	Untuk menghapus "^H" dan "_" dari berkas teks yang dihasilkan oleh groff, filter dengan "col -b -x".

Distribusi perangkat lunak TeX Live menawarkan sistem TeX yang lengkap. Metapackage texlive menyediakan pilihan yang layak dari paket TeX Live yang seharusnya cukup untuk tugas yang paling umum.

Ada banyak referensi yang tersedia untuk TeX dan LaTeX.

This is the most powerful typesetting environment. Many SGML processors use this as their back end text processor. Lyx provided by the lyx package and GNU TeXmacs provided by the texmacs package offer nice WYSIWYG editing environment for LaTeX while many use Emacs and Vim as the choice for the source editor.

There are many online resources available.

When documents become bigger, sometimes TeX may cause errors. You must increase pool size in "/etc/texmf/texmf.cnf" (or more appropriately edit "/etc/texmf/texmf.d/95NonPath" and run update-texmf(8)) to fix this.

Catatan

The TeX source of "The TeXbook" is available at http://tug.ctan.org/tex-archive/systems/knuth/dist/tex/texbook.tex. This file contains most of the required macros. I heard that you can process this document with tex(1) after commenting lines 7 to 10 and adding "\input manmac \proofmodefalse". It's strongly recommended to buy this book (and all other books from Donald E. Knuth) instead of using the online version but the source is a great example of TeX input!

Although writing a manual page (manpage) in the plain troff format is possible, there are few helper packages to create it.

The core of printable data manipulation is the Ghostscript PostScript (PS) interpreter which generates raster image.

	Tip
	"gs -h" can display the configuration of Ghostscript.

You can merge two PostScript (PS) or Portable Document Format (PDF) files using gs(1) of Ghostscript.

$ gs -q -dNOPAUSE -dBATCH -sDEVICE=pswrite -sOutputFile=bla.ps -f foo1.ps foo2.ps
$ gs -q -dNOPAUSE -dBATCH -sDEVICE=pdfwrite -sOutputFile=bla.pdf -f foo1.pdf foo2.pdf

	Catatan
	The PDF, which is a widely used cross-platform printable data format, is essentially the compressed PS format with few additional features and extensions.

	Tip
	For command line, psmerge(1) and other commands from the psutils package are useful for manipulating PostScript documents. pdftk(1) from the pdftk package is useful for manipulating PDF documents, too.

Both lp(1) and lpr(1) commands offered by Common Unix Printing System (CUPS) provides options for customized printing the printable data.

You can print 3 copies of a file collated using one of the following commands.

$ lp -n 3 -o Collate=True filename

$ lpr -#3 -o Collate=True filename

You can further customize printer operation by using printer option such as "-o number-up=2", "-o page-set=even", "-o page-set=odd", "-o scaling=200", "-o natural-scaling=200", etc., documented at Command-Line Printing and Options.

Mail (SMTP) data should be limited to series of 7 bit data. So binary data and 8 bit text data are encoded into 7 bit format with the Multipurpose Internet Mail Extensions (MIME) and the selection of the charset (see Tabel 11.2, “Daftar nilai pengodean dan penggunaannya”).

The standard mail storage format is mbox formatted according to RFC2822 (updated RFC822). See mbox(5) (provided by the mutt package).

For European languages, "Content-Transfer-Encoding: quoted-printable" with the ISO-8859-1 charset is usually used for mail since there are not much 8 bit characters. If European text is encoded in UTF-8, "Content-Transfer-Encoding: quoted-printable" is likely to be used since it is mostly 7 bit data.

For Japanese, traditionally "Content-Type: text/plain; charset=ISO-2022-JP" is usually used for mail to keep text in 7 bits. But older Microsoft systems may send mail data in Shift-JIS without proper declaration. If Japanese text is encoded in UTF-8, Base64 is likely to be used since it contains many 8 bit data. The situation of other Asian languages is similar.

	Catatan
	If your non-Unix mail data is accessible by a non-Debian client software which can talk to the IMAP4 server, you may be able to move them out by running your own IMAP4 server.

	Catatan
	If you use other mail storage formats, moving them to mbox format is the good first step. The versatile client program such as mutt(1) may be handy for this.

You can split mailbox contents to each message using procmail(1) and formail(1).

Each mail message can be unpacked using munpack(1) from the mpack package (or other specialized tools) to obtain the MIME encoded contents.