Literofteco

Literofteco estas la ofteco de la diversaj literoj de la alfabeto en teksto. Tia ofteco ege varias — unue de litero al litero ene de la apliko de specifa alfabeto por specifa lingvo, due la literoftecoj range malsamas de lingvo al lingvo. Ekzemple en Esperantaj tekstoj la plej ofta litero estas A. Tre malofta estas aliflanke la litero Ĥ. Kontraste, en Anglaj kaj Francaj tekstoj la plej ofta litero estas E. Do oni devas pritrakti literoftecon por ĉiu lingvo aparte.

Graveco

Parto de la ĉifraĵo en La dancantoj

Koni la literoftecon de lingvo estas utile, se oni volas malĉifri tre simplan litersubstituan ĉifron. La angla aŭtoro Arthur Conan Doyle lasas sian protagoniston Sherlock Holmes en la rakonto La aventuro de la dancantoj fari ĝuste tion.

La saman malĉifradan metodon oni povas apliki por solvi la proverboĉifrojn, kiuj iam kaj iam aperas en kelkaj E-gazetoj, ekz. Monato, La Gazeto. Tie kaŝiĝas konata proverbo malantaŭ simpla litersubstitua kodo. Jen ekzemplo: Ω▼♀☺♣€₤ €→ †☼♂₤ #₤♫→§@☼Ø♣± €→ ∩ #♣Ω₤

Morsa kodo

Aldone estas menciinde, ke la Morsa kodo baziĝas sur la Anglaj literoftecoj. Pro tio la plej mallongdaŭra kodero — unusola punkto — estas uzata por la ege ofta litero E. Post tio venas — unusola streko — por T.

Literofteco rolis ankaŭ en la presado. En la epoko de pure meĥanika relieftipa presado la fakoj de la kompostkesto por la oftaj literoj devis enteni pli da tipoj por ĉiam povi komposti tutan paĝon. Do ĉiu tiama kompostisto tre konsciis pri literofteco.

Plie, literofteco rolas en la stenografio kaj, pli moderne, ĝi rolas — aŭ almenaŭ devus roli — en la aranĝo de klavaro por tajpi. Klavoj por oftaj literoj prefere troviĝu ie meze. La Dvoraka klavaro kaj kelkaj tiel nomataj ergonomiaj klavaroj strebas ĉi-direkte. Ili klopodas, interalie, per pli konvena klavarfasono helpi eviti la trouzan manartikan malsanon, je kiu multskribantoj ofte suferas.

Komputile, ankaŭ programetoj celantaj kunpremi tekstdosierojn atentas pri literofteco – aŭ ĉi-kaze, eble pli trafe – pri signo-ofteco.

Ludo Pendigisto

Ankaŭ lude literofteco havas sian lokon. Kiel fabrikanto de la ludo Skrablo oni elektu la nombron da tegetoj laŭ ofteco kaj simile la nombron da poentoj por litertegeto laŭ malofteco. Lastvice, tiu, kiu ludas Pendigiston kaj parkere scias la oftecrangon de la literoj, povos ĉiam senpene pendigi sian tutan amikaron, mem divenante ĉiun prezentitan vorton.

Por kalkuli la oftecon de ĉiu litero, oni evidente devas nombri la ĉeestojn de ĉiu litero de la alfabeto en tre longa teksto — fakte, prefere en granda aro de tekstoj. Tiuj konsistigas la tekstkorpuson — do la specimenon esplorotan. Hodiaŭ oni faras tion ne plu permane, sed per komputilo.

Esperanto

Literofteco

Grafikaĵo montranta oftecon de literoj en Esperanto laŭ studoj de Pejno Simono, Ottó Haszpra kaj David G. Simpson, kaj averaĝan oftecon kalkulitan laŭ tiuj tri studoj.

Literofteco de la esplorata tekstkorpuso de Pejno Simono.

La sondaĵo de Pejno Simono efektiviĝis baze de la Esperanta enhavo en liaj tiamaj retejo kaj laborkomputilo ĉirkaŭ la jaro 2000. Jen dekstre troviĝas la ofteco en elcentoj en specimeno de 355 381 literoj. Ĝi entenis ĉefe artikolojn kaj rakontojn por la revuo Monato kaj por la Ŝablono:Retarkivo. Pro tio aperis ankaŭ ne-Esperantaj literoj en la specimeno.

Por la matematikistoj inter la legantoj, jen la konfidintervaloj por kelkaj oftecoj.

Konfidintervaloj je 95% por kelkaj diversaj niveloj de verŝajneco.

La interpreto de la maldekstra tabelo pri la konfidintervaloj malsekretas, ke la valoroj por R, S, L kaj T estas tiel proksimaj, ke oni ne povas fidi pri la ekzakta vicordo de la kvar.

Apenaŭ diverĝanta statistiko troviĝas en Informadika Aspekto de Interlingvisto Ŝablono:Webarchiv, plume de LIU Haitao baze de specimeno kun 496 196 literoj. La aŭtoro prezentas la sekvan tabelon pruntitan de Ottó Haszpra :

a	12,59	s	5,91	j	2,71	ĉ	0,67
i	9,36	t	5,50	v	1,87	z	0,52
e	8,99	k	4,22	g	1,28	ŭ	0,51
o	8,80	u	3,36	b	1,15	h	0,50
n	7,79	m	3,06	f	1,09	ŝ	0,35
l	6,24	d	3,04	c	0,85	ĵ	0,15
r	5,97	p	2,82	ĝ	0,69	ĥ	0,01

La plej grandan specimenon — kun ĉirkaŭ 21 647 000 literoj — esploris David G. Simpson en la jaro 2007 baze de granda tekstaro en la retejo de Bertilo Wennergren (Bertilo). La rezultoj kunmontriĝas en la diagramo komence de tiu ĉi artikolo. Ĝi liveris similajn valorojn.

Oni konstatu, ke depende de la specimenoj la precizaj valoroj varias de aŭtoro al aŭtoro.

Vortkomenca literofteco

La literofteco de la vortkomencaj literoj normalokaze konsiderinde diverĝas de la ĝenerala literofteco. Por Esperanto en 2012 ĉi-tema statistikaĵo ne estis Interrete trovebla. Oni povas supozi tamen, ke la maloftaj literoj Ĉ kaj Ĝ pli ofte ĉeestas ol ĝenerale pro la ofteco de la vortoj ĉu, ĉiu, ĉi kaj ĝi. Jen rapida esploro de duone malnoveca beletra kaj duone revua tekstkorpuso.

Vortkomencaj literoj
litero	nombro	probablo
K	35256	Ŝablono:Bartable
L	33874	Ŝablono:Bartable
E	22972	Ŝablono:Bartable
P	22799	Ŝablono:Bartable
D	21106	Ŝablono:Bartable
M	19160	Ŝablono:Bartable
S	18658	Ŝablono:Bartable
A	17779	Ŝablono:Bartable
T	14065	Ŝablono:Bartable
N	11884	Ŝablono:Bartable
V	10512	Ŝablono:Bartable
F	8597	Ŝablono:Bartable
I	8058	Ŝablono:Bartable
R	7802	Ŝablono:Bartable
Ĉ	6081	Ŝablono:Bartable
B	5445	Ŝablono:Bartable
Ŝ	4735	Ŝablono:Bartable
O	4633	Ŝablono:Bartable
H	4207	Ŝablono:Bartable
J	3974	Ŝablono:Bartable
G	3153	Ŝablono:Bartable
Ĝ	2586	Ŝablono:Bartable
U	2455	Ŝablono:Bartable
C	1611	Ŝablono:Bartable
Z	333	Ŝablono:Bartable
Ĵ	317	Ŝablono:Bartable
W	268	Ŝablono:Bartable
Ĥ	144	Ŝablono:Bartable
Y	46	Ŝablono:Bartable
X	34	Ŝablono:Bartable
Q	9	Ŝablono:Bartable
Ŭ	8	Ŝablono:Bartable
El 292561 vortoj

Vortfina literofteco

La literofteco de la vortfinaj literoj normalokaze konsiderinde diverĝas de la ĝenerala literofteco. Por Esperanto en 2012 ĉi-tema statistikaĵo ne estis Interrete trovebla. Oni povas supozi tamen, ke la literoj A, E, I, J, L, M, N, O, S, U, kaj Ŭ estas plej oftaj. Ekzistas apenaŭ vortoj en teksto, kiuj ne tiel finiĝas. Jen rapida esploro de duone malnoveca kaj duone revua tekstokorpuso.

Vortfinaj literoj
litero	nombro	probablo
A	44736	Ŝablono:Bartable
O	41269	Ŝablono:Bartable
N	37089	Ŝablono:Bartable
J	35399	Ŝablono:Bartable
S	33370	Ŝablono:Bartable
E	32608	Ŝablono:Bartable
I	25295	Ŝablono:Bartable
L	9524	Ŝablono:Bartable
R	8766	Ŝablono:Bartable
U	7730	Ŝablono:Bartable
Ŭ	4616	Ŝablono:Bartable
M	4293	Ŝablono:Bartable
D	2250	Ŝablono:Bartable
T	1627	Ŝablono:Bartable
K	838	Ŝablono:Bartable
Ĉ	527	Ŝablono:Bartable
B	472	Ŝablono:Bartable
F	380	Ŝablono:Bartable
P	300	Ŝablono:Bartable
G	259	Ŝablono:Bartable
Y	214	Ŝablono:Bartable
V	210	Ŝablono:Bartable
H	178	Ŝablono:Bartable
W	168	Ŝablono:Bartable
C	154	Ŝablono:Bartable
Z	123	Ŝablono:Bartable
Ĥ	80	Ŝablono:Bartable
X	41	Ŝablono:Bartable
Ŝ	19	Ŝablono:Bartable
Ĝ	13	Ŝablono:Bartable
Ĵ	13	Ŝablono:Bartable
El 292561 vortoj

Evidente okaze de Esperanto kun ĝiaj regulaj gramatikaj finaĵoj vortfina literofteco kaj senfinaĵa radikfina literofteco apenaŭ interrilatas.

Vortlongo

Ankaŭ pri la distribuo de vortlongoj estis en la jaro 2012 nenie trovebla Interrete. Mallonga esploro tamen liveras la sekvantan bildon. Tre interesa estas la intermonto ĉe la longo 4.

La longegaj vortoj nombritaj estis de facto ne Esperantaj vortoj. Temis pri Germanaj vortoj, kiuj aperis en iuj adresoj en la revuo Monato, kiu konsistigis parton de la korpuso.

Vortlongoj
longo	nombro	probablo
2	72841	Ŝablono:Bartable
3	48607	Ŝablono:Bartable
4	27408	Ŝablono:Bartable
5	38472	Ŝablono:Bartable
6	28373	Ŝablono:Bartable
7	26217	Ŝablono:Bartable
8	20119	Ŝablono:Bartable
9	13123	Ŝablono:Bartable
10	7978	Ŝablono:Bartable
11	4403	Ŝablono:Bartable
12	2285	Ŝablono:Bartable
13	1352	Ŝablono:Bartable
14	672	Ŝablono:Bartable
15	328	Ŝablono:Bartable
16	132	Ŝablono:Bartable
17	52	Ŝablono:Bartable
18	64	Ŝablono:Bartable
19	39	Ŝablono:Bartable
20	24	Ŝablono:Bartable
21	17	Ŝablono:Bartable
22	2	Ŝablono:Bartable
23	1	Ŝablono:Bartable
24	1	Ŝablono:Bartable
28	1	Ŝablono:Bartable
29	1	Ŝablono:Bartable
El 292561 vortoj, mezuma vortlongo 4.85 literoj

Korpusoj

Rilate Esperanton estus eble aserti — kiom da korpusoj, tiom da rezultoj. Alivorte la literoftecoj dependas de la enhavo — do stilo kaj temo — de la esplorata korpuso. En Interreto estas plej ofte nur antikvaj senkopirajtaj tekstoj elŝuteblaj. Ne haveblaj estas tekstoj el modernaj revuoj. Aldone la skalo de temoj pritraktataj ne estas tre vasta.

Elstara ekzemplo de diverĝo estas la Esperanta traduko de Robinsono Kruso En tiu sufiĉe ampleksa libro la plej ofta litero estas I kaj ne la A, kiun la plej multaj esplorantoj jam trovis baze de aliaj aŭ pli grandaj korpusoj. Unuavide tio estas pro tio, ke la pronomoj mi, li, ni kaj ili ege abundas ĉi-romane. Evidente, romano kun multe da dialogo — do tre oftaj frazoj kiel li diris — devas liveri aliajn rezultojn ol ekzemple scienca studo, kie la vorto mi tute ne okazas.

Surprize estas, ke la facile atingeblaj longegaj tekstoj tiugrade statistike diverĝas, ke tio influas eĉ la ĝeneralan literoftecon.

Aliaj Latinalfabetaj lingvoj

Literoftecoj

Jen grafikaĵo kaj ordigebla tabelo de la oftecoj de pluraj lingvoj.

La grafikaĵo montras la oftecon en 12 lingvoj de literoj laŭ la suba tabelo ordigitaj laŭ plej oftaj literoj entute. En unua linio aperas la 26 bazaj latinaj literoj. En dua linio aliaj literoj kun kromsignoj. En la pola literoj kun kromsignoj estas kalkulitaj kun la responda baza litero (ekzemple ł kun l )

Litero	Ŝablono:Lingv/a	Ŝablono:Lingv/a	Ŝablono:Lingv/a	Ŝablono:Lingv/a	Ŝablono:Lingv/a	Ŝablono:Lingv/a	Ŝablono:Lingv/a	Ŝablono:Lingv/a	Ŝablono:Lingv/a	Ŝablono:Lingv/a	Ŝablono:Lingv/a	Ŝablono:Lingv/a
a	12.12%	12.53%	14.63%	11.74%	7.636%	8.167%	6.51%	7.49%	9.3%	8.0%	11.68%	11.9%
b	0.98%	1.42%	1.04%	0.92%	0.901%	1.492%	1.89%	1.58%	1.3%	1.3%	2.95%	0.06%
c	0.78%	4.68%	3.88%	4.5%	3.260%	2.782%	3.06%	1.24%	1.3%	3.8%	0.97%	0.04%
d	3.04%	5.86%	4.99%	3.73%	3.669%	4.253%	5.08%	5.93%	4.5%	3.0%	4.87%	0.85%
e	8.99%	13.68%	12.57%	11.79%	14.715%	12.702%	17.40%	18.91%	9.9%	6.9%	9.01%	8.21%
f	1.03%	0.69%	1.02%	0.95%	1.066%	2.228%	1.66%	0.81%	2.0%	0.1%	0.44%	0.06%
g	1.17%	1.01%	1.30%	1.64%	0.866%	2.015%	3.01%	3.40%	3.3%	1.0%	1.34%	0.13%
h	0.38%	0.70%	1.28%	1.54%	0.737%	6.094%	4.76%	2.38%	2.1%	1.0%	1.14%	1.83%
i	10.01%	6.25%	6.18%	11.28%	7.529%	6.966%	7.55%	6.50%	5.1%	7.0%	8.27%Ŝablono:Markita referenco	10.64%
j	3.50%	0.44%	0.40%	0.00%	0.545%	0.153%	0.27%	1.46%	0.7%	1.9%	0.01%	1.91%
k	4.16%	0.01%	0.02%	0.00%	0.049%	0.772%	1.21%	2.25%	3.2%	2.7%	4.71%	5.34%
l	6.14%	4.97%	2.78%	6.51%	5.456%	4.025%	3.44%	3.57%	5.2%	3.1%	5.75%	5.68%
m	2.99%	3.15%	4.74%	2.51%	2.968%	2.406%	2.53%	2.21%	3.5%	2.4%	3.74%	3.30%
n	7.96%	6.71%	5.05%	6.88%	7.095%	6.749%	9.78%	10.03%	8.8%	4.7%	7.23%	8.67%
o	8.78%	8.68%	10.73%	9.83%	5.378%	7.507%	2.51%	6.06%	4.1%	7.1%	2.45%	5.24%
p	2.74%	2.51%	2.52%	3.05%	3.021%	1.929%	0.79%	1.57%	1.7%	2.4%	0.79%	1.74%
q	0.00%	0.88%	1.20%	0.51%	1.362%	0.095%	0.02%	0.009%	0.007%	-	0	0.00%
r	5.91%	6.87%	6.53%	6.37%	6.553%	5.987%	7.00%	6.41%	8.3%	3.5%	6.95%	2.32%
s	6.09%	7.98%	7.81%	4.98%	7.948%	6.327%	7.27%	3.73%	6.3%	3.8%	2.95%	7.85%
t	5.27%	4.63%	4.74%	5.62%	7.244%	9.056%	6.15%	6.79%	8.7%	2.4%	3.09%	9.77%
u	3.18%	3.93%	4.63%	3.01%	6.311%	2.758%	4.35%	1.99%	1.8%	1.8%	3.43%	5.06%
v	1.90%	0.90%	1.67%	2.10%	1.628%	0.978%	0.67%	2.85%	2.4%	-	0.98%	2.52%
w	0.00%	0.02%	0.01%	0.00%	0.114%	2.360%	1.89%	1.52%	0.03%	3.6%	0	0.01%
x	0.00%	0.22%	0.21%	0.00%	0.387%	0.150%	0.03%	0.04%	0.1%	-	0	0
y	0.00%	0.90%	0.01%	0.00%	0.308%	1.974%	0.04%	0.035%	0.6%	3.2%	3.37%	1.79%
z	0.50%	0.52%	0.47%	0.49%	0.136%	0.074%	1.13%	1.39%	0.02%	5.1%	1.50%	0
à	0	0	vidu a	vidu a	0.486%	0	0	vidu a	0.0%	0	0	0
å	0	0	0	0	0	0	0	-	1.6%	0	0	0.00%
ä	0	0	0	0	0	0	-	vidu a	2.1%	0	0	4.59%
ą	0	0	0	0	0	0	-	0	vidu a	0	0	0
œ	0	0	0	0	0.018%	0	0	-	0	0	0	0
ç	0	0	vidu c	0	0.085%	0	0	-	0	0	1.26%	0
ĉ	0.66%	0	0	0	0	0	0	-	0	0	0	0
ć	0	0	0	0	0	0	-	0	vidu c	0	0	0
è	0	0	0	vidu e	0.271%	0	0	vidu e	0.0%	0	0	0
é	0	0	vidu e	vidu e	1.904%	0	0	vidu e	0.0%	0	0	0
ê	0	0	vidu e	0	0.225%	0	0	-	0	0	0	0
ë	0	0	0	0	0.001%	0	0	vidu e	0	0	0	0
ę	0	0	0	0	0	0	-	0	vidu e	0	0	0
ĝ	0.69%	0	0	0	0	0	0	-	0	0	0	0
ğ	0	0	0	0	0	0	0	-	0	0	1.13%	0
ĥ	0.02%	0	0	0	0	0	0	-	0	0	0	0
î	0	0	0	0	0.045%	0	0	-	0	0	0	0
ì	0	0	0	vidu i	0	0	0	vidu i	0	0	0	0
ï	0	0	0	0	0.005%	0	0	vidu i	0	0	0	0
ı	0	0	0	0	0	0	0	-	0	0	5.20%	0
ĵ	0.12%	0	0	0	0	0	0	-	0	0	0	0
ł	0	0	0	0	0	0	-	0	vidu l	0	0	0
ñ	0	0.31%	0	0	0	0	0	-	0	0	0	0
ń	0	0	0	0	0	0	-	0	vidu n	0	0	0
ò	0	0	0	vidu o	0	0	0	vidu o	0	0	0	0
ö	0	0	0	0	0	0	-	vidu o	1.5%	0	0.87%	0.49%
ó	0	0	vidu o	0	0	0	-	vidu o	0	vidu o	0	0
ŝ	0.38%	0	0	0	0	0	0	0	-	0	0	0
ş	0	0	0	0	0	0	0	-	0	0	1.94%	0
ś	0	0	0	0	0	0	-	0	vidu s	0	0	0
ß	0	0	0	0	0	0	0.31%	-	0	0	0	0
ù	0	0	0	vidu u	0.058%	0	0	vidu u	0	0	0	0
ŭ	0.52%	0	0	0	0	0	0	-	0	0	0	0
ü	0	0	0	0	0	0	-	vidu u	0	0	1.99%	0
ź	0	0	0	0	0	0	-	-	0	vidu z	0	0
ż	0	0	0	0	0	0	-	-	0	0.7%	0	0

Pliaj lingvoj estas troveblaj ĉe la Retejo de Stefan Trost Media. Tiuj baziĝas sur esploroj de korpusoj por testi Unikodon.

Literrangoj

Jen la literranga vicordo de la unuaj dek plej oftaj literoj en kelkaj lingvoj.

Lingvo	vicordo	Branĉo	Familio
Ŝablono:Lingv/a	aieon lsrtk	Planlingvo	Ĉefe influita de Latinidaj, Ĝermanaj lingvoj
Ŝablono:Lingv/a	etaoin shrdlu	Hindeŭropa	Ĝermana
Ŝablono:Lingv/a	esait nrulo		Latinida
Ŝablono:Lingv/a	eaosr nidlc
Ŝablono:Lingv/a	aeosr indmu
Ŝablono:Lingv/a	eaion lrtsc
Ŝablono:Lingv/a	enisr atdhu		Ĝermana
Ŝablono:Lingv/a	eantr slido
Ŝablono:Lingv/a	enati rodsl
Ŝablono:Lingv/a	aoiez nscwr		Slava
Ŝablono:Lingv/a	aeinr lıdkm	Altaja	Tjurka
Ŝablono:Lingv/a	aitne sloku	Urala	Finno-ugra

Ĉiuj ĉi lingvoj aplikas similan alfabeton el 25 literoj aŭ iom pli.

Vortkomencaj literoftecoj

La Angla lingvo

Jen la oftoj de specifa litero vortkomence por la Angla lingvo. Por ordigi alklaku la respektivan titolon de la kolumno.

Litero	Proporcia ofteco de la vortkomenca litero de Angla vorto
a	Ŝablono:Bartable
b	Ŝablono:Bartable
c	Ŝablono:Bartable
d	Ŝablono:Bartable
e	Ŝablono:Bartable
f	Ŝablono:Bartable
g	Ŝablono:Bartable
h	Ŝablono:Bartable
i	Ŝablono:Bartable
j	Ŝablono:Bartable
k	Ŝablono:Bartable
l	Ŝablono:Bartable
m	Ŝablono:Bartable
n	Ŝablono:Bartable
o	Ŝablono:Bartable
p	Ŝablono:Bartable
q	Ŝablono:Bartable
r	Ŝablono:Bartable
s	Ŝablono:Bartable
t	Ŝablono:Bartable
u	Ŝablono:Bartable
v	Ŝablono:Bartable
w	Ŝablono:Bartable
x	Ŝablono:Bartable
y	Ŝablono:Bartable
z	Ŝablono:Bartable

Notinda estas la diverĝo inter la vortkomenca literofteco kaj la ĝenerala literofteco.

Vortfinaj literoftecoj

La Angla lingvo

Denove, nur por la Angla kaj nur proksimume.

Vortfina literofteco en Angla vorto.

Ofto	Unua litero
17	E
11	T
10	D
9	N, S
8	R, Y
6	F, L
4	G, O
2	H
1	A, K, M, P, U, W
0	B, C, I, J, Q, V, X, Z

La tabelo eldiras, ke ekzemple la litero E 17-oble pli oftas ol ekzemple la litero A en la fina pozicio de vorto. La literoj sur la ŝtupo 0 praktike neniam finvorte ĉeestas.

Notinda estas la diverĝo inter la vortfina literofteco kaj la ĝenerala literofteco.

Vortlongoj

La mezumaj vortlongoj de diversaj lingvoj estas troveblaj tie ĉi: Ŝablono:Retarkivo.

La aŭtoro donas la valoron 5.10 por la Angla kaj, inter multaj aliaj lingvoj, la valoron 5.23 por Esperanto. Bedaŭrinde ne estas klare, kiel nomiĝas la aŭtoro kaj same ne estas klare, kiel grandaj estis la analizitaj tekstkorpusoj — laŭŝajne temas pri tiamaj testtekstoj por provi Unikodon.

Temas pri tre interesa komparo inter ĉirkaŭ 300 lingvoj, pluraj kun nelatinbazaj alfabetoj.

Ne-Latinalfabetaj lingvoj

Literoftecoj

La Rusa lingvo

La tabelo sube eniĝis danke al Stefan Trost. La listo kreiĝis per Unikoda Nombrilo, funkcio integrigita en "WordCreator". La esploro baziĝis sur korpuso kun 1.351.370 signoj, (210.844 vortoj), el kiuj 1.086.255 literoj nombriĝis por la tabelo. Baze de aliaj korpusoj evidente la valoroj povos iomete varii.

La tabelo maldekstra ordiĝas laŭ la alfabeto, la tabelo dekstra laŭ la ofteco de la literoj. Do, la literoj O, E kaj A estas la plej oftaj literoj en la Rusa lingvo.

Laŭ alfabeto		Laŭ ofto
Litero Ofto А 7,50% Б 2,01% В 4,33% Г 1,72% Д 3,09% Е 8,50% Ё 0,20% Ж 1,01% З 1,48% И 7,09% Й 1,21% К 3,30% Л 4,96% М 3,10% Н 6,70% О 11,07% П 2,47% Р 4,33% С 4,97% Т 5,97% У 2,22% Ф 0,21% Х 0,95% Ц 0,39% Ч 1,40% Ш 0,72% Щ 0,30% Ъ 0,02% Ы 2,36% Ь 1,84% Э 0,36% Ю 0,47% Я 1,96%		Litero Ofto О 11,07% Е 8,50% А 7,50% И 7,09% Н 6,70% Т 5,97% С 4,97% Л 4,96% В 4,33% Р 4,33% К 3,30% М 3,10% Д 3,09% П 2,47% Ы 2,36% У 2,22% Б 2,01% Я 1,96% Ь 1,84% Г 1,72% З 1,48% Ч 1,40% Й 1,21% Ж 1,01% Х 0,95% Ш 0,72% Ю 0,47% Ц 0,39% Э 0,36% Щ 0,30% Ф 0,21% Ё 0,20% Ъ 0,02%

La Greka lingvo

La tabelo sube eniĝis danke al Stefan Trost. La listo kreiĝis per Unikoda Nombrilo, funkcio integrigita en "WordCreator". La esploro baziĝis sur korpuso kun 1.442.382 signoj (235.614 vortoj), el kiuj 1.161.745 literoj nombriĝis por la tabelo. Baze de aliaj korpusoj evidente la valoroj povos iomete varii.

La tabelo maldekstra ordiĝas laŭ la alfabeto, la tabelo dekstra laŭ la ofteco de la literoj. Do, la literoj A, O kaj E estas la plej oftaj literoj en la Greka lingvo.

Laŭ alfabeto		Laŭ ofto
Litero Ofto Α 12,98% Β 0,74% Γ 1,62% Δ 1,55% Ε 9,48% Ζ 0,31% Η 4,78% Θ 1,16% Ι 9,18% Κ 3,66% Λ 2,54% Μ 3,55% Ν 6,17% Ξ 0,42% Ο 9,48% Π 3,95% Ρ 4,12% Σ 6,67% Τ 7,89% Υ 3,96% Φ 0,72% Χ 1,26% Ψ 0,15% Ω 1,71%		Litero Ofto Α 12,95% Ο 9,48% Ε 9,48% Ι 9,18% Τ 7,89% Σ 6,67% Ν 6,17% Η 4,78% Ρ 4,12% Υ 3,96% Π 3,95% Κ 3,66% Μ 3,55% Λ 2,54% Ω 1,71% Γ 1,62% Δ 1,55% Χ 1,26% Θ 1,16% Β 0,74% Φ 0,72% Ξ 0,42% Ζ 0,31% Ψ 0,15%

La Hebrea lingvo

La tabelo sube eniĝis danke al Stefan Trost. La listo kreiĝis per Unikoda Nombrilo, funkcio integrigita en "WordCreator". La esploro baziĝis sur korpuso kun 1.230.923 signoj (279.679 vortoj), el kiuj 937.426 literoj nombriĝis por la tabelo. Baze de aliaj korpusoj evidente la valoroj povos iomete varii.

La tabelo maldekstra ordiĝas laŭ la alfabeto, la tabelo dekstra laŭ la ofteco de la literoj. Do, la literoj י ה kaj ו estas la plej oftaj literoj en la Hebrea lingvo.

Laŭ alfabeto		Laŭ ofto
Litero Ofto א 6,11% ב 4,57% ג 1,26% ד 2,49% ה 10,48% ו 10,01% ז 1,28% ח 2,39% ט 1,19% י 10,67% ך 0,78% כ 2,60% ל 7,12% ם 2,92% מ 4,43% ן 1,06% נ 2,76% ס 1,43% ע 3,11% ף 0,26% פ 1,63% ץ 0,12% צ 1,20% ק 2,06% ר 5,40% ש 4,25% ת 4,84%		Litero Ofto י 11,03% ה 10,84% ו 10,35% ל 7,36% א 6,32% ר 5,59% ת 5,00% ב 4,73% מ 4,58% ש 4,39% ע 3,22% ם 3,02% נ 2,85% כ 2,69% ד 2,58% ח 2,47% ק 2,13% פ 1,68% ס 1,48% ז 1,32% ג 1,30% צ 1,24% ט 1,23% ן 1,09% ך 0,81% ף 0,27% ץ 0,12%

La Hindia lingvo

La tabelo sube eniĝis danke al Stefan Trost. La listo kreiĝis per Unikoda Nombrilo, funkcio integrigita en "WordCreator". La esploro baziĝis sur korpuso kun 978.430 signoj (238.604 vortoj), el kiuj 736.216 literoj nombriĝis por la tabelo. Baze de aliaj korpusoj evidente la valoroj povos iomete varii.

La tabelo maldekstra ordiĝas laŭ la alfabeto, la tabelo dekstra laŭ la ofteco de la literoj. Do, la literoj ा, क and े estas la plej oftaj literoj en la Hindia lingvo.

Laŭ alfabeto		Laŭ ofto
Litero Ofto ँ 0,30% ं 3,44% ः 0,01% अ 1,01% आ 0,66% इ 0,31% ई 0,20% उ 0,78% ऊ 0,05% ऋ 0,00% ए 1,34% ऐ 0,03% ऑ 0,03% ओ 0,10% औ 0,94% क 7,14% ख 0,70% ग 1,31% घ 0,20% च 1,16% छ 0,45% ज 1,39% झ 0,19% ञ 0,01% ट 0,57% ठ 0,17% ड 0,75% ढ 0,09% ण 0,13% त 2,89% थ 1,15% द 1,68% ध 0,36% न 3,48% प 2,66% फ 0,35% ब 1,78% भ 0,67% म 3,28% य 2,20% र 5,91% ल 2,45% व 1,62% श 0,76% ष 0,27% स 3,78% ह 4,82% ़ 0,67% ा 8,22% ि 3,20% ी 3,47% ु 1,45% ू 0,81% ृ 0,10% ॅ 0,00% े 6,85% ै 1,96% ॉ 0,10% ो 2,21% ौ 0,15% ् 3,02%		Litero Ofto ा 8,22% क 7,14% े 6,85% र 5,91% ह 4,82% स 3,78% न 3,48% ी 3,47% ं 3,44% म 3,28% ि 3,20% ् 3,02% त 2,89% प 2,66% ल 2,45% ो 2,21% य 2,20% ै 1,96% ब 1,78% द 1,68% व 1,62% ु 1,45% ज 1,39% ए 1,34% ग 1,31% च 1,16% थ 1,15% अ 1,01% औ 0,94% ू 0,81% उ 0,78% श 0,76% ड 0,75% ख 0,70% ़ 0,67% भ 0,67% आ 0,66% ट 0,57% छ 0,45% ध 0,36% फ 0,35% इ 0,31% ँ 0,30% ष 0,27% घ 0,20% ई 0,20% झ 0,19% ठ 0,17% ौ 0,15% ण 0,13% ृ 0,10% ओ 0,10% ॉ 0,10% ढ 0,09% ऊ 0,05% ऐ 0,03% ऑ 0,03% ञ 0,01% ः 0,01% ऋ 0,00% ॅ 0,00%

Vortlongoj

La mezumaj vortlongoj ankaŭ de diversaj ne-Latinalfabetaj lingvoj estas troveblaj tie ĉi: Ŝablono:Retarkivo.

Bedaŭrinde ne estas klare, kiel nomiĝas la aŭtoro kaj same ne estas klare, kiel grandaj estis la analizitaj tekstkorpusoj — laŭŝajne temas pri tiamaj testtekstoj por provi Unikodon.

Parencaj oftecoj

Vortoftecoj

La leĝo de Zipf

Alia ĉi-kampe interesa distribuado rilatas al la ofteco, ne de literoj, sed de tutaj vortoj en tekstkorpuso de specifa natura homa lingvo. La oftoj enrangiĝas — tamen nur proksimume — laŭ la Leĝo de Zipf. Laŭ ĝi la plej ofta vorto aperas duoble pli ofte ol la duarange plej ofta vorto.

En specifa korpuso el beletraĵoj montriĝis la sekva distribuo.

la 9864, kaj 4195, mi 3934, de 2819, li 2543, esti 2395, al 1969, ... ktp.

La Leĝo de Zipf diras, ke, se oni ordigas la elementojn de ensemblo — ekzemple la vortojn de teksto — laŭ iliaj oftecoj kaj laŭe enrangigas ilin, la probablo de ĉeesto de specifa elemento p(n) rilatas proksimume al la inverso de ties rangonumero n. Jen la laŭa matematika formulado.

$p(n)\sim \frac{1}{n}$

Do el la rangoj 1, 2, 3, 4, 5 ... iĝas 1, 1/2, 1/3, 1/4, 1/5 ... Do tiel — laŭ Zipf — rilatu la trovitaj porangaj nombroj aŭ porangaj probabloj inter si. La citita vortofteca listo sufiĉe bone obeas al tio.

Esperanto

Malmulte surprizas, ke okaze de Esperanto la estas la plej ofta vorto, sekvata eble de kaj. Tamen aliaj fontoj donas iomete aliajn vicordojn. Iam de dualokiĝas ankoraŭ antaŭ kaj.

Jen la 30 plej oftaj vortoj laŭ Christopher Gledhill.

Ordo/vorto 1 la 2 de 3 kaj 4 en 5 al 6 mi 7 estas 8 ne 9 por 10 li 11 ke 12 pri 13 vi 14 ni 15 sed

Ofteco 25528 12949 10046 5685 4472 4235 3804 3713 2925 2701 2633 2436 1918 1910 1908

% (8.2%) (4.1%) (3.2%) (1.8%) (1.4%) (1.4%) (1.2%) (1.2%) (0.9%) (0.9%) (0.8%) (0.8%) (0.6%) (0.6%) (0.6%)

Ordo/vorto 16 estis 17 ili 18 kun 19 kiu 20 tiu 21 tio 22 el 23 pli 24 kiel 25 oni 26 ankaŭ 27 ĝi 28 per 29 sur 30 se

Ofteco 1675 1500 1394 1390 1330 1229 1207 1201 1193 1178 1026 986 936 856 843

% (0.5%) (0.5%) (0.4%) (0.4%) (0.4%) (0.4%) (0.4%) (0.4%) (0.4%) (0.4%) (0.3%) (0.3%) (0.3%) (0.3%) (0.3%)

Jen la unuarangaĵoj, do la probabloj de la plej oftaj vortoj, de vortofteca analizo baze de la tekstokorpuso jam enkondukita. La ankoraŭ prezentota programo produktis ĝin. Preciza informo pri la enkondukitaj vortklasoj troviĝas en la akompana priskribo de la programo.

Vortofteco (nur eltiraĵo)
vorto	nombro	probablo
la	22800	Ŝablono:Bartable
kaj	11326	Ŝablono:Bartable
de	10218	Ŝablono:Bartable
en	5617	Ŝablono:Bartable
esti	5348	Ŝablono:Bartable
mi	4667	Ŝablono:Bartable
al	4592	Ŝablono:Bartable
ne	3444	Ŝablono:Bartable
kiu	3220	Ŝablono:Bartable
li	2997	Ŝablono:Bartable
ke	2628	Ŝablono:Bartable
por	2625	Ŝablono:Bartable
ŝi	2396	Ŝablono:Bartable
vi	2257	Ŝablono:Bartable
tiu	1938	Ŝablono:Bartable
ĝi	1864	Ŝablono:Bartable
kun	1847	Ŝablono:Bartable
sed	1718	Ŝablono:Bartable
ili	1669	Ŝablono:Bartable
sia	1500	Ŝablono:Bartable
sur	1432	Ŝablono:Bartable
el	1412	Ŝablono:Bartable
diri	1402	Ŝablono:Bartable
pri	1357	Ŝablono:Bartable
pli	1320	Ŝablono:Bartable
per	1316	Ŝablono:Bartable
mia	1297	Ŝablono:Bartable
da	1272	Ŝablono:Bartable
povi	1258	Ŝablono:Bartable
tio	1202	Ŝablono:Bartable
ni	1146	Ŝablono:Bartable
kiel	1102	Ŝablono:Bartable
oni	1036	Ŝablono:Bartable
ĉi	956	Ŝablono:Bartable
ĉiu	947	Ŝablono:Bartable
aŭ	932	Ŝablono:Bartable
via	842	Ŝablono:Bartable
havi	839	Ŝablono:Bartable
El 292561 vortoj

Rilate Esperanton specifa Fenton Stancliff pionire jam en 1932 okupiĝis pri tiu temo. Eĉ antaŭ li en 1927 laŭŝajne Sergej Rublov (Сергей Григорьевич Рублёв) jam ĉi-teme esploris.

La Angla lingvo

Jen simila listo por la Angla. Notu, ke la vortoj estas la praformoj, do la formoj, kiuj enlistiĝas kapvorte en Angla vortaro. Tiel be entenas ankaŭ is, was, are, were, ktp. Aliflanke, I kaj me estas apartaj, kio de Esperanta vidpunkto ŝajnas esti iomete nekonsekvenca.

Montriĝas nur rangoj, ne probabloj.

Rango Vorto 1 the 2 be 3 to 4 of 5 and 6 a 7 in 8 that 9 have 10 I

Rango Vorto 11 it 12 for 13 not 14 on 15 with 16 he 17 as 18 you 19 do 20 at

Rango Vorto 21 this 22 but 23 his 24 by 25 from 26 they 27 we 28 say 29 her 30 she

Rango Vorto 31 or 32 an 33 will 34 my 35 one 36 all 37 would 38 there 39 their 40 what

Rango Vorto 41 so 42 up 43 out 44 if 45 about 46 who 47 get 48 which 49 go 50 me

Jen troviĝas tre simpla nur rudimenta Aŭka programo por kalkuli vortoftecojn: Calculate word frequencies. Pli profesia programo troviĝas fine de tiu ĉi artikolo.

Ciferoftecoj

Varoj en superbutiko

Pomalgrandaj prezoj

Ĉi-kadre estas ankaŭ menciinde, ke ne nur literoj en tekstoj montras specifan distribuon. Ankaŭ ciferoj en multaj ĉiutagaj aplikoj de numeroj montras kelkajn ekkoneblajn distribuojn. Evidente, la plej ofta lasta, do plej dekstra cifero de la prezoj en superbazaro estas la 9. Ĉio kostas 1,99€ kaj preskaŭ neniam 2,00€. Laŭ studo el 1997 publikigita en Marketing Bulletin:

• ĉirkaŭ 60% de prezoj en reklamoj finiĝis je la cifero 9.

Verdire, por ekkoni tion ne necesas esti profesia statistikisto aŭ komisii ampleksan sciencan esploron.

La leĝo de Benford

Tamen pli malmulte evidenta ekzemplo troviĝas en multaj kontoj de ĝenerala komerca kontado rilate la komencan ciferon de la enkontaĵoj. Ekzemple, tie ne estas tiel, ke ĉiuj ciferoj aperas same ofte en la plej maldekstra ciferloko de numero — normalokaze ili sekvas la tielnomatan Leĝon de Benford. Laŭ ĝi la cifero 1 aperas 30% ofte sed la cifero 9 nur malpli ol 5% ofte. Do koni la ĝustan atendatan distribuon de la unualokaj ciferoj kaj sekve ekkoni iujn strangajn diverĝojn helpas al revizoroj malkovri falsadon kaj fraŭdadon.

Numere la unualokaj ciferoj distribuiĝas laŭ la Leĝo de Benford kiel montrataj en la suba diagramo. Tie d estas la unualoka cifero kaj P(d) estas ties probablo.

d	P(d)	Proporcia grando de P(d)
1	Ŝablono:Bartable
2	Ŝablono:Bartable
3	Ŝablono:Bartable
4	Ŝablono:Bartable
5	Ŝablono:Bartable
6	Ŝablono:Bartable
7	Ŝablono:Bartable
8	Ŝablono:Bartable
9	Ŝablono:Bartable

Bonvolu noti, ke la Leĝo de Benford utildone aplikeblas nur, se la ensemblo de numeroj pritraktota estas sufiĉe granda, transpontas kelkajn grandordojn — do potencigojn de 10 — kaj prefere — sed ne senescepte — devenas de iu realviva praktika uzado.

Malantaŭ tiu ĉi distribuo de komencaj ciferoj de numeroj skribitaj laŭ dekuma numersistemo staras logaritmoj je la bazo 10. Jen la laŭa formulo.

$P(d)={\log }_{10}(d+1)-{\log }_{10}(d)={\log }_{10}(1+\frac{1}{d})$

Alivorte, tute ĝenerale, nombroj, kaj ties rilataj numeroj, distribuiĝas trans la tuta ebla skalo de numeraj valoroj, do la numerspaco, ne lineare, sed logaritme. El tio sekvas tiu ĉi iomete surpriza distribuo de numerkomencaj ciferoj.

Simila distribuo estas observebla por la kombino de la unuaj du ciferoj de la numeroj en granda ensemblo. Tamen, ju pli dekstre cifero staras ene de numero, des pli ĝia distribuo foras de Benford-aĵo kaj alproksimiĝas al plene lineara distribuo kun probablo de po 10% por ĉiu cifervaloro.

Tamen, defie al ĉiuj matematikistoj, ne en via loka superbazaro. Tie dekstre egege naŭas!

Aldonaĵo

AWK-programo — Oftecoj

Priskribo

Jen Aŭka programo por mezuri ĉiujn la diskutitajn literajn kaj vortajn oftecojn en Esperanta tekstdosiero kodita laŭ la X-sistemo. Ĝi eligas sinsekvajn tabelojn kun histogramoj laŭnecese en la formatoj Askia, HTML-a kaj Vikitabela. por ĉiuj literaj kaj vortaj statistikaĵoj diskutitaj tie ĉi.

Jen:

• ĝenerala literofteco
• vortkomenca literofteco
• vortfina literofteco
• vortlonga distribuo kun averaĝa vortlongo
• vortofteco

En la sekcio BEGIN oni povas laŭplaĉe ŝalti kaj malŝalti la produktotajn statistikaĵojn kaj elekti, kiuj formatoj estu eligotaj. Normalokaze la liternombraj funkcioj de la programo bezonas nur kelkajn deksekundojn por analizi grandan tekstkorpuson. Tamen depende de la rapido de la komputilo kaj la grando de la tekstkorpuso la funkcio vortofteco povos bezoni kelkajn dekminutojn por finiĝi. Por unua testo oni eble lasu ĝin malŝaltita.

Rilate la vortoftecan funkcion, la difinitaj vortklasoj estas O-vortoj, A-vortoj, E-vortoj, verboj (sen participoj), ĉio alia.

Alivorte, pluraloj kaj akuzativoj kondukas al la baza O-a, A-a aŭ E-a formo. Simile pri vortoj kiel vin kaj tiujn, kiuj iĝas vi kaj tiu. La verbaj finaĵoj -as, -is, -os, -us kaj -u kondukas al -i. Verbaj participoj iĝas O-, A- aŭ E-vorto, do amantojn iĝas amanto kaj ne ami.

Por uzi, kopiu la programon per tiraĵo de la muso ene de la rulfenestro kaj tiam — enpoŝigi kaj elpoŝigi rekte de via krozilo en tekstdosieron — ekz oftecoj.awk — kaj eklanĉu per:

awk -f oftecoj.awk teksto.cx >rezultoj.cx

aŭ simile. Evidente, por tio necesas havi Aŭkon jam instalitan sur sia komputilo. Linuksaj kaj Uniksaj sistemoj havas jam Aŭkon ferdeke. Same (supozeble) pri Makintoŝo. Por Vindozaj sistemoj oni povas elŝuti la programon de la Gnu-a retejo. Aŭko estas rultempa interpretilo — alivorte ĝi digestas rekte fontaĵojn.

Notu, ke por konverti tekstojn el ekz. Unikodo al X-sistemo aplikeblas UniRed.

Tiel ĉiu povos kunmeti kaj esplori propran tekstkorpuson kaj produkti analizon de la vortkomenca literofteco, la vortfina literofteco, la ĝenerala literofteo, la distribuiĝo de vortlongoj kun mezuma vortlongo, kaj la vortofteco ene de la programo prezentita tekstkorpuso.