Linguistica computazionale

Strumenti Utente

Strumenti Sito

Traccia:
distribuzione_delle_frequenze

Differenze

Queste sono le differenze tra la revisione selezionata e la versione attuale della pagina.

Link a questa pagina di confronto

Entrambe le parti precedenti la revisione Revisione precedente
Prossima revisione 		Revisione precedente
distribuzione_delle_frequenze [2021/10/25 14:10]
65.21.180.48 versione precedente ripristinata (2021/06/02 18:15) 		distribuzione_delle_frequenze [2024/07/07 18:48] (versione attuale)
admin
Linea 1: Linea 1:
 ====== Distribuzione delle frequenze ====== ====== Distribuzione delle frequenze ======
 Esemplificazione su una singola frase. Si noti, innanzitutto, la funzione set(), che crea un insieme privo di elementi ripetuti. La lunghezza della frase 'splittata' equivale al numero di parole-token (occorrenze), mentre la lunghezza dell'insieme ottenuto attraverso la funzione set() equivale al numero di parole-type (forme). Si noti, inoltre, la sintassi della riga 10 detta 'comprensione di lista' (ingl. 'list comprehension', cf. [[http://docs.python.org/2/tutorial/datastructures.html#list-comprehensions|documentazione]]). Esemplificazione su una singola frase. Si noti, innanzitutto, la funzione set(), che crea un insieme privo di elementi ripetuti. La lunghezza della frase 'splittata' equivale al numero di parole-token (occorrenze), mentre la lunghezza dell'insieme ottenuto attraverso la funzione set() equivale al numero di parole-type (forme). Si noti, inoltre, la sintassi della riga 10 detta 'comprensione di lista' (ingl. 'list comprehension', cf. [[http://docs.python.org/2/tutorial/datastructures.html#list-comprehensions|documentazione]]).
-<code python>+<code python frequenze_frase.py>
 import matplotlib.pyplot as plt import matplotlib.pyplot as plt
 frase='quando un uomo con la pistola incontra un uomo con il fucile quello con la pistola è un uomo morto' frase='quando un uomo con la pistola incontra un uomo con il fucile quello con la pistola è un uomo morto'
Linea 28: Linea 28:
 ---- ----
 Applicazione al testo 'Pinocchio': Applicazione al testo 'Pinocchio':
-<code python>+<code python frequenze_pinocchio.py>
 import re import re
 import matplotlib.pyplot as plt import matplotlib.pyplot as plt
-with open('testi/collodi_pinocchio.txt', mode='r', encoding='iso-8859-1') as f: testo = f.read()+f = open('testi/collodi_pinocchio.txt', mode='r', encoding='iso-8859-1') 
 +testo = f.read()
 testo=testo[1704:] testo=testo[1704:]
 +
 +# istruzioni per l'affinamento della tokenizzazione
 testo=re.sub("'","' ", testo) testo=re.sub("'","' ", testo)
 testo=re.sub("([^\.]+)([\.,;:\!-]+)","\g<1> \g<2>", testo) testo=re.sub("([^\.]+)([\.,;:\!-]+)","\g<1> \g<2>", testo)
 testo=testo.lower() testo=testo.lower()
 +# fine istruzioni per l'affinamento della tokenizzazione
 +
 testo=testo.split() testo=testo.split()
 fd=[testo.count(i) for i in set(testo)] fd=[testo.count(i) for i in set(testo)]
 fd.sort(reverse=True) fd.sort(reverse=True)
-plt.plot(range(1,51),fd[0:50],'-')+plt.plot(range(1,51),fd[0:50],'.')
 plt.show() plt.show()
 </code> </code>
 ---- ----
 Il codici seguente usano una lista di tuple, denominata "occ_forma", di struttura (numero_occorrenze, forma) per ordinare contemporaneamente, secondo l'ordine decrescente di frequenza, tanto i valori di frequenza quanto le forme secondo la frequenza. In questo modo è possibile creare una lista di forme ordinata per frequenza, denominata 'forme', da usare per le etichette dell'asse orizzontale del grafico (mediante la funzione plt.xticks). Il codici seguente usano una lista di tuple, denominata "occ_forma", di struttura (numero_occorrenze, forma) per ordinare contemporaneamente, secondo l'ordine decrescente di frequenza, tanto i valori di frequenza quanto le forme secondo la frequenza. In questo modo è possibile creare una lista di forme ordinata per frequenza, denominata 'forme', da usare per le etichette dell'asse orizzontale del grafico (mediante la funzione plt.xticks).
-<code python 1> +<code python frequenze_etichettate_frase.py> 
-frase=u'quando un uomo con la pistola incontra un uomo con il fucile quello con la pistola è un uomo morto'+frase='quando un uomo con la pistola incontra un uomo con il fucile quello con la pistola è un uomo morto'
 frase=frase.split() frase=frase.split()
 occ_forma=[(frase.count(i),i) for i in set(frase)] occ_forma=[(frase.count(i),i) for i in set(frase)]
 print(occ_forma) print(occ_forma)
 occ_forma.sort(reverse=True) occ_forma.sort(reverse=True)
-print (occ_forma)+print(occ_forma)
 fd=[i[0] for i in occ_forma] fd=[i[0] for i in occ_forma]
 forme=[i[1] for i in occ_forma] forme=[i[1] for i in occ_forma]
-plt.plot(range(len(fd)),fd, '-')+plt.plot(range(len(fd)),fd, '.')
 plt.xticks(range(len(fd)),forme, rotation='vertical') plt.xticks(range(len(fd)),forme, rotation='vertical')
 plt.show() plt.show()
- 
 </code> </code>
  
  
- +<code python frequenze_etichettate_pinocchio.py> 
- +import re
-<code python 1> +
-import codecs+
 import matplotlib.pyplot as plt import matplotlib.pyplot as plt
-file=codecs.open('Documents/collodi_pinocchio.txt', encoding='iso-8859-1', mode='r') +f = open('testi/collodi_pinocchio.txt', mode='r', encoding='iso-8859-1') 
-testo=file.read() +testo = f.read() 
 +testo=testo[1704:]
 # istruzioni per l'affinamento della tokenizzazione # istruzioni per l'affinamento della tokenizzazione
-# ...+testo=re.sub("'","' ", testo) 
 +testo=re.sub('[\.,;:\-?!]{1}','',testo)#elimina gli interpunti 
 +testo=testo.lower() 
 +# fine istruzioni per l'affinamento della tokenizzazione
  
 testo=testo.split() testo=testo.split()
Linea 77: Linea 82:
 forme=[i[1] for i in occ_forma] forme=[i[1] for i in occ_forma]
 n=50 n=50
-plt.plot(range(n),fd[0:n], '-')+plt.plot(range(n),fd[0:n], '.')
 plt.xticks(range(n),forme[0:n], rotation='vertical') plt.xticks(range(n),forme[0:n], rotation='vertical')
 plt.show() plt.show()
 </code> </code>
 +
 +{{::frequenze_etichettate.png?800|}}
distribuzione_delle_frequenze.1635171042.txt.gz · Ultima modifica: 2021/10/25 14:10 da 65.21.180.48

Strumenti Pagina

Ad eccezione da dove è diversamente indicato, il contenuto di questo wiki è soggetto alla seguente licenza: CC Attribution-Share Alike 4.0 International
CC Attribution-Share Alike 4.0 International Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki