Linguistica computazionale

Strumenti Utente

Strumenti Sito

Traccia:
rappresentazioni_vettoriali

Differenze

Queste sono le differenze tra la revisione selezionata e la versione attuale della pagina.

Link a questa pagina di confronto

Entrambe le parti precedenti la revisione Revisione precedente
Prossima revisione 		Revisione precedente
rappresentazioni_vettoriali [2024/07/09 11:46]
admin 		rappresentazioni_vettoriali [2026/04/28 13:38] (versione attuale)
admin
Linea 2: Linea 2:
 ===== Preparazione ===== ===== Preparazione =====
   * Creare un cartella "vettori" all’interno della propria directory di lavoro;   * Creare un cartella "vettori" all’interno della propria directory di lavoro;
-  * Copiare nella cartella "vettori" il file [[https://unior.glottoteca.it/computazionale/vettori/model10000.txt]] che contiene i primi 10000 vettori compresi in un “vocabolario” di vettori italiani creato nell’ambito del progetto CoNLL 2017 Shared Task (cf. https://aclanthology.org/K17-3001/). Pubblicato a cura di Andrey Kutuzov, questo vocabolario è scaricabile nella versione integrale da 2469122 vettori alla pagina http://vectors.nlpl.eu/repository (vocabolario n. 52). I vettori sono stati generati applicando l’algoritmo word2vec (nella versione “Continuous Skipgram”) a un corpus non lemmatizzato di 5364254134 parole unità (Italian CoNLL17 corpus).+  * Copiare nella cartella "vettori" il file [[https://unior.glottoteca.it/computazionale/vettori/model10000.txt]] che contiene i primi 10000 vettori compresi in un “vocabolario” di vettori italiani creato nell’ambito del progetto CoNLL 2017 Shared Task (cf. https://aclanthology.org/K17-3001/). Pubblicato a cura di Andrey Kutuzov, questo vocabolario è scaricabile nella versione integrale da 2469122 vettori alla pagina http://vectors.nlpl.eu/repository (vocabolario n. 52). I vettori sono stati generati applicando l’**algoritmo word2vec** (nella versione “Continuous Skipgram”) a un corpus non lemmatizzato di 5364254134 parole unità (Italian CoNLL17 corpus).
 ===== I vettori in formato testo ===== ===== I vettori in formato testo =====
   * Nel nostro file i vettori sono registrati come righe di testo che comprendono la parola rappresentata seguita da uno spazio seguito a sua volta dai valori numerici delle componenti dei vettori intervallati da spazi.   * Nel nostro file i vettori sono registrati come righe di testo che comprendono la parola rappresentata seguita da uno spazio seguito a sua volta dai valori numerici delle componenti dei vettori intervallati da spazi.
Linea 14: Linea 14:
 Ciascuna componente è un numero reale compreso tra 1 e -1. Ogni vettore può essere visto come una freccia che parte dall’origine e punta verso un punto le cui coordinate coincidono con le componenti del vettore in uno spazio cartesiano di 100 dimensioni (per cui ogni punto ha 100 coordinate anziché averne 2 - come accade quando si lavora con un piano - o 3 - come accade quando si lavora con il consueto spazio tridimensionale). Ciascuna componente è un numero reale compreso tra 1 e -1. Ogni vettore può essere visto come una freccia che parte dall’origine e punta verso un punto le cui coordinate coincidono con le componenti del vettore in uno spazio cartesiano di 100 dimensioni (per cui ogni punto ha 100 coordinate anziché averne 2 - come accade quando si lavora con un piano - o 3 - come accade quando si lavora con il consueto spazio tridimensionale).
 ===== Script python per leggere i vettori e calcolarne il coseno ===== ===== Script python per leggere i vettori e calcolarne il coseno =====
-  * Occorre tenere presenti le tre formule seguenti: 1) formula analitica del prodotto scalare tra vettori, secondo la quale il prodotto scalare tra due vettori si può calcolare come somma dei prodotti tra le componenti omonime dei vettori:+  * Occorre tenere presenti le tre formule seguenti: 1) **formula analitica del prodotto scalare tra vettori**, secondo la quale il prodotto scalare tra due vettori si può calcolare come somma dei prodotti tra le componenti omonime dei vettori:
  
 $$ $$
 \vec{a}\cdot\vec{b}=\sum_{i=1}^{n} a_{i}b_{i} \vec{a}\cdot\vec{b}=\sum_{i=1}^{n} a_{i}b_{i}
 $$ $$
-  * 2) formula della norma di un vettore, secondo la quale la norma di un vettore è pari alla radice quadrata della somma dei quadrati delle componenti del vettore:+  * 2) **formula della norma di un vettore**, secondo la quale la norma di un vettore è pari alla radice quadrata della somma dei quadrati delle componenti del vettore:
 $$ $$
 \lVert \vec{a} \rVert =\sqrt{\sum_{i=1}^{n} a_{i}^{2}} \lVert \vec{a} \rVert =\sqrt{\sum_{i=1}^{n} a_{i}^{2}}
 $$ $$
-  * 3) formula del coseno:+  * 3) **formula del coseno**:
 $$ $$
 cos(\theta) = \frac{\vec{a}\cdot\vec{b}}{\lVert \vec{a} \rVert \lVert \vec{b} \rVert} cos(\theta) = \frac{\vec{a}\cdot\vec{b}}{\lVert \vec{a} \rVert \lVert \vec{b} \rVert}
 $$ $$
-  * quest’ultima discende direttamente dalla definizione di prodotto scalare tra vettori, secondo la quale il prodotto scalare tra due vettori equivale al prodotto delle loro norme dei vettori moltiplicato per il coseno dell’angolo convesso compreso tra essi: $$ \vec{a}\cdot\vec{b}=\lVert \vec{a} \rVert \lVert \vec{b} \rVert \hspace{2pt} cos(\theta)$$+  * quest’ultima discende direttamente dalla definizione di prodotto scalare tra vettori, secondo la quale il prodotto scalare tra due vettori equivale al prodotto delle loro norme moltiplicato per il coseno dell’angolo convesso compreso tra essi: $$ \vec{a}\cdot\vec{b}=\lVert \vec{a} \rVert \lVert \vec{b} \rVert \hspace{2pt} cos(\theta)$$ 
 +  * In base alle formule che abbiamo visto è possibile trovare il coseno dell’angolo compreso tra due vettori a partire dalle singole componenti di ciascun vettore. Questa formula è utile in quanto sono proprio le singole componenti dei vettori a rappresentare i nostri dati di partenza: 
 +$$ 
 +cos(\theta) = \frac{\sum_{i=1}^{n} a_{i}b_{i}}{\sqrt{\sum_{i=1}^{n} a_{i}^{2}} \sqrt{\sum_{i=1}^{n} b_{i}^{2}}} 
 +$$ 
   * Lo script seguente:   * Lo script seguente:
     * definisce le funzioni per calcolare il prodotto scalare di due vettori (dot) (sulla base della formula analitica), la norma di un vettore (norm) e il coseno tra due vettori (cosine) – le definizioni delle tre funzioni sono l’espressione in python delle tre formule riportate qui sopra –;     * definisce le funzioni per calcolare il prodotto scalare di due vettori (dot) (sulla base della formula analitica), la norma di un vettore (norm) e il coseno tra due vettori (cosine) – le definizioni delle tre funzioni sono l’espressione in python delle tre formule riportate qui sopra –;
Linea 35: Linea 40:
 <code python w2vita.py> <code python w2vita.py>
 import numpy as np import numpy as np
 +
 +def dot(a,b):
 +    return sum(a[i]*b[i] for i in range(len(a)))
 +
 +def norm(a):
 +    return sum(n**2 for n in a)**(1/2)
 +    
 +def cosine(a,b):
 +    return dot(a,b)/(norm(a)*norm(b))
 +
 +'''
 dot=lambda a,b: sum(a[i]*b[i] for i in range(len(a))) dot=lambda a,b: sum(a[i]*b[i] for i in range(len(a)))
 norm=lambda a: sum(n**2 for n in a)**(1/2) norm=lambda a: sum(n**2 for n in a)**(1/2)
 cosine=lambda a,b: dot(a,b)/(norm(a)*norm(b)) cosine=lambda a,b: dot(a,b)/(norm(a)*norm(b))
- +''' 
-with open('vettori/model10000.txt', errors="ignore") as file:+with open('vettori/model10000.txt', errors="ignore") as file: #attenzione se il file non si trova in una sottocartella denominata vettori eliminare la sottostringa "vettori/"
     lines=file.readlines()     lines=file.readlines()
 vectors={} vectors={}
Linea 49: Linea 65:
         vector.append(float(number))         vector.append(float(number))
     vectors.update({term:np.array(vector)})     vectors.update({term:np.array(vector)})
-    + 
 +confronti = { 
 +    "ragazza vs donna": (vectors['ragazza'], vectors['donna']), 
 +    "ragazza vs ragazzo": (vectors['ragazza'], vectors['ragazzo']), 
 +    "ragazza vs (ragazzo + donna)": (vectors['ragazza'], vectors['ragazzo'] + vectors['donna']), 
 +    "ragazza vs (ragazzo - uomo + donna)": (vectors['ragazza'], vectors['ragazzo'] - vectors['uomo'] + vectors['donna']) 
 +} 
 + 
 +for etichetta, (vec_a, vec_b) in confronti.items(): 
 +    print(f"COSENO {etichetta.upper()}:") 
 +    print(f"{cosine(vec_a, vec_b)}\n") 
 +'''
 print("COSENO TRA 'ragazza' E 'donna':") print("COSENO TRA 'ragazza' E 'donna':")
 print(cosine(vectors['ragazza'],vectors['donna'])) print(cosine(vectors['ragazza'],vectors['donna']))
Linea 67: Linea 94:
 print("COSENO TRA 'regina' E 're'−'uomo'+'donna':") print("COSENO TRA 'regina' E 're'−'uomo'+'donna':")
 print(cosine(vectors['regina'],vectors['re']-vectors['uomo']+vectors['donna'])) print(cosine(vectors['regina'],vectors['re']-vectors['uomo']+vectors['donna']))
 +'''
 </code> </code>
 +Alternativa senza l’impiego della libreria numpy:
 +<code python w2vita_bis.py>
 +def dot(a,b):
 +    return sum(a[i]*b[i] for i in range(len(a)))
 +
 +def norm(a):
 +    return sum(n**2 for n in a)**(1/2)
 +
 +def cosine(a,b):
 +    return dot(a,b)/(norm(a)*norm(b))
 +
 +def v_sum(a,b):
 +    return tuple(a[i]+b[i] for i in range(len(a)))
 +
 +def v_subtr(a,b):
 +    return tuple(a[i]-b[i] for i in range(len(a)))
 +
 +
 +with open('model10000.txt', errors="ignore") as file:
 +    lines=file.readlines()
 +vectors={}
 +for line in lines:
 +    line=line.split()
 +    term=line.pop(0) # term=v[0]; v=v[1:]
 +    vector=[]
 +    for number in line:
 +        vector.append(float(number))
 +    vectors.update({term:tuple(vector)})
 +
 +'''    
 +print("COSENO TRA 'ragazza' E 'donna':")
 +print(cosine(vectors['ragazza'],vectors['donna']))
 +print("COSENO TRA 'ragazza' E 'ragazzo'")
 +print(cosine(vectors['ragazza'],vectors['ragazzo']))
 +print("COSENO TRA 'ragazza' E 'ragazzo'+'donna':")
 +print(cosine(vectors['ragazza'],v_sum(vectors['ragazzo'],vectors['donna'])))
 +print("COSENO TRA 'ragazza' E 'ragazzo'−'uomo'+'donna':")
 +print(cosine(vectors['ragazza'],v_sum(v_subtr(vectors['ragazzo'],vectors['uomo']),vectors['donna'])))
 +print()
 +print("COSENO TRA 'regina' E 'donna':")
 +print(cosine(vectors['regina'],vectors['donna']))
 +print("COSENO TRA 'regina' E 're'")
 +print(cosine(vectors['regina'],vectors['re']))
 +print("COSENO TRA 'regina' E 're'+'donna':")
 +print(cosine(vectors['regina'],v_sum(vectors['re'],vectors['donna'])))
 +print("COSENO TRA 'regina' E 're'−'uomo'+'donna':")
 +print(cosine(vectors['regina'],v_sum(v_subtr(vectors['re'],vectors['uomo']),vectors['donna'])))
 +'''
 +</code>
 +
 +
 +
 Dovrebbero apparire i seguenti risultati: Dovrebbero apparire i seguenti risultati:
 <code python> <code python>
rappresentazioni_vettoriali.1720525588.txt.gz · Ultima modifica: 2024/07/09 11:46 da admin

Strumenti Pagina

Ad eccezione da dove è diversamente indicato, il contenuto di questo wiki è soggetto alla seguente licenza: CC Attribution-Share Alike 4.0 International
CC Attribution-Share Alike 4.0 International Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki