Social Media aren’t votes. Primary election and predictive models

Italian version

The case of the 2012 centre-left primary election was the first important italian event of collective participation in a political action that has found in SNSs a valuable sounding board. Thousands of twitters and posts on Facebook have turned the challenge for determine the coalition’s leadership in a great storytelling, where politicians and civil society, thanks to SNSs, have competed on equal terms to give a voice to their demands. Facebook, LinkedIn, Twitter, and other social media tools have changed the way many people communicate, getting the mass political arena denser, more complex and more participatory. This is proved, for instance, by the increasing comments on Twitter during the television debate among the five contenders, that was aired on SkyTg24: according to Blogmeter, the involvement of this primary election has reached record highs in Italy with 127.426 tweets about this subject from 30 minutes before the start of the television program to 30 minutes after the end.

If undoubtedly traditional and social media tools both have central role in shaping political sphere, more controversial is the use of big data extracted from Facebook, Twitter or Google to build a predictive model for the election. In fact, during the campaign for the Republican presidential nomination, many scholars argued about theoretical limits of predictive analysis, that can’t be overcame simply with more advanced technology. Despite a group of researchers of München University in occasion of the German federal election has conducted a content analysis of over 100,000 messages containing a reference to either a political party or a politician and it has proved that Twitter is widely used for the political deliberations, the employ of a statistical algorithms as a model for extracting big data has yet to become an accurate tool able to predict the election outcome (for a literacy review see also this recent article about United States presidential primary).

As Michel Wu explains, we need three requirements to validate any statistical model or algorithm that aims to become predictive – from Apple’s stock price to the percentage shares of the politician: 1. a model or algorithm that compute some predicted outcome (e.g. the leverage of the traffic that is spawned by the politician followers); 2. an independent measure of the outcome that the model is trying to predict (e.g. the opinion poll results) 3. a measure that compares and quantifies how closely the predicted outcome matches the measured independently outcome.

The main point is the second: having a measure that is really independent from the results obtained by the social media monitoring tools. It should be pretty obvious, but the risk is to fall into the fallacy of circular reasoning: that is, using likes and retweets for building a model that is extended to the whole sample. Hence the need to use a variable for comparison: in our case, the opinion polls.

Method

Influenced from the attractive and effective method used by Nate Silver to predict the outcomes ofUnited States presidential primary, we have decided to employ a different prospective to measure the impact of social media on the level of candidates’ popularity. The data extracted from social media are often used as proxies of electoral success of a politician or a party. Sometimes the research is based on quantitive analysis; other times, with the aid of sentiment analysis, it’s more focused on the area of the subjective opinions, emotions and human affects available in the social web in the forms of news, reviews, blogs, chats and even twitters. Our approach is different: we use the data extracted from social media for comparing and correcting the results of exit polls conducted by pollsters and media agencies to query voters about their voting selection. For this purpose, we have picked up 30 exit polls from October 1st to November 23th 2012. The data of exit polls don’t refer to their spreading, but to their effective carrying out. When in a day there are many exit polls, we have taken into account their average value. Data are openly available on the site sondaggipoliticoelettorali.it.

Thanks to collaboration with Blogmeter, we also have picked up – for the most important candidates (Pierluigi Bersani, Matteo Renzi and Nichi Vendola) and for the same period of time – all the main metrics relative to their official presence on Twitter and Facebook  (total number of fun/followers, new fun/followers for a day/, Facebook People Talking About, Twitter Mentions, Facebook and Twitter engagement).

After a set of first analysis focused on the use of all the social media indicators, we have built a predictive model for every candidate based on some correctives that we have computed from Facebook People Talking About and Twitter Mentions. The correctives are estimated on the basis of the temporal correlation between the time trend in consensus measured from the opinion polls  and the trend of the metrics we have taken in account. The model, based on a multiple linear regression (MLR), allows us to estimate the corrective values for obtaining, on the basis of a trend extracted from the polls, a prevision of the electoral result for every candidate.

As we can see from the analysis of the graphs, in the case of Pierluigi Bersani the spread between the data obtained from our prevision and the electoral result is 4.16 percentage points, whereas the spread derived from the data computed by the average of trend time of consensus in the opinion polls, in a period of time from October 1st to November 23th 2012, is 5.41 percentage points. Instead, in the case of Matteo Renzi, the spread between the data obtained from our metrics and the electoral result is 2.85 percentage points, whereas the spread computed by the average of trend time in the same period of time is 3.33 percentage points. At last, if we see the data relative to Nichi Vendola, we notice that our spread is equal to 0.09, whereas the spread between the data of election and the average of polls is 0.12.

We can infer that our model shows an excellent predictive ability – that is apparent mostly in the case of Nichi Vendola – compared with the historical trend of opinion polls in a period of time of about two months. The reason of this predictive ability is because our model is calibrated on a metrics that combine together indicators of engagement obtained both from Facebook and Twitter  and it provides different analysis for every single candidate. Showing data amount separately for every politician of the primary election, we find out, for instance, that the total volume of mention don’t’ always is  positive for the candidate but it assumes a different meaning depending on the politician and, probably, on the material contents. Our data show, for instance, that Vendola’s talking abouts led to a negative coefficient that, most likely,  change electoral preferences.

These research show us how is difficult to build predictive model that not considers the politician’s different communication strategies: in fact, every politician has own discursive style, ways of dialogue and ability to handle many digital platforms. And it should be considered that every candidate has a favored target, with socio-demographic or cultural variables that could be discordant. We should consider not only that the reality of the mass media isn’t statistically representative of the entire population, but also that the specific behaviors of every candidate using the most popular SNS’s  like Facebook and Twitter are to hard to generalize. All of this lead us to rethink the relationship between predictive models and social media, especially when we deal with social events so complex as the politics and the building of a public sphere, that are able to easily overlapping offline and online experiences.

The predictive reality and the social media

In this context, we should consider that SNSs aren’t a representative sample either of the entire population or the voters. It should be a commonplace, but it become a fact not so evident because of the overload of news and researches on every political fact, public debate e.g., that pretend to measure the political engagement rate, starting from the numbers of tweets or comments on politicians’ Facebook pages or those of the political party or the political television shows, e.g.

In fact, the researchers begin to understand that there are specific processes of autoselection that provide a more political powerful use of the net, from all those citizens that are previously involved or that are actives (Norris 2001), or that have the cultural and technological resources needful to practice an active citizenship (Bentivegna 2009). There aren’t a simple process of convergence between voters’ attitude and their offline and online political practices, not useful especially for predictive analysis. Is not the number of the politician’s followers or his level on engagement on a Facebook page that it let us predict the electoral choices. In the case of the 2012 centre-left primary election, Nichi Vendola had the most of fans online, about 250.000 on Twitter and more than 500.000 on Facebook and Matteo Renzi had the most high levels of engagement (see Vincenzo Cosenza’s data analysis), whereas Pierluigi Bersani, the candidate who have gotten the most of voters’ electoral preferences, had a lower amount of data.

This doesn’t mean that there is a clear difference between online and offline spheres. The ongoing incidence of the net in the people’s daily life broadens the political involvement in a continuum that includes the real experience, the media consumption and the practices of online engagement (Dahlgren 2009). But this doesn’t concern all the voters, because not all people actually act in the online life.

Networked public spheres and the interpretation of reality

We must understand how it make possible thinking about this dual form of  representativeness and what kind of relationship exists between these. This question could open the way to remarkable researches in predictive analytics on social networks. The value of likes of political candidates’ pages on Facebook (Giglietto 2012) is connected to politicians’ abilities of using the SNS strategically and having a conversation with users. Nevertheless, this ability can’t necessarily help predicting the election polls, because we must always take into account the weight of the mass media in shaping the public opinion. For this reason our research intends to rethink the use of social media in predictive key, not using this medium as the only source of data, but as a reality that we have to connect with a more traditional source of data as opinion polls.

We need to build a relationship between the different public spheres in which it’s possible to express a public opinion, as it happens in the mainstream media, and a opinion in public, as it happens in the social media. For this reason, we prefer talking about networked public spheres (Boccia Artieri 2012). In that regard, the social media can be considered as conversational correctives of opinion polls. It establishes a connection between the real choice among the politician candidates and the strategic use of SNSs as political communication tools that aim for increasing their visibility and the engagement – see the employ of hashtag for joining people around a issue. It’s a first corrective idea that has met a positive response in our model, that links together the opinion polls with the single candidate’s levels of engagement: Mentions on Twitter and Talking About on Facebook. For improving our model, we should add the sentiment analysis, a method that apply quantitative tools for measuring opinions, feelings and emotions from online textual contents. There are many remarkable examples about this, bur remains unsolved, especially in the political field, the question of irony: how it could treat, e.g., the contents on Twitter and Facebook generated by Marxisti per Tabacci? Moreover, it should also consider that there are other elements that might lead to increase the public sphere, as news websites and blogs, where people generates and shares opinions and tools of engagement (share, like, comments). In that sense, it’s considerable, for instance, that Pierluigi Bersani is the candidate who have obtained the most number of mentions on news websites and blogs. This research on the centre-left primary election in Italy is a first step to an integrated model that aim at reading a complex reality where online and offline must be considered as a continuum. Also in a predictive key.

Research team
Giovanni Boccia Artieri – Università di Urbino Carlo Bo
Manolo Farci – Università di Urbino Carlo Bo
Fabio Giglietto – Università di Urbino Carlo Bo
Luca Rossi – Università di Urbino Carlo Bo
Elisabetta Zurovac – Università di Urbino Carlo Bo

Bibliography

Boccia Artieri G. (2012), Stati di connessione. Pubblici, cittadini, consumatori nella (Social) Network Society, FrancoAngeli, Milano.
Bentivegna S. (2009), Disuguaglianze digitali. Le nuove forme di esclusione nella società dell’informazione, Laterza, Roma-Bari.
Dahlgren P. (2009), Media and Political Engagement. Citizens, Communication and Democracy, Cambridge University Press.
Norris P. (2001), Digital Divide: Civic Engagement, Information Poverty and the Internet Worldwide, Cambridge University Press, Cambridge MA.
Giglietto, F. (2012), If Likes Were Votes: An Empirical Study on the 2011 Italian Administrative Elections. International AAAI Conference on Weblogs and Social Media; Sixth International AAAI Conference on Weblogs and Social Media. Retrieved from http://www.aaai.org/ocs/index.php/ICWSM/ICWSM12/paper/view/4577

I social media non sono voti: le primarie del centrosinistra e l’analisi predittiva

English version

Il fenomeno delle primarie del centrosinistra ha rappresentato il primo grande appuntamento italiano di partecipazione collettiva ad una iniziativa politica che ha trovato nei social network una fondamentale cassa di risonanza. Migliaia di cinguettii su Twitter e post su Facebook hanno trasformato la sfida alla candidatura per il ruolo di nuovo leader del centro-sinistra in un grande mosaico narrativo che ha visto politici e società civile giocarsi, armi alla pari, la capacità mediale offerta dai social media di rappresentare le proprie istanze, costituendosi come una appendice sempre più complementare alle arene istituzionali della comunicazione di massa. Lo dimostra, ad esempio, il dibattito che si è scatenato su Twitter durante il confronto televisivo tra i cinque candidati andato in onda su SkyTg24: secondo Blogmeter, la partecipazione ha battuto ogni record in Italia, con 127.426 tweet sull’argomento in un arco temporale che va da mezz’ora prima a mezz’ora dopo la trasmissione.
Se risulta indubbia, dunque, la capacità dei social media di dialogare attivamente con l’agenda dei mezzi di comunicazione più tradizionali, molto più controverso è l’utilizzo della innegabile mole di dati offerti dai social media come strumenti per sviluppare analisi di tipo predittivo sull’esito delle elezioni. D’altronde, già in occasione delle primarie repubblicane che si sono tenute negli Stati Uniti nel Giugno 2012, ci si era interrogati sui limiti teoretici delle analisi predittive, limiti che difficilmente possono essere superati attraverso l’implementazione di tecnologie più sofisticate di social media monitoring. Sebbene una recente ricerca realizzata da un gruppo di ricercatori dell’università di München in occasione delle elezioni tedesche, attraverso l’analisi del contenuto di oltre 100.000 messaggi di Twitter contenenti riferimenti a partiti o personalità politiche, ha dimostrato che i cinguettii possono riflettere le preferenze di voto e avvicinarsi alle predizioni elaborate dai tradizionali sondaggi elettorali, l’applicazione di complessi algoritmi alla mole di dati provenienti dai social media, è lungi dall’essere ancora un perfetto strumento previsionale (per una review della più recente letteratura si veda questo recente articolo sulle primarie americane).
Come ha spiegato Michel Wu, di Lithium Inc, per elaborare qualsiasi modello predittivo – dal possibile valore in borsa di un titolo Apple alle percentuali ottenute dai candidati di una competizione politica – occorre usare tre ingredienti: 1. un modello di algoritmo che calcola alcuni risultati previsti, come ad esempio l’influenza esercitata dal traffico generato dai follower di un candidato alle primarie; 2. una misura indipendente del risultato che il modello si prefigge di predire, come ad esempio l’andamento del consenso misurato attraverso uno strumento “esterno” alle metriche considerate 3. una misura che quantifica quanto il risultato previsto dalle metriche prese in considerazione si avvicina al risultato preso come variabile indipendente.
Il punto essenziale è il secondo: avere una misura che sia realmente indipendente dal risultato ottenuto attraverso l’uso delle metriche interne dei social media. Può sembrare un’ovvietà, ma il rischio è quello di cadere nel paradosso della circolarità di formule induttive che si limitano ad usare like e retweet come strumenti di validazione di modelli algoritmici che vengono estesi all’intera popolazione presa a riferimento. Da qui la necessità di assumere una variabile di confronto: nel nostro caso, i sondaggi elettorali.

Metodologia
Ispirandosi alla suggestiva ed efficace strategia utilizzata da Nate Silver per prevedere il risultato delle elezioni presidenziali americane, abbiamo deciso di approcciare alla questione dell’impatto dei social media sulla popolarità dei candidati da una prospettiva diversa dal solito. Sempre più di frequente i dati provenienti dai social media sono utilizzati come proxy del successo elettorale di un candidato o partito. Talvolta ci si basa su analisi quantitative, altre volte, con il supporto della sentiment analysis, si entra più nello specifico rispetto al contenuti scambiati. Il nostro approccio si basa invece sull’utilizzo dei dati diffusi dalle diverse società che realizzano sondaggi di opinione e sull’utilizzo dei dati provenienti dai social media per proiettare nel tempo e correggere il trend descritto dai sondaggi.

A questo scopo abbiamo raccolto 30 sondaggi di opinione realizzati fra il primo Ottobre 2012 ed il 23 Novembre 2012. I sondaggi sono datati sulla base del giorno di realizzazione e non di diffusione del sondaggio. Nelle giornate in cui sono stati svolti più di un sondaggio sono stati presi in considerazione i valori medi. I dati sono pubblicamente disponibili sul sito sondaggipoliticoelettorali.it.

Grazie alla collaborazione con Blogmeter, abbiamo inoltre raccolto – per i tre principali candidati (Pierluigi Bersani, Metteo Renzi e Nichi Vendola) e relativamente allo stesso periodo – tutte le principali metriche relative alle loro presenze ufficiali su Twitter e Facebook (numero totale di fan/followers, numero di nuovi fan/followers al giorno, Facebook People Talking About, Twitter Mentions, Facebook e Twitter engagement).

Dopo una serie di analisi preliminari basate sull’utilizzo di tutti gli indicatori provenienti dai social media, abbiamo provveduto a creare un modello previsionale per ciascun candidato basato su correttivi calcolati in base a Facebook People Talking About e Twitter Mentions. Le correzioni sono stimate sulla base del rapporto storico fra andamento del consenso misurato dai sondaggi ed andamento delle metriche prese in considerazione. Il modello, basato su una regressione lineare multipla, ci ha consentito di stimare dei valori correttivi per ottenere, sulla base del trend estrapolabile dai sondaggi, una previsione del risultato elettorale per ciascun candidato.

Come possiamo vedere dall’analisi dei grafici, nel caso di Pierluigi Bersani lo scarto tra il dato ottenuto dalle nostre previsioni ed il risultato elettorale è di 4.16 punti percentuale, mentre lo scarto che si può ricavare tra i dati forniti dalla media del rapporto storico del consenso misurato dalle rilevazioni dei sondaggi, in un periodo di tempo che va dal 1 Ottobre al 23 Novembre, è di 5.41 punti percentuale. Nel caso di Matteo Renzi, invece, lo scarto tra il dato ricavato dalle previsioni delle nostre metriche e il risultato elettorale è di 2.85%, mentre lo scarto che nasce dalla media dell’andamento storico dei sondaggi nell’arco di tempo considerato è di 3.33 punti percentuale. Se vediamo, infine, i dati relativi a Nichi Vendola, noteremo che il nostro scarto si attesta su una percentuale pari allo 0.09, mentre lo scarto tra dato elettorale e media dei sondaggi arriva allo 0.12.

Se ne evince che il nostro modello mostra una ottima capacità predittiva – evidente soprattutto nel caso di Nichi Vendola – rispetto alla media della serie storica dei sondaggi elettorali in un arco di quasi due mesi di tempo. Tale capacità deriva dal fatto che il modello è tarato su una metrica che combina assieme fattori di engagement ricavati sia da Facebook che da Twitter e procede ad analisi differenziate per ogni singolo candidato. Scorporando i dati per ognuno dei protagonisti delle primarie, si scopre, ad esempio, che non necessariamente il volume complessivo di mention ha una funzione positiva nei confronti del candidato ma che tale volume assume un senso diverso a seconda del candidato e, presumibilmente, a seconda dei contenuti. I nostri dati dimostrano, ad esempio, che le talking about di Vendola si traducono in un coefficiente negativo che, presumibilmente, va ad incidere nelle preferenze elettorali.
Queste analisi ci dimostrano quanto sia difficile costruire modelli previsionali che non tengano in considerazione le differenti strategie comunicative che caratterizzano i personaggi politici, ognuno dei quali si fa portatore di stili discorsivi, modalità di dialogo e capacità di gestione delle piattaforme digitali profondamente diverse. Senza considerare che il tipo di target privilegiato da ogni candidato può avere connotazioni sociodemografiche o culturali assolutamente discordanti. Non si tratta quindi di notare che, com’è ovvio, la realtà dei social media non è statisticamente rappresentativa del paese reale ma di affrontare il fatto che ogni singolo candidato avrà un responso all’interno dei social media che difficilmente potrà essere generalizzato.
Tutto questo ci porta a riconsiderare il rapporto tra modelli predittivi e social media, soprattutto quando ci troviamo di fronte a fenomeni così semanticamente complessi come la politica e la costruzione di una sfera pubblica capace di muoversi agevolmente tra dimensione online e offline.

La realtà predittiva e i social media
Alla luce di quanto detto, una prima considerazione da fare è che i social network non sono un luogo di osservazione in cui troviamo un campione rappresentativo né della popolazione né degli elettori. Si tratta di un appunto banale che però sembra diventare una realtà scarsamente trasparente dietro l’eccesso di attenzione sia giornalistica che delle analisi che segue ogni avvenimento politico, dibattito, ecc. che misurano il tasso di partecipazione politica del paese dal numero di tweet o dai commenti sulle pagine Facebook del singolo politico, dell’organizzazione politica, del programma televisivo, ecc.
In realtà quello che le ricerche cominciano a rendere evidente è che esiste un processo di autoselezione che porta ad un uso più politicamente intenso della Rete di quei cittadini che già sono interessati o attivi (Norris 2001) o che sono in possesso di risorse culturali e tecnologiche che li portano a sperimentare percorsi di cittadinanza attiva (Bentivegna 2009). In tal senso non troviamo un puro meccanismo di rispecchiamento tra atteggiamenti e pratiche del vissuto politico online ed offline della popolazione degli elettori. Almeno non in termini utili a meccanismi predittivi. Per banalizzare: non è il numero di follower di un candidato o il livello di engagement su una pagina Facebook di un politico rispetto ad un altro a poter diventare un elemento di previsione dell’orientamento di voto. Nelle primarie del centrosinistra, ad esempio, è stato Nichi Vendola ad avere più sostenitori connessi online, quasi 250 mila su Twitter e oltre 500 mila su Facebook e Matteo Renzi a sviluppare i livelli di engagement più elevati (vedi analisi dati di Vincenzo Cosenza), minore in queste dimensioni appare il dato di Pierluigi Bersani che ha invece accumulato più preferenze da parte degli elettori.
Questo non significa, però, che esista una differenza in termini assoluti tra realtà online ed offline. La crescente presenza della Rete nella vita quotidiana delle persone porta ad integrare l’esperienza di partecipazione politica (Dahlgren 2009) entro un continuum che comprende un agire nel mondo vicino, la fruizione mediale e pratiche di attivazione online da parte di alcuni elettori, mentre altri semplicemente non si auto rappresentano né vengono rappresentati dalla realtà osservabile online.

Sfere pubbliche connesse ed interpretazione della realtà
La domanda che possiamo farci allora è se sia possibile, ed in che modo, tenere conto di questa duplice forma di rappresentatività e quale relazione esista tra le due. Si tratta di una domanda che può dischiudere percorsi di ricerca interessanti in termini predittivi. Il senso che può stare dietro ai like che ottiene una pagina di un candidato su Facebook (Giglietto 2012) è certamente legato alla capacità dei candidati di stare online ed aprirsi ad un dialogo con gli utenti ma risente, per quanto riguarda la capacità di predire gli orientamenti finali degli elettori, di una limitatezza dovuta al fatto che quel “senso” va ri-orientato ad un contesto più ampio di costruzione e rappresentazione dell’opinione pubblica in cui i media mainstream hanno tuttora una specifica centralità. Abbiamo a che fare, quindi, con significatività e differenze di potenziale tra nodi di rappresentatività che necessitano di essere messi in relazione. Per questo motivo la nostra ricerca ha voluto ripensare l’utilizzo dei social media in chiave predittiva utilizzandoli non come una fonte privilegiata di dati, ma come una realtà da interfacciare con altri dati rappresentativi degli orientamenti di voto quali sono i sondaggi elettorali.
Ci troviamo infatti di fronte alla necessità di costruire una relazione fra sfere pubbliche diverse in cui si esprime un’opinione pubblica, pensiamo ai media mainstream, e un’opinione in pubblico, come avviene nei social media. La prospettiva da utilizzare è quindi quella di sfere pubbliche connesse (Boccia Artieri 2012). I social media, in questo senso, possono essere pensati come correttivi conversazionali dei sondaggi che indagano comportamenti di voto possibili. Si mettono così in relazione universi di sistema (la scelta tra più candidati possibili) e ambienti di contenuti UGC che si addensano attorno ai luoghi di visibilità discorsiva dei candidati, a partite dalle loro strategie di utilizzo dei social network intesi come strumenti di comunicazione politica personalizzanti ed orientati a visibilità ed engagement – pensiamo all’uso fatto di hashtag per aggregare ed aggregarsi attorno ad issue. Si tratta di una prima formulazione correttiva che trova riscontro nel nostro modello, il quale mette in relazione i sondaggi con i livelli di engagement del singolo candidato: Mentions su Twitter e Talking About su Facebook. A questi andrebbero aggiunti, per rendere in futuro il modello più complesso, i livelli di sentiment che riescono a tradurre quantitativamente i portati qualitativi presenti nei contenuti online. Esistono in tal senso sperimentazioni incoraggianti anche se resta aperto, in particolare in campo politico, il tema dell’ironia e l’interpretazione automatizzata di questa: come trattare in questo senso i contenuti su Twitter e Facebook dei Marxisti per Tabacci?
E d’altra parte occorrerebbe utilizzare anche altri elementi costitutivi delle sfere pubbliche quali i siti di news e i blog visti come luoghi di produzione e messa in circolazione di opinioni e aggregatori di engagement nei commenti, share, like, ecc. Il fatto, per restare al caso delle primarie, che Pierluigi Bersani sia il candidato che riceve un numero più elevato di citazioni da parte dei siti di news e blog ci sembra, in quest’ottica, essere rilevante. Questa ricerca sulle primarie della coalizione del centro sinistra in Italia rappresenta un primo passo verso un modello integrato che vuole sperimentare la possibilità di leggere una realtà complessa in cui online ed offline vanno pensate non come sfere mutualmente esclusive ma come un continuum.
Anche in chiave predittiva.

Team di ricerca
Giovanni Boccia Artieri – Università di Urbino Carlo Bo
Manolo Farci – Università di Urbino Carlo Bo
Fabio Giglietto – Università di Urbino Carlo Bo
Luca Rossi – Università di Urbino Carlo Bo
Elisabetta Zurovac – Università di Urbino Carlo Bo

Bibliografia di riferimento

Boccia Artieri G. (2012), Stati di connessione. Pubblici, cittadini, consumatori nella (Social) Network Society, FrancoAngeli, Milano.
Bentivegna S. (2009), Disuguaglianze digitali. Le nuove forme di esclusione nella società dell’informazione, Laterza, Roma-Bari.
Dahlgren P. (2009), Media and Political Engagement. Citizens, Communication and Democracy, Cambridge University Press.
Norris P. (2001), Digital Divide: Civic Engagement, Information Poverty and the Internet Worldwide, Cambridge University Press, Cambridge MA.
Giglietto, F. (2012). If Likes Were Votes: An Empirical Study on the 2011 Italian Administrative Elections. International AAAI Conference on Weblogs and Social Media; Sixth International AAAI Conference on Weblogs and Social Media. Retrieved from http://www.aaai.org/ocs/index.php/ICWSM/ICWSM12/paper/view/4577