Porque é que os furacões com nomes femininos têm mais vítimas? A inteligência é um indicador de voto? É ético pagar a pessoas para participarem em experiências médicas?
Nos últimos anos, os investigadores adoptaram uma nova ferramenta para responder a perguntas como estas: exércitos de inquiridos de inquéritos em linha através do Mechanical Turk da Amazon, do Google Surveys e de uma vasta gama de outros painéis de inquéritos pagos.
Áudio trazido até si por curio.io
Depois de ter deixado um emprego que me dava acesso regular a um grande conjunto de inquiridos, senti-me quase incapacitado pela falta de opções fáceis e fiáveis para obter uma amostra rápida e representativa. Então descobri a Mechanical Turk e os meus superpoderes em termos de dados foram restaurados. De repente, voltei a ter acesso a um feedback rápido sobre questões tão prementes como a forma como as pessoas realmentesentir em relação ao Slack.
O que torna as amostras de inquéritos em linha tão revolucionárias para as ciências sociais?
Para aqueles que não estão familiarizados com o MTurk (como é frequentemente abreviado), o livro "Evaluating Online Labor Markets for Experimental Research" do académico de ciências políticas Adam J. Berinsky et al. oferece uma visão geral muito útil:
Para iniciar um inquérito utilizando o MTurk, um investigador (um "Requerente" no vernáculo da Amazon) cria uma conta (//www.mturk.com), deposita fundos na sua conta e, em seguida, publica um "anúncio de emprego" utilizando a interface Web do MTurk que descreve a Tarefa de Inteligência Humana (HIT) a realizar e a compensação a pagar (a Amazon cobra aos Requerentes uma sobretaxa de 10% sobre todos os pagamentos [ed: esta sobretaxa temCada HIT tem um número designado de tarefas e o requerente pode especificar quantas vezes um "Trabalhador" individual da MTurk pode realizar a tarefa. Os investigadores também podem definir requisitos para os sujeitos, incluindo o país de residência e a "taxa de aprovação" anterior, que é a percentagem de HITs anteriores apresentados pelo inquirido que foram posteriormente aceites pelos Requerentes.Quando os trabalhadores da MTurk que cumprem estes requisitos de elegibilidade iniciam sessão na sua conta, podem consultar a lista de HITs disponíveis e optar por realizar qualquer tarefa para a qual sejam elegíveis.
Uma vez que os "turkers" (como são conhecidos os trabalhadores da MTurk) podem receber apenas alguns cêntimos por tarefa, pode parecer estranho que haja tantas pessoas prontas, dispostas e capazes de realizar tarefas como o preenchimento de inquéritos. Num artigo sobre as implicações do crowdsourcing para o direito do trabalho, o académico Alek Felstiner partilha algumas citações de turkers que ajudam a esclarecer o mistério:
Sou um idoso reformado com um rendimento limitado... O rendimento extra torna-se ainda mais importante agora [com] os preços do gás mais elevados e a conta da mercearia a tornar-se mais cara todas as semanas.
Não há empregos disponíveis na minha área, candidatei-me a mais de 40 empregos e até agora não recebi nenhum telefonema durante 3 meses. Faço-o para pagar as minhas contas, que incluem a renda e as fraldas para os meus filhos até voltar a encontrar trabalho.
Estou a trabalhar como professor e o meu salário não é suficiente para satisfazer as minhas necessidades, pelo que estou à procura de mais dinheiro. É por isso que estou a participar na Mechanical Turk.
Os Turkers - e o ecossistema mais vasto de inquéritos em linha de que fazem parte - ajudaram a resolver vários problemas metodológicos que há muito atormentam os investigadores académicos. Em primeiro lugar, os inquiridos de inquéritos em linha dão aos investigadores académicos uma alternativa à prática experimentada e cansativa de tratar os estudantes universitários como cobaias. Como observam os académicos de psicologia Michael Buhrmester et al. na sua avaliação de 2011dos dados da Mechanical Turk, "[c]omentadores há muito que lamentam a forte dependência de amostras de universidades americanas no domínio da psicologia e, de um modo mais geral, de amostras provenientes de um pequeno sector da humanidade".
Em segundo lugar, os inquiridos online são mais representativos do que outras fontes comparáveis e acessíveis de "amostra" (ou seja, um grupo de inquiridos). Como referem os académicos de ciências políticas Erin C. Cassese et al. em "Socially Mediated Internet Surveys: Recruiting Participants for Online Experiments", "[r]esearchers find that relative to other convenience samples, MTurk participants are generally more diversee parecem responder a estímulos experimentais de uma forma consistente com os resultados de pesquisas anteriores".
Por fim, os inquiridos da Mechanical Turk fazem geralmente um trabalho bastante minucioso com as suas respostas aos inquéritos (embora, como explicarei mais tarde, isto possa ser uma bênção mista). Como Berinksy et al. escrevem, "os inquiridos da MTurk podem geralmente prestar mais atenção aos instrumentos experimentais e às perguntas dos inquéritos do que os outros sujeitos."
Uma época de ouro na investigação por inquérito
A súbita disponibilidade de uma fonte de inquiridos conscienciosa, diversificada e não-estudante conduziu a uma espécie de idade de ouro na investigação por sondagem. Não faltam exemplos interessantes e criativos de ciência social que aproveitaram o poder da multidão. O artigo do académico Stig Hebbelstrup Rye Rasmussen "Cognitive Ability Rivals the Effect of Political Sophistication on Ideological Voting" (Capacidade cognitiva rivaliza com o efeito da sofisticação política no voto ideológico)discute um inquérito de trinta a quarenta minutos a 2.566 trabalhadores da MTurk, cada um dos quais recebeu 1,10 dólares. Com base em parte nesta amostra, os autores puderam concluir que "o impacto da capacidade cognitiva no voto ideológico rivaliza com a importância da sofisticação política, o preditor classicamente mais importante do voto ideológico".
Para compreender as percepções de "transacções repugnantes" como "a doação de rins, a prostituição e a participação remunerada em ensaios médicos", os economistas Sandro Ambuehl, Muriel Niederle e Alvin E. Roth recorreram ao Mechanical Turk:
Apresentámos a 1445 indivíduos da Am Mechanical Turk um ensaio médico fictício que compensa os participantes com 50 dólares, 1000 dólares ou 10 000 dólares. Descrevemo-lo como um teste aos efeitos secundários de uma vacina que requer um total de 40 horas do tempo de um participante e caracterizámo-lo como sendo de risco baixo mas não zero.perguntas, incluindo a forma como decidiriam enquanto membros do IRB [comité interno de análise] responsável pela aprovação da experiência, antes de responderem às mesmas perguntas para cada uma das restantes quantidades.
Os autores não especificam o valor em dólares do incentivo de que necessitaram para obter respostas ao inquérito.
E o Mechanical Turk também ajudou uma equipa interdisciplinar a investigar a resposta diferencial aos furacões com nomes masculinos e aos furacões com nomes femininos. Observando que "as análises de dados de arquivo sobre as mortes reais causadas por furacões nos Estados Unidos (1950-2012) indicam que os furacões graves com nomes femininos estão associados a taxas de mortalidade significativamente mais elevadas", os académicos Kiju Jung daal. realizaram uma série de experiências para desvendar o fenómeno, em parte utilizando o Mechanical Turk:
Cento e quarenta e dois participantes foram confrontados com um cenário e um mapa meteorológico que apresentava o furacão Christopher ou o furacão Christina e comunicaram as suas intenções de evacuação com base em três itens (por exemplo, 1 = evacuará definitivamente 7 = ficará definitivamente em casa)... Uma medida da perceção do risco mostrou.... O furacão Christopher foi considerado mais arriscado do que o furacão Christina.
Embora a Mechanical Turk tenha facilitado a realização de projectos de investigação eclécticos e interessantes como estes, não está isenta de problemas. Em primeiro lugar, ainda existem questões importantes sobre a validade dos resultados obtidos através dos inquéritos da MTurk. Como refere John Bohannan no seu artigo "Social Science for Pennies", um problema específico diz respeito aos "super-Turkers", pessoas que são essencialmente trabalhadores profissionais na MTurk,Berinsky diz que os super-turkers podem distorcer as experiências se se esforçarem demasiado para agradar aos investigadores, o que é incentivado pelo facto de a MTurk utilizar um sistema de reputação.
Outra questão é a forma como a facilidade do MTurk pode alterar a prática das ciências sociais. American Sociological Review O sociólogo David Peterson receia que "ao abraçarem esta fonte remota de recolha de dados, os psicólogos sociais comprometeram-se a filtrar todos os aspectos da sua experiência através do meio digital da Internet. Perdem todo o acesso "prático" ao objeto da sua investigação.
Injustiça económica e dilema ético
Por último, mas talvez o mais problemático, é o dilema ético de académicos empregados e com estabilidade de emprego que exploram o trabalho mal pago de pessoas que se encontram no extremo oposto da escala salarial e de segurança no emprego. Como refere Felstiner, "os trabalhadores tendem a receber um salário extremamente baixo pelo seu trabalho cognitivo à peça, na ordem dos cêntimos por tarefa. Normalmente, não recebem benefícios e não têm segurança no emprego".
Os académicos não estão acima de explorar as oportunidades que esta norma de baixos salários proporciona. Escrevendo sobre as suas experiências (reconhecidamente iniciais) no MTurk, Berinksy et al. afirmam que mesmo a taxa de pagamento mais elevada que utilizámos no MTurk, de 0,50 dólares por um inquérito de 5 minutos (uma taxa horária efectiva de 6 dólares), está ainda associada a um custo por respondente de 55 dólares (incluindo a sobretaxa de 10% da Amazon.com) ou 11 dólares por inquéritoEm contrapartida, os custos por sujeito para amostras típicas de estudantes universitários são de cerca de 5-10 dólares, para amostras de campus não universitários de cerca de 30 dólares (Kam, Wilking e Zechmeister 2007) e para sujeitos de agências temporárias entre 15 e 20 dólares.
Na minha opinião, é esta injustiça económica - e não as preocupações metodológicas - que deve preocupar mais os candidatos a investigadores da MTurk. De facto, a exploração dos trabalhadores da MTurk já está a ser analisada de uma forma que se reflecte mal na comunidade académica. Embora os académicos possam lamentar a diminuição do financiamento da investigação e o aumento da concorrência pelas bolsas, nem a escassez de financiamento nem aa importância da investigação académica são desculpas verdadeiramente aceitáveis para pagar aos inquiridores honorários que são frequentemente uma pequena fração do salário mínimo.
A boa notícia é que não se trata de um problema insuperável. Todas as tarefas MTurk pedem ao requisitante para estimar o tempo que a sua tarefa vai demorar; todas as tarefas concluídas incluem um relatório sobre o tempo que o utilizador realmente necessitou para a concluir. Os investigadores só precisam de
Quer mais histórias como esta?
Receba as melhores histórias do JSTOR Daily na sua caixa de correio todas as quintas-feiras.
Política de privacidade Contacte-nos
O utilizador pode cancelar a subscrição em qualquer altura, clicando na ligação fornecida em qualquer mensagem de marketing.
Δ
Nos meus próprios inquéritos no MTurk, agora precifico todas as tarefas ao equivalente a, pelo menos, 25 cêntimos por minuto, o que dá uma média de 15 dólares por hora que muitos activistas laborais defendem agora como um salário mínimo razoável.
É provável que a utilização de plataformas de inquéritos com base em crowdsourcing aumente nos próximos anos, pelo que chegou o momento de enraizar práticas de investigação que garantam salários justos para os inquiridos em linha. As revistas com revisão por pares, os editores académicos e as universidades podem desempenhar um papel na promoção do tratamento ético dos inquiridos em linha, simplesmente exigindo a divulgação total da taxa de pagamento e da atribuição do tempo de tarefaJá esperamos que os investigadores académicos revelem a dimensão da sua amostra; também devemos esperar que revelem se os seus inquiridos ganharam um dólar por um inquérito de cinco minutos ou um quarto por um inquérito de meia hora.
Os mercados de trabalho com recurso a crowdsourcing estão a transformar a facilidade e o poder dos inquéritos e da investigação experimental, mas essa transformação só representará uma verdadeira elevação do campo se for construída com base na justiça e não na exploração.