No princípio era o Verbo

Publicado originalmente por Vectors of Mind.

“No princípio era o Verbo, e o Verbo estava com a Psicologia, e o Verbo era a Psicologia” ~Nova Tradução Vetorial

Todos os construtos de personalidade são primeiro descritos por palavras. Dos modelos de Freud movidos a cocaína aos sisudos Cinco Grandes, todos eles são, em algum momento, palavras. Grande parte da psicologia acadêmica ocupa-se de comparar construtos. Para isso, eles precisam compartilhar uma base, normalmente um conjunto de sujeitos. Os sujeitos recebem um instrumento (geralmente um questionário) que aproxima o lugar onde se encontram no espaço de construtos. Com base na covariação das respostas dos sujeitos, são então feitas afirmações gerais sobre os construtos. Nesta publicação, exploramos outra maneira. Os avanços no PLN permitem a comparação quantitativa de construtos em seu habitat natural: a linguagem.

Roteiro #

Na última publicação, argumentei que os Cinco Grandes são vetores de palavras. Esta publicação faz a mesma afirmação sobre escalas independentes, o que então permite comparar construtos sem envolver sujeitos. Para demonstrar isso, é introduzido um modelo amplo de personalidade, bem como um método para representar construtos no espaço de palavras. O plano é o seguinte:

1. Comparar construtos no espaço de sujeitos versus no espaço de palavras

2. Problemas com o espaço de sujeitos

3. Relacionar o altruísmo de parentesco e o altruísmo recíproco aos Cinco Grandes usando sujeitos

4. Fazer a mesma comparação no espaço de palavras

   1. Introduzir um modelo de cinco fatores (temporário) identificado usando PLN
   2. Projetar palavras de altruísmo nesse espaço
   3. O código está disponível aqui.

5. Discussão, limitações, trabalhos futuros

Um caminho tortuoso #

Para comparar o altruísmo com os Cinco Grandes, o sinal precisa atravessar muitas transformações: Altruísmo (ideal) → descrito por palavras → questionário desenvolvido (e, esperamos, validado) para aproximar esse construto → aplicado a um sujeito que interpreta essas palavras e perscruta a própria alma → escore de altruísmo do sujeito → correlação no espaço de sujeitos ← escore do sujeito no Inventário dos Cinco Grandes (BFI) ← sujeito interpreta os itens do BFI e perscruta a própria alma ← desenvolver o BFI para medir aproximadamente isso ← construto definido/comunicado por descrição qualitativa ← Cinco Grandes (definidos pelas cargas das palavras). Afirmações são então feitas sobre os dois ideais, o Altruísmo e os Cinco Grandes.

O caminho reto e estreito #

Por que não usar vetores de palavras como base compartilhada, em vez de sujeitos? O caminho é muito mais direto: Altruísmo (ideal) → descrito por palavras → vetorizado no espaço de palavras → comparação no espaço de palavras ← Cinco Grandes, que já existem no espaço de palavras, como discutido na publicação anterior. Para aqueles que estão fazendo a contagem, são 4 contra 10 transformações. (A pontuação é como no golfe.)

Tal, o Revelador #

A dificuldade de usar sujeitos para fazer afirmações sobre construtos verbais não é segredo.

“A maioria das teorias e hipóteses em psicologia é de natureza verbal, mas sua avaliação depende esmagadoramente de procedimentos estatísticos inferenciais. A validade da passagem da análise qualitativa para a quantitativa depende de as expressões verbal e estatística de uma hipótese estarem estreitamente alinhadas — isto é, de ambas se referirem aproximadamente ao mesmo conjunto de observações hipotéticas. Aqui, argumento que muitas aplicações da inferência estatística em psicologia não atendem a essa condição básica.” ~Tal Yarkoni, The generalizeability crisis

Validade, aqui, refere-se a um escore que captura o construto que se pretende medir. Vale a pena ler integralmente os argumentos e exemplos. Mas, para nós, a questão central é o que pode ser feito, dadas essas realidades. Ele sugere:

1. Fazer outra coisa (entrar em outros campos).
2. Abraçar a pesquisa qualitativa
3. Adotar padrões melhores (incluindo 7 sugestões).

“É sempre possível fingir que valores de p pequenos, obtidos a partir de operacionalizações estatísticas extremamente estreitas, podem fornecer uma base adequada para inferências verbais abrangentes sobre construtos psicológicos complexos. Mas ninguém mais — nem os pares, nem os financiadores, nem o público e certamente nem o registro científico de longo prazo — é obrigado a honrar a farsa.”

Mesmo que sua visão da pesquisa em psicologia não seja tão sombria, certamente os leitores já foram prejudicados por artigos que fazem afirmações, mas empregam experimentos apenas tenuemente relacionados a elas. Todas as soluções disponíveis são dolorosas. Talvez o campo tenha de adotar uma visão mais estreita e deixar as grandes questões para aqueles que estudam história, literatura e álgebra linear. Proponho outro caminho a seguir.

Converter para o espaço de palavras #

. 4. Usar vetores de palavras como base compartilhada

Os construtos coexistem no espaço de palavras e, ainda assim, quando são feitas comparações, nós os arrastamos para o espaço de sujeitos. Isso é um enorme transtorno, com perdas. E se eles pudessem permanecer em segurança no espaço de palavras? O pressuposto do processamento de linguagem natural (PLN) é que as palavras são vetores em um espaço contínuo. A análise desses vetores funciona suficientemente bem como processo de sustentação de carga em indústrias de trilhões de dólares e está sendo atualmente (re)introduzida na psicologia.

Pratique o que prega #

Aqui examinaremos um estudo tradicional realizado no espaço de sujeitos e, em seguida, tentaremos aprimorá-lo transferindo-nos para o espaço de palavras. Fazendo uma ressalva contra um espantalho, o objeto é Kin Altruism, Reciprocal Altruism, and the Big Five Personality Factors, que foi citado centenas de vezes e cujo primeiro autor tem um índice h de 70.

Os sujeitos são medidos por meio de três instrumentos: os Cinco Grandes (por meio de um questionário de adjetivos), Empatia/Vinculação e Perdão/Não Retaliação (questionário de frases), e altruísmo em um jogo de divisão de dinheiro. Como os autores levantam a hipótese de que o espaço intermediário entre Amabilidade e Estabilidade Emocional (também conhecida como Neuroticismo) diferencia os dois altruísmos, algumas palavras são acrescentadas para medir melhor essa área. De modo semelhante, um novo questionário é elaborado para medir Empatia/Vinculação e Perdão/Não Retaliação, teorizados como relacionados, respectivamente, ao altruísmo de parentesco e ao altruísmo recíproco. Indo além do que é habitual nesse tipo de estudo, utiliza-se um jogo para medir o altruísmo.

“Na versão da tarefa de alocação de dinheiro usada para medir o altruísmo de parentesco, a outra pessoa era descrita como um amigo próximo — alguém com quem o participante tinha uma longa história de amizade e com quem tinha muito em comum. Esperávamos que, ao descrever a amizade como antiga e o amigo como alguém muito semelhante ao participante, a amizade se assemelhasse estreitamente à relação que se tem com um parente. A razão pela qual não usamos um parente como possível objeto de altruísmo foi evitar introduzir variância nas respostas em razão do parente específico envolvido; por exemplo, muitas pessoas poderiam estar mais dispostas a se comportar altruisticamente em relação a um irmão do que a outro.”

Em outras palavras, para não contaminar os dados com sentimentos do mundo real em relação aos parentes, mede-se o altruísmo recíproco.

“Na versão da tarefa de alocação de dinheiro usada para medir o altruísmo recíproco, a outra pessoa era descrita como uma não cooperadora — alguém que havia sido rude, desagradável e desconsiderada com o participante.”

E, para medir o altruísmo recíproco, eles medem… altruísmo não reciprocado? Naturalmente, há correlações, e os autores concluem:

“Os resultados deste estudo apoiam a sugestão de que traços de personalidade envolvendo empatia e vinculação facilitam o altruísmo que é dirigido principalmente aos parentes (isto é, o altruísmo de parentesco), e de que traços de personalidade envolvendo perdão e não retaliação facilitam o altruísmo que é dirigido principalmente aos não parentes (isto é, o altruísmo recíproco).”

Mas, se o altruísmo recíproco nunca foi medido, como os resultados podem apoiar essa afirmação? As estatísticas em artigos de psicologia são, como Tal observa, frequentemente um floreio retórico. Mas não precisamos compactuar com isso! Vejamos o que o espaço de palavras tem a dizer.

Uma terra de leite e mel (bem-vindo ao espaço de palavras) #

Nos estudos tradicionais, devido aos custos de mapear os sujeitos no espaço da personalidade, a resolução só pode ser alta em algumas áreas da personalidade de cada vez. É por isso que os autores investigaram a Empatia e a Não Retaliação, bem como o espaço entre a Amabilidade e a Estabilidade Emocional. Todos esses eixos existem no espaço regular dos Cinco Grandes, mas são medidos com bastante granularidade. No espaço de palavras, podemos comparar o altruísmo com os Cinco Grandes completos, em toda a sua glória de alta resolução. No meu github há 2819 vetores de palavras fatorados em cinco PCs. Podemos utilizá-los por conveniência. A primeira tarefa é selecionar conjuntos de palavras que descrevam cada tipo de altruísmo. Para as palavras referentes a parentesco, escolhi aquelas que incorporam papéis familiares: brotherly, sisterly, mothering, motherly, fatherly, grandmotherly, grandfatherly, wifely, maternal, paternal. Para o altruísmo recíproco, sigo a definição de Trivers.

“No que diz respeito ao altruísmo recíproco humano, demonstra-se que os detalhes do sistema psicológico que regula esse altruísmo podem ser explicados pelo modelo. Especificamente, amizade, aversão, agressão moralista, gratidão, simpatia, confiança, suspeita, confiabilidade, aspectos da culpa e algumas formas de desonestidade e hipocrisia podem ser explicados como adaptações importantes para regular o sistema altruísta. Cada ser humano é visto como possuidor de tendências altruístas e trapaceiras, cuja expressão é sensível a variáveis desenvolvimentais selecionadas para estabelecer essas tendências em um equilíbrio apropriado ao ambiente social e ecológico local.” The Evolution of Reciprocal Altruism, Robert Trivers (negrito acrescentado)

Considerando isso, escolhi: discriminating, unforgiving, vengeful, loyal, neighborly, cooperative, trustworthy, e fair. Isso equivale, aproximadamente, a inclinar-se à cooperação, mas responder com agressão moralista quando as coisas dão errado. Além disso, procura captar esse altruísmo como a antítese da trapaça (e.g. fair, trustworthy).

(Para uma excelente explicação da evolução da confiança, veja esta demonstração interativa.)

Posso apresentar-lhes o desconhecido Modelo dos Cinco Fatores? #

Teoricamente, poderíamos utilizar as cargas fatoriais das palavras dos Cinco Grandes produzidas por meio de questionários, mas a maioria dessas palavras é suficientemente rara para não ser incluída. Isso é melhor, pois não se obteria uma boa estimativa de grandmotherly por meio de autorrelatos de estudantes de psicologia. Assim, temos vetores de palavras calculados usando o modelo de linguagem RoBERTa. Derivados de uma lista ampla e bem caracterizada de palavras de personalidade, os Cinco fatores resultantes são, em suma:

1. Afiliação (ou Socialização). Quanto você quer essa pessoa na sua equipe? É semelhante à Amabilidade, mas impede que a pessoa seja um capacho. Gullible, por exemplo, apresenta carga neutra em Afiliação, mas positiva em Amabilidade.
2. Dinamismo. Corresponde bastante de perto à Extroversão, mas diz mais respeito a um senso de aventura e menos à confiança.
3. Ordem. Conscienciosidade com um diferencial. Capacidade de alcançar os próprios objetivos. Exacting vs mushy.
4. Apego Emocional. Enquanto o Neuroticismo diz respeito à instabilidade, este fator diz respeito ao apego; tanto caring quanto spiteful apresentam cargas elevadas.
5. Transcendência. Este fator é caracterizado por unique, complicated, star-crossed, handicapped, mystical, heartbroken, other-worldly vs. unphilosophical, fancy-free, pigheaded, boorish, materialistic, self-centered, glib. Envolve olhar para além de si mesmo e do mundano. Esse processo está, aparentemente, indissociavelmente ligado à dor. De fato, “troubled” apresenta carga maior em Transcendência do que em Apego Emocional (o fator relacionado ao Neuroticismo).

Os nomes dos três primeiros fatores foram extraídos do trabalho pancultural de De Raad porque, qualitativamente, a correspondência é mais próxima do que com os Cinco Grandes. Cada fator merece seu próprio texto. (Para aqueles que trabalham em psicologia industrial, suspeito que Ordem esteja mais correlacionada com o sucesso empresarial do que Conscienciosidade, pois é mais calculista do que simplesmente comparecer pontualmente.) Mas propor modelos não é meu forte, e estudos linguísticos mais refinados estão por vir; eles poderão produzir uma estrutura diferente. Por ora, esses fatores são suficientes. Eis a sua correlação com os Cinco Grandes:

Resultados #

Cargas fatoriais das palavras de altruísmo nos quatro primeiros fatores (a Transcendência não é importante neste estudo):

Para comparar os altruísmos, gostaríamos de reduzir cada um desses conjuntos de palavras a apenas um vetor. (É discutível se isso faz sentido, dado que o altruísmo recíproco — e, em menor medida, o altruísmo de parentesco — exige respostas diferentes para cenários diferentes.) A solução barata e pouco refinada é tratar cada construto como um saco de palavras e calcular a média. As cargas médias são:

Discussão #

Não creio que o artigo no espaço dos sujeitos inclua uma medida válida de altruísmo de parentesco ou de altruísmo recíproco e, portanto, não contribua para nossa compreensão de sua relação com a personalidade. Esse é um modo de falha surpreendentemente comum. O espaço de palavras oferece alguma proteção contra comparações inválidas. Temos uma intuição melhor sobre onde uma palavra deveria estar no espaço das palavras do que sobre como o sujeito 112 deveria responder a um questionário. É mais fácil detectar erros.

Do ponto de vista bayesiano, algo diferente acontece no espaço dos sujeitos e no espaço das palavras. Experimentos que incluem sujeitos procuram trazer novas informações à discussão. A esperança é que isso atualize a visão de mundo dos leitores. Mas pesquisadores — e pessoas leigas — têm muita experiência social e uma percepção mais aguçada dos processos psicológicos do que aquela oferecida pelo instantâneo de um questionário. É difícil deslocar muito o ponteiro. O espaço de palavras se assemelha mais à visualização de nossos priors do que à produção de conhecimento novo. Essa perspectiva é valiosa porque a linguagem é onde a teoria encontra a prática, por assim dizer. Como disse JL Austin:

“Nosso estoque comum de palavras incorpora todas as distinções que os homens consideraram dignas de ser traçadas e as conexões que consideraram dignas de ser assinaladas ao longo da vida de muitas gerações: estas certamente tendem a ser mais numerosas, mais sólidas, por terem resistido ao longo teste da sobrevivência dos mais aptos, e mais sutis, ao menos em todas as questões práticas ordinárias e razoáveis, do que quaisquer outras que você ou eu provavelmente inventaríamos numa tarde, sentados em nossa poltrona — o método alternativo predileto.” A plea for excuses

A análise no espaço de palavras é relativamente direta. Em vez de tabelas de correlações e valores de p, as palavras são simplesmente plotadas nos eixos de interesse e fazem-se julgamentos visuais. As palavras relacionadas ao altruísmo de parentesco formam agrupamentos estreitos tanto em Afiliação quanto em Apego Emocional, os únicos dois fatores com cargas consideráveis. Os pais, mas não os irmãos, são menos apegados do que suas contrapartes femininas, em consonância com a teoria do investimento parental de Trivers. Irmãos e irmãs têm tantos motivos quanto os demais para cuidar de seus irmãos. Os pais, contudo, têm menos motivos do que as mães. O esperma é barato. Os óvulos e a gestação são caros.

As palavras relacionadas à reciprocidade estão mais dispersas, refletindo traços ideais para responder a cenários diferentes: cooperação ou deserção do parceiro. A diferença mais saliente é a carga média mais elevada em Ordem — a realização dos próprios objetivos. Inicialmente chamado de altruísmo de retorno retardado, o altruísmo recíproco não diz respeito a sacrificar-se por um estranho, mas antes a investir no próprio futuro por meios pró-sociais. O altruísmo de parentesco, por outro lado, refere-se a ajudar a família mesmo às próprias custas, por causa dos genes egoístas que puxam as cordas do seu coração. Isso é evidente nas cargas mais elevadas das palavras relacionadas ao altruísmo de parentesco em Apego Emocional, dando apoio à hipótese de Ashton. Mas a ação principal ocorre em Ordem, distante do ponto em que os instrumentos no espaço dos sujeitos foram projetados para detectar. Os custos da amostragem no espaço dos sujeitos tornam os resultados mais dependentes dos priors dos pesquisadores.

Interpretar esses gráficos pode parecer como ler folhas de chá, mas tenho cerca de 70% de certeza do que está representado aqui. Uma coisa que me deixa hesitante é que os dois altruísmos são representados de maneiras diferentes. Todas as palavras relacionadas ao parentesco descrevem relações (por exemplo, mother, father, brother), enquanto as palavras relacionadas à reciprocidade são uma mistura de relações (por exemplo, neighbor) e traços adequados a jogos repetidos de soma positiva (por exemplo, vengeful, discriminating, cooperative). Apesar da incerteza, não seria interessante se, em uma tarde, eu realizasse um experimento que combinasse a experiência vivida do altruísmo de milhões de pessoas? Aquilo que gerações concordaram que torna alguém paternal, sisterly, ou neighborly. Como sempre acontece com uma nova fonte de sinal, começa-se atirando a esmo. Com o tempo, o Velho Oeste é domado; métodos e heurísticas emergem. Há muito espaço para aprimoramento. Os leitores podem ajustar os conjuntos de palavras e obter novos resultados em questão de minutos usando este notebook do Colab. Façam isso!

Vantagens do espaço de palavras #

1. Conectado à Hipótese Lexical. Fundamentado na realidade social descentralizada.
2. Menos transformações. Cada etapa acarreta perda de informação e introduz viés.
3. Menor intensidade estatística após a conversão para o espaço das palavras. (Barreira de entrada mais baixa.)
4. O tamanho efetivo da amostra — aqueles que contribuíram para o modelo de linguagem por meio de comentários no Reddit, da escrita de livros ou de artigos no PubMed — é muito maior e mais diversificado do que o da maioria dos estudos.
5. Melhores perspectivas profissionais para doutores em psicologia que conhecem PLN.
6. Mais fácil realizar trabalhos multilíngues e multiculturais. Alguns modelos são treinados simultaneamente em 100 línguas (é assim que a Meta treina filtros de discurso de ódio em línguas com poucos exemplos).
7. Os modelos de linguagem continuam ficando melhores.
8. Ciência aberta.
9. Evitar o IRB.

Desvantagens #

1. Mais componentes em operação. Há bilhões de parâmetros em um modelo de linguagem! Contudo, até bilhões de neurônios e dezenas de decisões de treinamento podem resultar em uma representação estável. Qualquer modelo de linguagem que se preze consegue completar a analogia “marido está para esposa assim como rei está para ____”.
2. Não é possível decompor os resultados por dados demográficos. Às vezes é interessante conhecer a personalidade de professores do ensino fundamental entre 25 e 30 anos. Ou saber como algum construto se correlaciona com o registro de prisões. Impossível no espaço de palavras.
3. Os modelos de linguagem não são enviesados? Bem, não mais do que o autorrelato.
4. Definir altruísmo como a soma de um conjunto de vetores de palavras (isto é, um saco de palavras) é um tanto improvisado. Há amplo espaço para aprimoramento aqui.

Deuses estrangeiros #

“Acho que Kafka estava certo quando disse que, para o homem moderno, a burocracia estatal é o único contato restante com a dimensão do divino.” ~Zizek, A Pervert’s Guide to Ideology

Ele está descrevendo aqui, é claro, o sentimento transcendente de protocolar um recurso junto ao IRB. Tenho uma previsão. O espaço de palavras é a coisa certa e adequada a fazer do ponto de vista do processamento de sinais, mas sua adoção será impulsionada tanto pela conveniência de não ser regulamentado quanto por qualquer outra coisa. O corolário é que o IRB será o primeiro órgão governamental a declarar que os modelos de linguagem são sencientes.

Preparando o caminho #

Gostaríamos de extrair relações entre construtos a partir de modelos de linguagem. Para fazê-lo de uma maneira que acrescente sinal, em vez de mais ruído, é necessário realizar muito trabalho de validação. Inicialmente, isso significa comparar os resultados com resultados de pesquisas amplamente consolidadas. Eles podem ser recuperados usando vetores de palavras? Onde eles falham? Uma vez estabelecido isso, todo artigo que termina com “mais pesquisas são necessárias” deveria encontrar uma maneira de formular a questão no espaço de palavras.

Passei mais de um ano ajustando um método para extrair relações de personalidade a partir do RoBERTa, o modelo de estado da arte à época. Pouco depois, o GPT-3 foi lançado e apresentou desempenho superior já pronto para uso. O fato de o poder computacional suplantar o conhecimento de domínio é uma lição amarga recorrente no campo da IA. O poder computacional aumenta exponencialmente. Se você consegue obter ganhos de 30% em relação a uma solução geral de ML usando conhecimento de domínio, também pode simplesmente esperar o poder computacional alcançar esse nível e obter os mesmos resultados usando métodos gerais. Encontrar maneiras de relacionar questões da psicologia a modelos de PLN prontos para uso é, portanto, um bom caminho a seguir. Um novo modelo com desempenho sensivelmente superior é tornado público a cada seis meses, aproximadamente. Aqueles que validam o espaço de palavras estão preparando o caminho para que inteligências maiores — PaLM, GPT-7, OSCar (Optimal Sentience Cartography) — façam chover verdades psicológicas.

A linguagem natural fervilha de teorias compartilhadas sobre o mundo. Agora que podemos quantificá-las, não poderiam ser usadas como evidência?

Se você achou isso interessante, compartilhe! Compartilhe o artigo original.