Processo de seleção de ETFs e pontos-chave principais

• 一、Obtenção de dados básicos e filtragem inicial

Obter lista de ETFs: usar get_all_securities([‘etf’]) para obter todos os ETFs do mercado, filtrando aqueles fundados antes de 1 de janeiro de 2013 (start_date < 2023-01-01), garantindo dados históricos suficientes.
Excluir ETFs de baixa liquidez: remover manualmente ETFs com volume médio de negociação muito baixo (por exemplo, 159003.XSHE ETF de Rápida Expansão da China Merchants, 159005.XSHE ETF de Rápida Expansão da Huitianfu, etc., volume médio ≤ 2,92 kw).

• 二、Dados diários de ETFs e cálculo de retorno
  Período de dados: obter preços de fechamento dos últimos 240 dias de negociação até a data atual (today).
  Cálculo de retorno: calcular o retorno diário (pchg = close.pct_change()), formando uma matriz de retornos de ETFs (prices, linhas = dias de negociação, colunas = códigos de ETF).
• 三, Agrupamento K-Means para remoção de duplicatas (com base na similaridade de tendência)
  Objetivo do agrupamento: agrupar ETFs com tendências semelhantes, reduzindo redundância de ativos.
  Parâmetros: número de clusters n_clusters=30 (evitar poucos clusters que possam agrupar ETFs não semelhantes), usando algoritmo KMeans, seed aleatório random_state=42.
  Seleção dentro do cluster: manter apenas o ETF mais antigo (fundado mais cedo) de cada cluster, pois:
  Fundado mais cedo → maior volume de negociação (melhor liquidez);
  Fundado mais cedo → mais dados históricos (melhor para treinamento de modelos).
• 四、Avaliação do agrupamento com índice de silhueta
  Calcular o índice de silhueta: 0.4511880967361387 (nível médio, indica que a coesão dentro do cluster e a separação entre clusters estão razoáveis, mas podem ser otimizadas).
• 五, Filtragem secundária por coeficiente de correlação (para reduzir ainda mais a correlação)
  Matriz de correlação: calcular a matriz de correlação dos retornos de ETFs (corr = prices[df.code].corr()).
  Pares altamente correlacionados: selecionar pares com correlação > 0,85, mantendo apenas o ETF fundado mais cedo de cada par, removendo os demais (exemplo: remover 159922.XSHE, 512100.XSHG, etc.).
• 六、Opcional: filtrar ETFs fundados mais recentemente (para melhorar a qualidade dos dados)
  Definir limite: remover ETFs fundados após 2020 (exemplo: 513060.XSHG ETF de Saúde Hang Seng, 515790.XSHG ETF de Fotovoltaico, etc.), garantindo que os ETFs restantes tenham dados históricos mais completos (útil para treinamento de modelos).
• 七、Cuidados e recomendações adicionais
  ETFs de títulos do governo: se usados para treinamento de modelos, remover 511010.XSHE ETF de Títulos do Governo, pois seu comportamento é quase linear (semelhante ao Yu’e Bao), com pouca volatilidade, o que pode interferir na aprendizagem de características de volatilidade, além de não necessitar previsão.
  Seleção de ETFs em queda: o resultado pode incluir ETFs em queda a longo prazo (como ETFs de saúde, imobiliário), a decisão de remover ou não depende do objetivo da estratégia:
  • Para ganhos estáveis, remover;
  • Para estratégias que funcionam bem mesmo com ETFs em queda, pode indicar robustez, mas atenção ao risco de “função futura” (não prever reversões de tendência).
    Visualização de validação: plotar gráficos de tendência dos ETFs restantes (exemplo: preços de fechamento desde 2017), para verificar manualmente se a correlação e distribuição estão de acordo com o esperado (baixa correlação, distribuição razoável).
    Resumo do fluxo de filtragem final:
    Através de “filtragem inicial → agrupamento para remoção de duplicatas → filtragem secundária por correlação → (opcional) filtragem por data de fundação”, obter um conjunto de ETFs com boa liquidez, baixa correlação de tendências e dados históricos suficientes, visando fornecer uma base diversificada e de alta qualidade para estratégias ou modelos.