Data Science Academy
Data Analyst Certified Professional (DACP)
Emitido em jan/2023
Olá, boas-vindas!
Eu sou
Franklin Ferreira
Staff Data Engineer Arquitetura de Dados e Big Data Governança, FinOps e IA
Do data warehouse ao lakehouse, do ML clássico à IA generativa: desenho a arquitetura de dados em que uma empresa inteira se apoia.
Sobre mim Baixar CV- >50%menos custo na plataforma de dados
- ~50fontes unificadas em uma só plataforma
- 15+pessoas no time que lidero
Sobre
Quem sou
Na prática, sou arquiteto. Antes de qualquer linha de código, penso e decido como os dados devem ser estruturados, em um warehouse ou em um lakehouse, em batch ou em streaming. Hoje lidero tecnicamente um time de 15+ pessoas (engenheiros de dados, analistas e cientistas de dados) espalhado entre o Brasil e a Romênia.
Entrei na Flutter Brazil para construir a base. Criei do zero o modelo dimensional e o data lake, com Python, dbt e muito SQL. Depois liderei a migração de toda a infraestrutura de dados para o Databricks: cerca de 50 fontes, do Google Analytics 4 a sistemas internos e ferramentas de terceiros, com pipelines que passaram de horas para minutos.
Como Tech Lead, o trabalho ficou mais amplo. Defini as arquiteturas e as formas de trabalho de quase todo o time de dados, reestruturei o Unity Catalog por domínio e liderei o trabalho de FinOps que reduziu em mais de 50% o custo da plataforma. Como Staff, esse escopo continua crescendo.
Venho do lado mais clássico do machine learning, desde a faculdade. Já fiz backpropagation à mão, no papel, antes de qualquer framework fazer isso por mim. Acompanhei de perto a virada para a IA generativa desde o momento em que ela surgiu, e hoje transito bem entre os dois mundos. Ajudei a construir os modelos de LTV e de payback da empresa e uso IA generativa para acelerar a construção das ferramentas do dia a dia do time.
Antes da Flutter Brazil, fui Data Architect na Clicksign. Construí a estrutura de dados do zero, com Redshift, dbt e Airflow, e ajudei o grupo a crescer de 4 para cerca de 20 pessoas. Também passei alguns anos como professor de Big Data e Engenharia de Dados, com centenas de alunos. Talvez seja por isso que eu goste de explicar as coisas de um jeito que faça sentido para quem não vive de SQL o dia todo.
Perfil
Continuo mão na massa todo dia, em arquitetura, modelagem e decisões de plataforma. Quando o time precisa, entro para definir prioridades e destravar decisões de negócio.
- Cargo Staff Data Engineer
- Foco Arquitetura de dados, plataformas de Big Data, governança, FinOps, ML e IA generativa
- Time 15+ pessoas entre o Brasil e a Romênia
- Localização Brasil · Remoto/Global
Idiomas
- PortuguêsNativo ou bilíngue
- InglêsProficiência profissional plena
- EspanholProficiência profissional de trabalho
Skills e tecnologias
As ferramentas e práticas com as quais trabalho, agrupadas pela finalidade.
Arquitetura e modelagem
Plataformas e processamento
Transformação, orquestração e cloud
Linguagens
Apps de dados e analytics
Práticas
IA
Liderança
Impacto
O que mudou
Números do meu período na Flutter Brazil e na Clicksign.
Experiência
Onde trabalhei
Desde 2020, passei de cientista de dados a Staff Data Engineer, construindo plataformas, times e formas de trabalho pelo caminho.
Experiência
Carreira em resumo: escolha um cargo para ver os detalhes.
- jul/2026 – Atual Staff Data Engineer Flutter Brazil Arquitetura e direção técnica da plataforma de dados da empresa, com um time de 15+ pessoas.
- jul/2025 – jun/2026 Data Engineer – Tech Lead Flutter Brazil Custo da plataforma cortado em mais de 50% e incidentes em ~3x; Unity Catalog dividido em 10+ domínios.
- ago/2024 – jul/2025 Data Engineer Flutter Brazil Modelo dimensional e data lake criados do zero; ~50 fontes levadas para o Databricks.
- out/2021 – ago/2024 Data Team Lead Clicksign Grupo de dados ampliado de 4 para ~20 pessoas.
- jun/2021 – ago/2024 Data Architect Clicksign 100+ pipelines no Airflow, dbt no Redshift, 10+ APIs para parceiros e proteção de dados conforme a LGPD.
- out/2020 – jun/2021 Data Scientist (Python Developer) Clicksign Integrações em Python, PostgreSQL e Airflow para o time de BI.
- jun/2022 – jul/2024 Professor Docente Let's Code from Ada Big Data e Engenharia de Dados ensinados a centenas de alunos.
Flutter Brazil
jul/2026 – Atual
Staff Data Engineer
Plataforma de dados Databricks usada por milhares de pessoas em toda a empresa, com um time de 15+ pessoas (engenharia, analytics e ciência de dados) entre o Brasil e a Romênia.
- Comecei como Staff Data Engineer, ampliando o escopo de arquitetura e liderança técnica que vinha construindo como Tech Lead.
- Defino a arquitetura e as formas de trabalho de um time de 15+ pessoas (10 como Tech Lead), com um escopo mais amplo em toda a plataforma.
- Continuo mão na massa no dia a dia (arquitetura, modelagem e decisões de plataforma). Quando o time precisa, defino prioridades e destravo decisões de negócio.
Tecnologias: Databricks, Unity Catalog, Delta Lake, Apache Spark, PySpark, Databricks Workflows, dbt, SQL, Python, AWS, Terraform, Docker, Kubernetes, GitHub Actions
Flutter Brazil
jul/2025 – jun/2026
Data Engineer – Tech Lead
Liderei um time de 10 pessoas (engenharia, analytics e ciência de dados) entre o Brasil e a Romênia, com liderança direta e técnica, em uma plataforma Databricks de dezenas de TB.
Realizações
- Reduzi em mais de 50% o custo da plataforma de dados com uma iniciativa de FinOps. A conta anual estava na casa dos seis dígitos, em dólares.
- Reduzi incidentes e retrabalho em ~3x ao implantar CI/CD com trunk-based development.
- Dei à empresa visibilidade imediata de problemas, com observabilidade de toda a plataforma e monitoramento de métricas de negócio quase em tempo real (latência de poucos minutos).
- Reestruturei o Unity Catalog por domínio (10+).
Atividades
- Defini as arquiteturas e as formas de trabalho de quase todo o time de dados. Isso foi da reestruturação do Unity Catalog por domínio à evolução contínua da modelagem analítica da empresa com dbt, incluindo a implantação de CI/CD com trunk-based development.
- Arquitetei a iniciativa de FinOps da plataforma de dados (clusters, jobs, armazenamento, políticas de governança), incluindo modelos de previsão de custo para que o gasto caísse de forma previsível.
- Entreguei dashboards de apoio à decisão, observabilidade de toda a plataforma e monitoramento de métricas de negócio quase em tempo real. O que o time de dados construiu passou pela minha mesa.
- Ajudei a criar os modelos de LTV e payback da empresa.
Tecnologias: Databricks, Unity Catalog, Delta Lake, Apache Spark, PySpark, Databricks Workflows, dbt, SQL, Python, AWS, Terraform, GitHub Actions, Streamlit, Metabase
Flutter Brazil
ago/2024 – jul/2025
Data Engineer
Realizações
- Construí do zero o modelo dimensional e o data lake da empresa. Até hoje todas as áreas usam essa arquitetura.
- Liderei a migração de toda a infraestrutura de dados da empresa para o Databricks: ~50 fontes (incluindo o Google Analytics 4) em uma única plataforma, com pipelines que passaram de horas para minutos.
Atividades
- Modelagem dimensional e data lake com Python, dbt e SQL.
- Integrei sistemas internos, ferramentas de terceiros e Google Analytics 4 em uma única plataforma de dezenas de TB.
- Também contribuí para o processo regulatório que permitiu à empresa operar legalmente no Brasil.
Tecnologias: Python, dbt, SQL, Databricks, Google Analytics 4
Data Team Lead
Realizações
- Ampliei o grupo de dados de 4 para ~20 pessoas, entre engenharia de dados, análise de dados e garantia de qualidade de dados.
- Fui diretamente responsável pela confiabilidade dos dados usados nas decisões da empresa.
Atividades
- Um dos primeiros engenheiros do time de dados da Clicksign, ajudando a construir a área do zero.
- Liderei os times de engenharia de dados, análise de dados e garantia de qualidade de dados.
- Construí os processos e ampliei o time que sustentou o crescimento da área.
Tecnologias: Amazon Redshift, dbt, Apache Airflow, dimensional modeling
Data Architect
Realizações
- Arquitetei praticamente todas as estruturas de dados que a empresa teve naquele período, incluindo 100+ pipelines Airflow (modelagem e ingestão).
- Liderei a implementação do dbt no Redshift. Ele trouxe controle de qualidade, governança, modelagem mais fácil, observabilidade e orquestração mais simples.
- Construí 10+ APIs para envio de dados a parceiros e terceiros.
- Arquitetei os processos de proteção de dados (em conformidade com a LGPD, a lei brasileira de proteção de dados, e alinhados ao GDPR) e a continuidade da entrega de dados.
Tecnologias: Apache Airflow, dbt, Amazon Redshift, dimensional modeling, data governance
Data Scientist (Python Developer)
- Integrei o time de Business Intelligence, transformando dados brutos em informação e insights por meio de automação e integração.
- Desenvolvi scripts e integrações entre bancos de dados, APIs e web services REST com Python, PostgreSQL e Apache Airflow.
- Contribuí com análises preditivas e modelagem para o time de BI.
Tecnologias: Python, PostgreSQL, Apache Airflow, REST APIs, predictive modeling
Professor Docente
- Lecionei cursos de Big Data e Engenharia de Dados para centenas de alunos: modelagem de bancos de dados, data warehouses, data lakes e lakehouses, lógica de programação e arquitetura de software, e desenvolvimento em cloud.
Temas: Big Data, Engenharia de Dados, modelagem de dados, data warehouses, lakehouses, cloud
Formação acadêmica
- jul/2022 – jul/2023 MBA em Engenharia de DadosXP Educação
- jun/2021 – jul/2022 Especialização (Lato Sensu) em Ciência de Dados e Inteligência ArtificialPUCRS · Pontifícia Universidade Católica do Rio Grande do Sul
- 2015 – 2019 Bacharelado em Ciência da ComputaçãoUEZO · Universidade Estadual da Zona Oeste do Rio de Janeiro
Certificações e cursos
Programas, certificações e cursos, do mais recente para o mais antigo. Cada item leva ao certificado original.
Certificações e programas
Data Science Academy
Formação Analista de Dados
Concluído em jan/2023
Data Science Academy
Formação Arquiteto de Dados
Concluído em dez/2022
Astronomer
Certificação Astronomer: DAG Authoring for Apache Airflow
Emitido em dez/2022
Astronomer
Certificação Astronomer: Apache Airflow Fundamentals
Emitido em nov/2022
Data Science Academy
Data Scientist Certified Professional (DSCP)
Emitido em abr/2022
Data Science Academy
Formação Cientista de Dados
Concluído em out/2021
Data Science Academy
Formação Analista de Inteligência de Mercado
Concluído em jun/2020
Mostrar todos os 33 cursos
- jan/2023Análise de Dados com Microsoft Power BI e Clínica de BIData Science Academy
- jan/2023Engenheiro de Dados CloudXP Educação
- dez/2022Análise de Dados com Linguagem PythonData Science Academy
- dez/2022Design e Automação de Pipelines de DadosData Science Academy
- dez/2022Arquitetura e Integração de Processos ETL e ELTData Science Academy
- dez/2022Modelagem de Bancos de Dados Relacionais, Não Relacionais e Data StoresData Science Academy
- dez/2022LGPD, Governança de Dados e Gestão de MetadadosData Science Academy
- out/2022Engenharia de DadosXP Educação
- jul/2022Bootcamp de Engenharia de DadosHOW
- mar/2022SQL para Data ScienceData Science Academy
- fev/2022Design e Administração de Cloud Computing AWSData Science Academy
- jan/2022Mineração de Dados com SPSSData Science Academy
- out/2021Visualização de Dados e Design de DashboardsData Science Academy
- set/2021Business AnalyticsData Science Academy
- ago/2021Machine LearningData Science Academy
- dez/2020Engenharia de Dados com Hadoop e SparkData Science Academy
- jul/2020Big Data Real-Time Analytics com Python e SparkData Science Academy
- jun/2020Análise Econométrica em RData Science Academy
- jun/2020Análise Estatística e Modelagem Preditiva de Séries Temporais em PythonData Science Academy
- mai/2020Análise Estatística de Dados e Machine Learning em RData Science Academy
- fev/2020Big Data Analytics com R e Microsoft Azure Machine LearningData Science Academy
- jan/2020Python - Fundamentos para Análise de DadosData Science Academy
- dez/2019R - Fundamentos para Análise de DadosData Science Academy
- out/2019Fundamentos do Sistema Operacional LinuxData Science Academy
- set/2019Mercado Financeiro e de CapitaisData Science Academy
- jul/2019Introdução à EconomiaData Science Academy
- out/2018Reconhecimento Facial com Python e OpenCVUdemy
- out/2018Reconhecimento de Faces e de Objetos com Python e DlibUdemy
- out/2018Detecção de Faces com Python e OpenCVUdemy
- jan/2018Desenvolvedor WebUdemy
- jan/2018Integrando E-commerce PHP 7 com PagSeguroUdemy
- jan/2018Dominando Banco de Dados com MySQLUdemy
- jan/2018PHP 7Udemy
Palestras e pesquisa
Palestra: Airflow — quem disse que não se pode fazer processamento de dados nele?
O Airflow é uma plataforma para criar, agendar e monitorar fluxos de trabalho de forma programática. Questionei se também seria possível usá-lo para processar dados: quais seriam os benefícios, como criar pipelines consistentes e simples para baixos volumes de dados e quais arquiteturas de pipeline seriam possíveis.
Podcast da Data Science Academy
Falei sobre minha trajetória profissional, meu mindset, minhas alegrias e frustrações, como foi conquistar meu primeiro emprego como cientista de dados e como era o dia a dia.
UEZO
ago/2018 – ago/2019
Iniciação científica
Trabalhei para entender e refinar técnicas de reconhecimento e detecção de objetos como linhas, faces humanas e células. Como ramificação dessa pesquisa, desenvolvi uma análise de otimização de detecção de bordas em células, com o objetivo de facilitar a construção de modelos 3D em biologia, farmacologia e medicina.
Projetos
Projetos selecionados
Estudos de caso das plataformas e dos times que liderei, seguidos de projetos anteriores de machine learning.
Migração para o Databricks e construção da base do lakehouse
~50fontes unificadas em uma só plataforma
Ponto de partida~50 fontes, do Google Analytics 4 a sistemas internos e ferramentas de terceiros, em uma plataforma de dezenas de TB. Milhares de tabelas e milhares de jobs por dia.
O que fizMigrei toda a infraestrutura de dados para o Databricks e construí o data lake e o modelo dimensional da empresa do zero, com Python, dbt e muito SQL.
O que mudouOs pipelines passaram de horas para minutos, e o data lake e o modelo dimensional seguem sendo a base de todas as áreas hoje.
- Databricks
- dbt
- Python
- SQL
- Google Analytics 4
FinOps e previsão de custos
>50%menos custo na plataforma de dados
Ponto de partidaUma conta anual da plataforma de dados na casa dos seis dígitos, em dólares.
O que fizArquitetei a iniciativa de FinOps em clusters, jobs, armazenamento e políticas de governança, com modelos de previsão de custo para que o gasto pudesse cair de forma previsível.
O que mudouMais de 50% de redução no custo da plataforma de dados.
- Databricks
- FinOps
Infraestrutura de dados do zero na Clicksign
100+pipelines Airflow
O que fizArquitetei quase todas as estruturas de dados que a empresa teve no período, com 100+ pipelines Airflow de modelagem e ingestão, e liderei a implementação do dbt no Redshift.
O que mudouControle de qualidade, governança, modelagem mais fácil, observabilidade e orquestração mais simples.
- Apache Airflow
- dbt
- Amazon Redshift
- dimensional modeling
Unity Catalog por domínio
10+domínios do Unity Catalog
O que fizReestruturei o Unity Catalog por domínio e cuidei da modelagem de dados e da qualidade, para que o provisionamento continue confiável e seguro.
O que mudou10+ domínios, com arquiteturas e formas de trabalho definidas para quase todo o time de dados.
- Databricks
- Unity Catalog
- dbt
Observabilidade e métricas quase em tempo real
O que fizConstruí apps de observabilidade da plataforma e de monitoramento de métricas de negócio, todos quase em tempo real, além de dashboards de apoio à decisão.
O que mudouVisibilidade imediata de problemas, com latência de poucos minutos.
- Streamlit
- Metabase
CI/CD com trunk-based development
~3xmenos incidentes e retrabalho
O que fizImplantei CI/CD com trunk-based development e ajudei a conduzir a evolução da modelagem analítica da empresa com dbt.
O que mudouIncidentes e retrabalho caíram ~3x.
- dbt
- CI/CD
- trunk-based development
Proteção de dados e APIs para parceiros
10+APIs para parceiros e terceiros
O que fizArquitetei os processos de proteção de dados (em conformidade com a LGPD e alinhados ao GDPR) e de continuidade da entrega de dados, e construí 10+ APIs para enviar dados a parceiros e terceiros.
- LGPD
- GDPR
- APIs
- data governance
Modelos de LTV e payback
Ponto de partidaPerguntas que os modelos respondem: gasto de aquisição, retorno por cliente e prazo de payback, os segmentos mais valiosos e se campanhas e promoções compensaram.
O que fizAjudei a construir os modelos de LTV e payback (SQL e dbt, com modelagem estatística e de machine learning, atualizados por pipelines e expostos em dashboards). Minha parte: dados de entrada e arquitetura, pipelines e plataforma, e validação dos resultados com ciência de dados e negócio.
O que mudouO marketing passou a ter uma base numérica para decidir onde investir.
- dbt
- SQL
- Machine learning
IA generativa para ferramentas do dia a dia
Onde usoCódigo em SQL, dbt e Python, documentação e testes de qualidade de dados, assistentes e consultas em linguagem natural, e análise de dados.
O que fizUso IA generativa para acelerar a construção das ferramentas do dia a dia, de protótipos no Lovable a dashboards em Streamlit e Metabase. Levei a prática para o time, defini as diretrizes de uso e construí soluções de IA para a empresa.
O que mudouOs protótipos saem mais rápido, o time gasta menos tempo em trabalho repetitivo e mais gente constrói ferramentas.
- Cursor
- OpenAI
- Anthropic
- DeepSeek
- GLM
- Lovable
- Streamlit
- Metabase
Decisões e trade-offs
O raciocínio por trás de três decisões de plataforma: o que pesou, os trade-offs que administrei e o que eu mudaria.
Por que Databricks, e o que eu mudaria
O que pesou na escolhaUma plataforma única para processamento em lote, ML e BI; governança com Unity Catalog; custo e desempenho; e as habilidades do time.
O que mais estava na mesaContinuar no Redshift e no que é nativo da AWS, Snowflake e BigQuery no Google Cloud.
Maiores riscos da migraçãoMigrar sem parar o negócio, chegar à paridade dos dados e o custo durante a transição.
O que eu faria diferenteComeçar o FinOps mais cedo e definir domínios e donos mais cedo.
- Databricks
- Unity Catalog
- FinOps
FinOps: prioridades e trade-offs
O que priorizeiVisibilidade do gasto, os maiores geradores de custo, o dimensionamento dos clusters e o agendamento dos jobs.
Trade-offs que administreiCusto contra frescor dos dados, custo contra desempenho, autonomia contra regras e tempo de engenharia contra economia.
O que sustentou a economiaModelos de previsão de custo, custo atribuído por domínio ou dono, alertas e dashboards de gasto, e políticas e guardrails.
O que eu faria diferenteMarcar e atribuir o custo por domínio e dono desde o primeiro dia, criar alertas automáticos de gasto mais cedo e envolver os domínios mais cedo.
- Databricks
- FinOps
Unity Catalog por domínio: motivos e trade-offs
Por que por domínioResponsabilidade clara por área, acesso e segurança por domínio, custo atribuído por domínio, e descoberta e qualidade de dados.
Trade-offs que administreiControle central contra autonomia, quantos domínios (granularidade), retrabalho em tabelas e permissões, e padrão contra flexibilidade.
O que funcionou na práticaDonos por domínio e padrões combinados, e provisionamento como código.
O que eu faria diferenteAutomatizar o provisionamento e as permissões mais cedo, e ter linhagem e documentação dos domínios desde o início.
- Databricks
- Unity Catalog
Projetos anteriores de machine learning
Análises feitas durante meus estudos de ciência de dados, mantidas aqui como referência.
Mostrar os 13 projetos
Projeto de Ciência de Dados
National Institute of Diabetes and Digestive and Kidney Diseases
Big Data Analytics e Machine Learning
National Institute of Diabetes and Digestive and Kidney Diseases
Neste projeto, usamos Python para prever, com base em medidas de diagnóstico, se um paciente tem diabetes.
Big Data Analytics e Machine Learning
Projeto de Ciência de Dados
Customer Churn in Telecom Operators
Big Data Analytics e Machine Learning
Customer Churn in Telecom Operators
Neste projeto, usamos Python para criar um modelo de machine learning que prevê se um cliente pode ou não cancelar seu plano e qual a probabilidade de isso ocorrer.
Big Data Analytics e Machine Learning
Santander Customer Satisfaction
Neste projeto, usamos Python para criar um modelo de machine learning que prevê se um cliente está ou não satisfeito com sua experiência bancária.
Big Data Analytics e Machine Learning
Netflix Investor: Quarterly Earnings
Neste projeto, usamos R para preparar um resumo estatístico dos dados da Netflix, demonstrando a saúde financeira da empresa e outras informações relevantes que podem ajudar potenciais investidores a decidir se investem ou não.
Big Data Analytics e Previsão
Warm Up: Predict Blood Donations
Neste projeto de machine learning, usamos R para prever se um doador de sangue doará dentro de uma determinada janela de tempo. O objetivo é prever os valores da última coluna (Made Donation in March 2007) para determinar se a pessoa doou sangue em março de 2007.
Big Data Analytics e Machine Learning
Projeto de Ciência de Dados
TalkingData AdTracking Fraud Detection Challenge
Big Data Analytics e Machine Learning
TalkingData AdTracking Fraud Detection Challenge
Neste projeto, construímos um modelo de machine learning para determinar se um clique em um anúncio online é fraudulento ou não.
Big Data Analytics e Machine Learning
Grupo Bimbo Inventory Demand
Neste projeto de machine learning, desenvolvemos um modelo para prever com precisão a demanda de estoque com base em dados históricos de vendas. Isso evita que os consumidores dos mais de 100 produtos de panificação encontrem prateleiras vazias e reduz o valor gasto com reembolsos aos proprietários de lojas por produtos excedentes impróprios para venda.
Big Data Analytics e Machine Learning
Projeto de Ciência de Dados
Warm Up: Machine Learning with a Heart
Big Data Analytics e Machine Learning
Warm Up: Machine Learning with a Heart
As doenças cardíacas são a principal causa de morte no mundo. Para aprender a preveni-las, precisamos primeiro aprender a detectá-las de forma confiável. Neste projeto, criamos modelos preditivos para classificar se um paciente tem ou não alguma doença cardíaca.
Big Data Analytics e Machine Learning
Boston Houses
Neste projeto, criamos modelos preditivos para estimar os preços de casas em Boston.
Big Data Analytics e Machine Learning
Big Data Analytics on Twitter - Part I
O objetivo desta análise é explorar diferentes técnicas e ferramentas para a captura, manipulação e transformação de dados provenientes da rede social Twitter. A análise busca entender o sentimento que cada tweet transmite, permitindo a extração de informação, conhecimento e sabedoria. Esta técnica auxilia os tomadores de decisão na análise do sentimento do seu público-alvo em relação a um determinado tema, por exemplo, para determinar se uma campanha de marketing tem aceitação positiva, negativa ou neutra.
Big Data Analytics
Big Data Analytics on Twitter - Part II
O objetivo desta análise é explorar diferentes técnicas e ferramentas para a captura, manipulação e transformação de dados provenientes do Twitter. Introduzimos a comparação do sentimento dos usuários desta rede social em relação a dois temas (duas palavras-chave). Esta técnica auxilia os tomadores de decisão na compreensão do sentimento do seu público-alvo em relação a múltiplos temas, por exemplo, para determinar se uma campanha de marketing teve aceitação mais positiva ou negativa do que outra.
Big Data Analytics
Big Data Analytics on Twitter - Part III
O objetivo desta análise é explorar diferentes técnicas e ferramentas para a captura, manipulação e transformação de dados provenientes do Twitter. Classificamos o sentimento que cada tweet transmite e determinamos sua polaridade. Esta técnica auxilia os tomadores de decisão na compreensão do sentimento do seu público-alvo em relação a um determinado tema, por exemplo, para determinar se uma campanha de marketing gerou surpresa, raiva, medo, nojo, alegria, etc.
Big Data Analytics
Big Data Analytics on Twitter - Part IV
O objetivo desta análise é explorar diferentes técnicas e ferramentas para a captura, manipulação e transformação de dados provenientes do Twitter. Avaliamos a frequência com que uma determinada palavra-chave é usada em uma região geográfica. Esta técnica auxilia os tomadores de decisão na compreensão do sentimento do seu público-alvo em relação a um determinado tema, por exemplo, para determinar em quais cidades uma campanha de marketing foi mais comentada.
Big Data Analytics
Como eu enxergo
No fim das contas, o que importa é se os dados viraram decisão.
Especialidades
Onde posso ajudar
Se você está construindo ou arrumando uma plataforma de dados, estas são as áreas em que posso ajudar.
Arquitetura e modelagem de dados
Pensar como os dados devem ser estruturados antes de existir qualquer código: modelos dimensionais, data warehouses, data lakes e bases de lakehouse.
Plataformas de dados: desenho e migração
Desenhar plataformas de dados e reunir muitas fontes em uma só: warehouses com dbt e Airflow, lakehouses e uma migração de ~50 fontes que levou os pipelines de horas para minutos.
FinOps e previsão de custos
Clusters, jobs, armazenamento e políticas de governança, com modelos de previsão para que a economia seja previsível.
Governança, qualidade e LGPD
Governança e catálogos de dados (AWS Glue Data Catalog, Unity Catalog, Hive Metastore e catálogos open source), qualidade de dados e processos de proteção de dados que seguem a LGPD e o GDPR.
Observabilidade e métricas
Enxergar problemas da plataforma e métricas de negócio quase em tempo real, com latência de poucos minutos.
Práticas de engenharia
Pipelines e orquestração com Airflow e dbt, CI/CD com trunk-based development e provisionamento confiável e seguro.
Liderança técnica
Liderar engenheiros de dados, analistas e cientistas de dados: definir arquiteturas, formas de trabalho e prioridades.
IA generativa para times de dados
Trazer a IA generativa para o dia a dia de um time técnico, para que construir ferramentas e protótipos fique mais rápido.
Contato
Vamos conversar
Sempre topo conversar sobre arquitetura de dados, IA generativa aplicada ao dia a dia de um time técnico ou o mercado de dados no Brasil.
Oportunidades
Aberto a qualquer tipo de oportunidade: tempo integral, contrato ou parceria.
Falar sobre uma oportunidadeProjetos
Revisões de arquitetura, migrações de plataforma, FinOps, governança de dados ou qualquer outro desafio de dados.
Falar sobre um projetoBrasil · Remoto/Global