Andrew Collier
Verified Expert in Engineering
Data Scientist and Software Developer
安德鲁在做实验物理学家的时候学会了编程和数据分析技能. He now works as a data scientist. 他选择的工具是R和Python,并附带了大量的SQL. Andrew还广泛使用Docker,并与AWS和Azure合作过. 他对网络抓取有特别的热情,也是一个有成就的演讲者和培训师.
Portfolio
Experience
Availability
Preferred Environment
Bash、Linux、Git、Jupyter、Docker、Python、Amazon Web Services (AWS)、SQL、R
The most amazing...
...我开发的系统已经在南极洲自主运行了十多年.
Work Experience
Web Crawling Specialist
Unrival Limited
- 为B2B营销产品开发从大型社交媒体平台提取数据的刮网器.
- 使用抓取的数据生成HTML和PDF格式的自动报告.
- 使用Watson api来解析和分析抓取的数据.
- 使用Bing Maps API在抓取的数据中定位位置.
- 开发了一个灵活的网页抓取框架,从100多家不同公司的高管页面收集数据.
Founder | Data Scientist
Fathom Data
- 清理、准备和分析数据:这个过程是在R和Python中完成的.
- 用R和Python构建机器学习和深度学习模型. 许多模型随后被部署在api后面.
- 管理一个数据科学家团队,并与客户进行协调和沟通.
- Automated documentation. 使用R Markdown自动生成报告和演示文稿.
- 开发和管理包:为R和Python构建和维护了许多包.
- 准备讲座和演讲,在会议和研讨会上进行培训和演讲.
Freelance Data Scientist
Toptal
- 建立了强大的网页刮板提取数据的个人和组织从领英和销售导航.
- 构建用于存储医疗药品数据的PostgreSQL数据库. Implemented ETL pipeline.
- 使用Python和spaCy从LinkedIn个人资料和博客文章中提取重要信息.
Founder/Data Scientist
Exegetic Analytics
- Conducted data analyses for clinical trials.
- 开发了一套适用于印刷业的符合性分析系统.
- Implemented a Kagi Charts indicator in MQL4.
- 分析新闻事件对外汇交易的影响,使用从myfxbook上获取的数据.
- 发起德班R用户组和德班数据科学聚会.
Python Engineer
HumanOS
- Designed and implemented a database. Set up on Amazon RDS.
- 创建了一个Flask API,将数据库连接到桌面和移动应用程序.
- 将API与第三方(WeFitter) API集成,收集可穿戴数据.
Python数据分析师和技术作家|织机教程视频
Domino Data Lab
- 为现有和新功能创建视频和教程内容.
- Updated and maintained documentation. Added automation to the website build.
- 提供关于新特性的反馈和bug报告.
R Engineer - Shiny App
BluePath Solutions LLC.
- 开发了多个与数据交互的Shiny应用程序.
- 开发了一个网络爬虫来提取药品定价数据.
- Designed and built a database using PostgreSQL; deployed on Amazon RDS.
Content Creator
Datacamp
- 用Spark设计了一个关于机器学习的在线课程的内容.
- 开发课程内容、脚本和相关材料.
- 创建幻灯片,录制视频和音频,编辑内容.
- 继续维护课程并回应学生提出的问题.
Senior Data Scientist
Derivco
- Coded a game recommendation engine.
- Developed a game/player anomaly detection system.
- Automated routine analyses.
- Automated report generation.
- Initiated Data Science Working Group.
Honorary Senior Lecturer
University of KwaZulu-Natal
- 为南极洲的实验开发了自主观测系统.
- 将机器学习技术应用于闪电分布.
- Mentored students in R and data analysis.
- 在许多国际会议上提出分析结果.
- 在国际期刊上发表研究成果.
Experience
{emayili}
http://github.com/datawookie/emayili该包具有最小的依赖关系,并公开了用于编写和发送电子邮件的整洁API. 它有详细的文档和广泛的测试套件.
这个包也成为了许多博客文章和会议/聚会的主题.
Trundler R Package
http://github.com/datawookie/trundlerTrundler是一项通过网络抓取收集零售价格数据的服务. The data are available via an API. 这个包为从R访问API提供了一组一致的函数.
Trundler Python Package
http://github.com/datawookie/trundlerpyTrundler是一项通过网络抓取收集零售价格数据的服务. The data are available via an API. 这个包为从R访问API提供了一组一致的函数.
Scientific Advisor
Skillset
Languages
Python, SQL, Bash, R, Octave, c++, CSS, HTML, Sed, JavaScript
Libraries/APIs
REST API, Beautiful Soup, Bing API, ArcGIS, Pandas
Platforms
Linux, RStudio, Docker, Amazon Web Services (AWS), Amazon EC2
Other
Machine Learning, Web Scraping, Task Automation, Regular Expressions, Visualization, Statistics, Data Analysis, Artificial Intelligence (AI), Technology Consulting, Data Visualization, Technical Writing, Algorithms, Bayesian Statistics, Unstructured Data Analysis, Web Crawlers, Large-scale Web Crawlers, APIs, Geospatial Data, WebSockets, Amazon RDS
Frameworks
Selenium, Scrapy, Flask, Django, RStudio Shiny, Spark
Tools
Microsoft Excel, Jupyter, Git, MATLAB
Paradigms
Automation, Data Science
Storage
Amazon S3, MongoDB, Neo4j, MySQL, PostgreSQL
Education
Ph.D. Degree in Space Physics
Royal Institute of Technology - Stockholm, Sweden
M.Sc. Degree in Nuclear Physics
Potchefstroom大学-南非Potchefstroom
B.Sc. (Hons) Degree in Physics & Mathematics
University of Natal - Durban, South Africa
Certifications
PhD
Royal Institute of Technology
How to Work with Toptal
在数小时内,而不是数周或数月,我们的网络将为您直接匹配全球行业专家.
Share your needs
Choose your talent
Start your risk-free talent trial
Top talent is in high demand.
Start hiring