|
|
|
s****d
发帖数: 56 | 4 我觉得snowflake更好，SAAS是个趋势，他家产品比Redshift先进不少
我也正打算去面一下:-) |
|
a******u
发帖数: 69 | 5 这样。感觉你很了解呀。我面完试还问其中一个cofounder他们跟redshift有什么不同…
祝面试顺利啊 |
|
y**********g
发帖数: 8 | 6 Lyft Data Infrastructure组招人，近期组里计划比较大规模的扩张，目标是Q3能够
double现有的规模，会有不少机会
Responsibilities/Requirements:
主要负责开发和维护客户端User Events以及各种主要Metadata的Ingest Pipeline，由
于最近数据量增长很快，也有一部分时间花在优化现有的ETL。用的是AWS, RedShift和
PostgreSQL，主要语言Python和Bash，如果有很强的SQL Skills也是一个Plus。大的
Data组底下另外两个部门是Data Analytics和Data Science，之间合作比较多。
Other Teams:
上述Data组的三个部门都会直接参与申请者审核
另外其他各组也在不断招人，可以帮忙内部推荐，职位请参考
https://www.lyft.com/jobs
和几个recruiter都比较熟，任何组任何职位如果看到了合适的申请者，应该都能帮助
加速面试和审核的进程
Company:
HQ在San Francisco的Mission区，公司管午饭，也常常... 阅读全帖 |
|
y**********g
发帖数: 8 | 7 Lyft Data Infrastructure组招人，近期组里计划比较大规模的扩张，目标是Q3能够
double现有的规模，会有不少机会
Responsibilities/Requirements:
主要负责开发和维护客户端User Events以及各种主要Metadata的Ingest Pipeline，由
于最近数据量增长很快，也有一部分时间花在优化现有的ETL。用的是AWS, RedShift和
PostgreSQL，主要语言Python和Bash，如果有很强的SQL Skills也是一个Plus。大的
Data组底下另外两个部门是Data Analytics和Data Science，之间合作比较多。
Other Teams:
上述Data组的三个部门都会直接参与申请者审核
另外其他各组也在不断招人，可以帮忙内部推荐，职位请参考
https://www.lyft.com/jobs
和几个recruiter都比较熟，任何组任何职位如果看到了合适的申请者，应该都能帮助
加速面试和审核的进程
Company:
HQ在San Francisco的Mission区，公司管午饭，也常常... 阅读全帖 |
|
R*********9
发帖数: 342 | 8 Please send your resume to [email protected]
/* */, I can forward your resume
to recruiter.
Data Analyst - WW Engineering
(ID 309287)
Amazon Corporate LLC
at Engineering - Fulfillment
US, WA, Seattle
Job Description
Amazon is seeking a bright and dynamic Data Analyst to join its Worldwide
Engineering -Advanced Technology Group. WWE –ATG is responsible for
designing new systems in robotics, mechatronics, autonomous vehicles, and
packaging technology for Amazon Fulfillment.
As part of your ... 阅读全帖 |
|
d********w
发帖数: 363 | 9 我们面对的系统越来越复杂，我们的软件也越来越庞大，包括我们一些技术的细分也越
分越细，在这种情况下，其实一个人很难做一个事情，往往要靠团队的这种力量去把一
个事情做好，但怎么能够把团队带起来，怎么能够比较好的建设团队，然后让团队运转
的比较高效，这其实是跟写代码还是不一样的，所需的技巧也不太一样。今日头条副总
裁谢欣，实时连线在硅谷的数据工程师董飞，分享他们在过去总结的一些管理的经验。
硅谷企业文化
我们来看一下硅谷，经常说一些巨头facebook、linkedin、谷歌，这几个大公司他们的
首字母简称FLG，当然他们都是一些技术型很强的公司。他们的福利跟待遇肯定是一流
的，除了这些之外还有文化方面的吸引，我举几个，比如说Facebook，它有一个新兵训
练营，新的工程师通过几周之内全方位的了解公司，之后就选择他感兴趣的组。创始人
Mark说过，最大的风险就是不愿意承担风险，还有一句是move fast and break things
. 如果在前进过程中没有遇到磕磕碰碰，说明不够快，这是一个快鱼吃慢鱼的时代，也
是创新的源泉。之前也在LinkedIn工作过，它比较强调的是用户第一，... 阅读全帖 |
|
d********w
发帖数: 363 | 10 这里面创业公司太多了，包含BI工具，数据存储和挖掘，应用等，我就简单说一些我感
兴趣的，其他的可以参考。
Palantir：超过百亿美金估值，已经是超级独角兽，就单独列出来。Peter Thiel创办
大数据公司。数据集成、 信息管理和定量的分析。连接到商业、 专有和公共数据集，
并发现趋势、 关系和异常，包括预测分析。
##############
Database
MemSQL: 号称最快的内存数据库。
GraphSQL：高效、大容量的图形数据库和分析平台，创始人是国人。
MongoDB: 分布式文件存储的数据库
DataStax：主力开发Cassandra。
Hadoop
Altiscale: 提供的Hadoop作为一种服务（HAAS）
Qubole：Hadoop服务提供商，Pinterest也是它的客户
Splice Machine: 基于Hadoop的实时大数据技术公司，支持SQL 事务处理，并针对OLAP
和OLAP 应用进行实时优化处理
机器学习
Paxata：应用机器学习技术处理大数据难题
0xdata：H2O 的算法是面向业务流程——欺诈或趋势预测
Everstrin... 阅读全帖 |
|
l****a
发帖数: 466 | 11 Primary Job Functions:
- Architect, optimize and manage our backend data infrastructure
- Build scripts to aggregate, process, store and analyze our data from
multiple sources
- Engineer tools to analyze and visualize our unique dataset
Qualifications and skills:
- Programming experience in one or more of the following: C++/C#, Java,
Python, R
- Experience with SQL and NoSQL database (specific experience with Amazon
Redshift is a big plus)
- Knowledge in statistical analysis, cloud storage and d... 阅读全帖 |
|
E****h
发帖数: 41 | 12 Title: Senior Cloud and Big Data Engineer
Location: Mountain View, CA
We are looking for experienced engineer with cloud and big data background
to join the team, to define and build the global cloud infrastructure and
big data platform. You will have opportunities to use cutting edge
technologies to solve the most challenging topics. This is an open, dynamic,
and fast paced working environment.
Responsibilities:
• Identity key requirements, and come with the best solution to
address their... 阅读全帖 |
|
b****u
发帖数: 1130 | 13 要对很多时间序列数据做各种统计分析，特别是相关性分析，所以必须把数据导入内存
以后做计算。 |
|
|
a*********n
发帖数: 2 | 15 现在考虑的组有：
AWS Route 53
AWS Monitoring (EC2)
EC2 Networking
Cloud front
DBS Redshift, Aurora, Console
Corporate Projects
希望了解的大神可以从oncall强度，组的新旧程度，烙印多不多，有没有前途，推不推
荐等方面介绍一下。真的！非常！非常！感激！！！ |
|
发帖数: 1 | 16 最近收到了amazon和apple的offer，有点犹豫去哪个比较好，希望了解的人可以多给点
信息。
Amazon给了几个组，比较感兴趣的是DBS Redshift, Aurora, Console
－ 优点：DBS的前景很好，毕竟big data这么火，将来肯定到处都有需求，跳槽很方便。
－ 缺点：我对dbs只有最基础的了解，不过学习能力比较强，也不是很担心。
Apple保密比较好，只知道是在MacOS和iOS上做一些system-level tools，而且会跟其
他一些组，譬如performance，security有点交集。
－ 优点：面试的时候感觉组里的人都是系统大神，跟我个人的兴趣点很匹配，system
也是我的强项吧。
－ 缺点：担心的就是不知道将来前景如何？在组里真的能有机会贡献很多么？将来如
果想跳槽，不知道市场大不大。。因为onsite的时候问manager为什么招new grad，他
说因为有经验的人招不太到。。所以感觉很虚。。
以上就是我的一点小考虑，对于package什么的，差那么一点点，我并不介意，还请各
位大神指点。。。 |
|
p*******n
发帖数: 2697 | 17 亚麻的new grad现在还没选组的会有Redshift, Aurora可以选？这两组去年就没了啊 |
|
r*****s
发帖数: 1815 | 18 我这两天打开aws console还能看到redshift，组没了？ |
|
E****h
发帖数: 41 | 19 https://angel.co/huami/jobs/125412-senior-big-data-and-machine-
engineer
(send resume to [email protected]/* */ , intern needed as well)
The big data team in Huami's US office, is looking for experienced engineer
with big data background to join the team.
Responsibilities:
Work closely with internal teams and partners, to identity key requirements,
and come with the best solution to address their needs.
Since team is small, you may work on different areas of data processing
pipeline, like ... 阅读全帖 |
|
E****h
发帖数: 41 | 20 多个职位open，全新项目和团队，有职业发展空间。prefer 3-5+以上工作经验。简历
请发送[email protected]/* */，谢谢大家！
更多职位：
https://angel.co/huami/jobs
-----------
Frontend Engineer
The big data team in Huami's US office, is looking for experienced front end
engineer to build state of art virtualization for data.
Responsibilities:
Build the first version of a customer facing web UI, support both mobile and
pc. Working closely with backend engineers to define the interface of
services, and UX to keep improving user experience.
Re... 阅读全帖 |
|
E****h
发帖数: 41 | 21 请斑竹们别再删帖了，我们收到一些简历，大都开始安排面试。既然是供需双方共赢的
事情，请版主们刀下留情。谢谢！
湾区公司招聘多个职位，简历请发送到[email protected]/* */
------------------------
Frontend Engineer
The big data team in Huami's US office, is looking for experienced front end
engineer to build state of art virtualization for data.
Responsibilities:
Build the first version of a customer facing web UI, support both mobile and
pc. Working closely with backend engineers to define the interface of
services, and UX to keep improving user experience.
Requir... 阅读全帖 |
|
E****h
发帖数: 41 | 22 目前有三个职位，招sr(5+ years)和 jr(0-3 years)工程师。
java
hadoop, mapreduce, yarn, hive, pig, airflow
spark, spark streaming
kafka
presto
mysql, postgresql
aws, s3, redshift, ec2, dynamodb
webservice
jr职位要求coding,算法过关，有大数据经验更好
sr职位要求有系统设计经验，和hadoop/spark经验
有兴趣请发简历至 james dot yu at xad dot com |
|
发帖数: 1 | 23 求问各位大大Amazon AWS console组都用什么技术？想去之前笨鸟先飞一阵儿
Our team known as DBUX, provides console experience for various AWS services
such as RDS, DynamoDB, Lex, ElastiCache, EMR and Redshift. DBUX consoles
are web interfaces, which allow AWS customers to manage their database and
Artificial Intelligence services. We primarily use Java as programming
language to build our apps. Our team recently announced many exciting
applications during 2016 re:invent, including Lex, a voice enabled chatbot
service using A... 阅读全帖 |
|
发帖数: 1 | 24 Company: Okta
Location: SF or San Jose
如果感兴趣，请发简历到 [email protected]
https://www.okta.com/company/careers/ga/senior-data-engineer--983309/
Senior Data Engineer
Position Description:
We are looking for an exceptional Senior Data Engineer who is responsible
for designing and developing robust, scalable solutions for large-scale data
infrastructure in a fast-paced agile environment. You will be encouraged to
initiate new projects to collect, store, and analyze data and to partner
with analysts... 阅读全帖 |
|
i*****j
发帖数: 41 | 25 Samsung Research America目前有几个opening， 需要以下方向有一些经验的开发人员
(至少有过Intern经验)
如果简历合适，可以直接推到Hiring Manager 手中，组内大部分都是中国人，氛围在
SRA算单纯很不错的。
Tizen developer:
1. Proficiency with C/C++, knowledge of Javascript, HTML/CSS.
2. Experience with Android or iOS is a big plus.
Android developer:
1. Proficiency with native Android application development
2. Strong mobile system development skills (at least in one area such as:
sensors, media, algorithms, threading, memory management, sync, networking,
power).
3. Exper... 阅读全帖 |
|
i*****j
发帖数: 41 | 26 Samsung Research America目前有几个opening， 需要以下方向有一些经验的开发人员
(至少有过Intern经验)
如果简历合适，可以直接推到Hiring Manager 手中，组内大部分都是中国人，氛围在
SRA算很单纯很不错的。
Tizen developer:
1. Proficiency with C/C++, knowledge of Javascript, HTML/CSS.
2. Experience with Android or iOS is a big plus.
Android developer:
1. Proficiency with native Android application development
2. Strong mobile system development skills (at least in one area such as:
sensors, media, algorithms, threading, memory management, sync, networking,
power).
3. Expe... 阅读全帖 |
|
g******1
发帖数: 295 | 27 Email you resume to [email protected]/* */ if interested.
The Enterprise software team is seeking a talented data engineer who can
develop and drive a data infrastructure roadmap to support Guardant Health’
s leadership in cancer diagnosis and management, leveraging the value of its
data.
As a Data Engineer/Architect, you will primarily drive
Understanding the technical and business requirements for data processing
and management
Designing the appropriate data stores (database, data stor... 阅读全帖 |
|
发帖数: 1 | 28 Company: Okta
Location: SF or San Jose
如果感兴趣，请发简历到 [email protected]
https://www.okta.com/company/careers/ga/senior-data-engineer--983309/
Senior Data Engineer
Position Description:
We are looking for an exceptional Senior Data Engineer who is responsible
for designing and developing robust, scalable solutions for large-scale data
infrastructure in a fast-paced agile environment. You will be encouraged to
initiate new projects to collect, store, and analyze data and to partner
with analysts... 阅读全帖 |
|
l****z
发帖数: 29846 | 29 那个时候在虹桥那里工作过的人都知道当时顺着遵义路往北走过了仙霞路不到天山路的
左面的一条小路上到处都是买d版光盘的.虹桥工作的老外也经常光顾.
那个Event Horizon我就是从那里买来看的. d版光盘有个不好就是除非你买了, 你不知
道你买的电影是不是好看,因为名字可能都改了. 就象民猪党破落西说的那样: you
have to buy it before you can see what is in there.
d版盘里面我遇到过几部我觉得不错的电影,包括杀出个黎明From Dusk To down和这个
Event Horizon.
我这里啰里啰嗦讲这个d版光盘是省了那位康大捐大妈要问的关于我看的电影的片源问
题.
这个Event Horizon算个恐怖片,97年的老片子, 大概情节是:
=============================
未来几十年内，人类探索利用太空的程度不断加深。2040年，利用空间扭曲技术深入宇
宙的“新领域号”消失于海王星附近。
2047年，新领域号突然在海王星发回讯号，内容似乎为求救，于是当年设计新领域
号的威尔博士（Sam Nei... 阅读全帖 |
|
E****h
发帖数: 41 | 30 【 以下文字转载自 JobHunting 讨论区 】
发信人: Elijah (十), 信区: JobHunting
标 题: hiring in bay area: front end, full stack, data engineer
发信站: BBS 未名空间站 (Thu Apr 7 12:41:20 2016, 美东)
请斑竹们别再删帖了，我们收到一些简历，大都开始安排面试。既然是供需双方共赢的
事情，请版主们刀下留情。谢谢！
湾区公司招聘多个职位，简历请发送到[email protected]/* */
------------------------
Frontend Engineer
The big data team in Huami's US office, is looking for experienced front end
engineer to build state of art virtualization for data.
Responsibilities:
Build the first version of a customer... 阅读全帖 |
|
f*n
发帖数: 1019 | 31 Owen and Javier will leave, Davis Graham should catch more, do we have one 4
star wr redshift this year? |
|
m****g
发帖数: 2185 | 32 最近在玩iphone上的一个游戏，名字叫《The Quest》，玩的是Gold Version，包含
Core Game和部分扩展包。这个游戏有狂多的扩展包，最开始是2009年推出的，很惊讶
这么好的游戏，似乎知道的人不多。
目前极度上瘾，一有时间就会爱不释手。游戏是两个匈牙利人制作的，情节是全新的，
但是模式是完完全全的魔法门6天堂之令的翻版，由于是单人主角，所以也有些像手机
上的上古卷轴。
这个游戏的图像、音乐、人物设计什么的都太像天堂之令了。游戏性极其丰富，难度适
中，iphone上玩了这些游戏没有一个能跟此游戏相比的。
如果你喜欢AD&D，喜欢魔法门6，喜欢上古卷轴，就别错过这个游戏。
官方论坛：
http://linux.redshift.hu/forums/ |
|
s******y
发帖数: 28562 | 33
Abstract: X2.00009 : Disproof of Big Bang's Foundational Expansion Redshift
Assumption Overthrows the Big Bang and Its No-Center Universe and Is
Replaced by a Spherically Symmetric Model with Nearby Center with the 2.73K
CMR Explained by Vacuum Gravity and Doppler Effects |
|
i**********r
发帖数: 36 | 34
ft, 不会差很多啦. and the age of a galaxy from redshift cannot
be greater than the universe itself la. |
|
j*******7
发帖数: 6300 | 35 Why We Know Our Universe, And Everything In It, Had A Beginning (Free Bible
Insert)
My career as a Cold Case Detective was built on being evidentially certain
about the suspects I brought to trial. There are times when my certainty was
established and confirmed by the cumulative and diverse nature of the
evidence. Let me give you an example. It’s great when a witness sees the
crime and identifies the suspect, but it’s even better if we have DNA
evidence placing the suspect at the scene. If the b... 阅读全帖 |
|
o******n
发帖数: 511 | 36 谢谢，我没用过sql server，现在用redshift，还从来没用过declare这么高级的功能:
-) |
|
o******n
发帖数: 511 | 37 工作中碰到的一个问题：
有一个redshift里的表，有如下几个fields，分别是id1, id2, id3, day, users，其
中id1, id2, id3, day是composite key。
我想找出每个id1+id2+id3对应的最近三十天的users。
我知道这个可以用类似于给各部门雇员工资排序的办法用self join。
请问可以用window function做吗？我试过nth_value但报错。应该怎么写完整的query
呢？谢谢。 |
|
b****u
发帖数: 1130 | 38 我最近也做了一个类似系统。其实取决于你们最后要用这些数据干什么，性能的要求（
是否要实时）。
很多情况下，需要一个datawarehouse，同时你需要建议个pipeline把数据拷备，同步
等。我用Scala和spark，因为spark有dataframe，处理转化数据非常方便。我们用
redshift做数据仓库，性能不错。
同时还需要一些visualization的软件， 如tableau，looker， etc。有了数据仓库，
做一些更高级的分析也会很方便，python，R，Scala，都不错。
特别说明一下，现在已有很多商业化的datapipeline，但同步数据一半都要数据源的
log文件来做CDC （capture data change）.我们最后自己做pipeline，其实更放心。 |
|
b****u
发帖数: 1130 | 39 我们暂时还不用kafka，因为不要求做实时同步。其实就是一个简单的数据拷贝，没必
要那么麻烦。Spark 有一个很有用的东西dataframe，它可以从数据源读取表格然后直
接存到目标数据库中，数据源可以是一个文件，非常方便。
我的原则是越简单越好，能用已有的轮子最好。
不要对原始数据库的东西做任何改变，当然为了方便，也可以加几个view table。这个
好处是，以后原始数据库有一些大的变化，你只要调整重写viewtable 就可以了，
pipeline是不用变化的，有点像interface。
现在的关键是你要把数据放到什么地方。我们用redshift，它是column based，性能好
。 同时还是一个rational db， 和以前的系统兼容性好。 |
|
发帖数: 1 | 40 本人好长时间以来上班下班尽折腾这个了。
公司大概有2000个左右的SQL Server 实例(真正的prod实例大概占一半)，版本比较复
杂，DR/HA方案也好几套，比较多的是DB Mirroring, AG, Replication，基本都是移
植到ec2的实例，少数简单的移到了RDS，因为都是SQL Server,过程比较顺利。
真正痛苦的是数据仓库的移植，原来用的是Netezza(再之前用的是Vertica), 移植的目
标是Redshift, 数据量大,好多表都是billion级别，境界危恶，层见错处，非人世所堪
...... |
|
c***C
发帖数: 139 | 41 Database: redshift
instance |
|
c******o
发帖数: 1277 | 42 我现在是aws的fans,觉得要不是真的特殊要求，nosql上， aws的dynamodb,
elasticache足够了，又便宜又方便。redshift还能join
新的kinesis也很酷，正在研究。 |
|
k*******n
发帖数: 190 | 43 我们这儿全用PYTHON。
只要你能完成，AWS上 EC2，S3,Redshift,EMR,MYSQL,DynomoDB之间的各种数据操作就
行。
人生苦短，我只用。。。 |
|
c******o
发帖数: 1277 | 44 Amazon redshift 做数据分析的。 就是Postgres SQL |
|
c******o
发帖数: 1277 | 45 still mongodb
Web service glue together play/kinesis/spark/redshift
Weare testing 50 nodes m3.large, may use up to 400 nodes |
|
x*******1
发帖数: 28835 | 46 Ec2 / S3 就是基础设施，肯定得用。 DDB之类的 可用可不用。 像lambda／redshift
／kenisis／这些包装了一些的应用不晓得有没有用？monitor完全可以直接拿亚麻的。
deployment也不用写了。 |
|
g*****g
发帖数: 34805 | 47 我们不用 Dynamo, Dynamo在 Scale上有一些限制，达不到某些服务的要求。所以我们
有一个 Team专门维护 C*等 Cloud DB. SQS 有些 Team用，但同样有很多限制，渐渐现
在都迁移到Kafka上了。
Monitoring和Deployment 马鬃提供的太弱，我们做了一堆开源的东西。
redshift |
|
w**z
发帖数: 8232 | 48 我们log存 s3, 用 Hadoop或 spark process , 导入 redshift
page
cou |
|
N*****m
发帖数: 42603 | 49 spark, flink, presto都行。不过，你的原始数据组织得优化一下。
aws redshift刚搞了个spectrum，8秒可以query 6.1 billion rows，数据在s3上面。
30 |
|
发帖数: 1 | 50 需要interactive的话你需要对read优化的database/system，如果数据可以load到别的
数据库上再做运算的话可以考虑bigquery，vertica，redshift，greenplum之类的解决
方案；如果数据只能放在hadoop/hdfs上面的话那就上presto，impala，sparkSQL之类
方案的；理论上基于hdfs的解决方案可能performance相对会差些，毕竟底层storage上
就决定效率不是特别高。 |
|
