f**z
发帖数: 186 | 1 香港同龄朋友们：
你们好！
我们是内地的80后、90后。昨天实在是不吐不快，就以“改革一代”的身份，写了
那篇《旺角暴乱后致香港“回归一代”：请回望这片被你无视的土地》。其实是做了两
边不讨好的心理准备的。结果竟然在网上得到了网友们的认同，看到大家更深入的思考
，我们也觉得很惊喜。
看了上万条讨论，最触动我们的，是一位香港青年的留言，他说香港经济在停滞，
看不到发展的前景，“我出生在香港的辉煌年代，然后一路下行，在半山腰，和一路上
行的你相遇。你们不可能理解我们的心情，我们也不需要同情。你伸出友谊之手，但在
我看来，是居高临下的施舍！”
这个留言促使我们动笔给你们写第二封信。你说的我们在半山腰的相遇，不是老天
的一个玩笑。为了这个相遇，首先，我们要对香港真诚道声感谢！
几十年来，香港是内地改革开放最有力的一个推动涡轮，一个牵引火车头，一个授
业老师，也是最重要的一根输血管。
2
改革开放之初，内地摸不着门，外资犹豫观望。是香港同胞率先到内地投资建厂，
创造了许多个“第一”：1978年第一家由境外人士开办的工厂—珠海香洲毛纺厂；1980
年第一家中外合资企业—北京航空食品有限公司；198... 阅读全帖 |
|
a*****0
发帖数: 6788 | 2 俺也是家里Windows 2012 Server。 这个server的数据drive直接是Windows RAID 1，
有2TB。 基本保证了一个硬盘坏了数据不丢失。 还有个4TB的NAS RAID5，这个东东俺
个把月开机一次，手动有选择地拷贝东西过去。这个NAS基本就是个封存资料的大仓库
， 平时不用。
俺也想再sync一份到云端， 但TB级别的容量还是太贵。 |
|
b********j
发帖数: 109 | 3 国内朋友请帮忙～～～ 但俺不是这个专业的呀！
谢谢！
该公司为大陆地区最早设立的10家基金管理公司之一。负责风控部门的建立和整体运营
工作。部门于2011年从合规部门分拆，在约一年的时间内完成了队伍的培养及自有风控
信息平台的搭建，对公司公募、社保、专户等各投资业务线建立起了有效的风险监控流
程。严格筛查每条投资指令，定期测算市场、信用、流动性等各类风险指标，对投资业
绩做归因分析，对投委会决议的执行情况做跟踪检测，使用各类客观清晰的数据为管理
层提供决策支持；宏观角度出具独立风险报告；检视公司
整体运营，推动公司业务发展和产品创新。配合监管机构开展各种压力测试及风险自查
工作。
该公司为中国大陆地区领先的本土投资银行。前期在综合风险管理组任副组长，协助组
长对公司约500亿元的自营资产，如何配置于股市、债市、PE、结构化产品及海外市场
等不同资产领域评估风险并出具建议，为公司风控委决策提供研究支持。评估公司创新
业务风险，协助撰写公司年度风险报告等；后期负责领导固定收益风险组工作，对公司
固定收益部、资金运营部约300亿资金的市场风险、信用风险及流动性风险进行归口管
理。落实公司风控... 阅读全帖 |
|
z*m
发帖数: 3227 | 4 2019年春节消费破万亿 有啥亮点？
中国搜索 19-02-12
2月7日，游客在北京厂甸庙会上参观游玩。新华社记者 任鹏飞 摄
买年货、吃年夜饭，网络消费、定制消费、智能消费，绿色食品、智能家电、新型数码
消费火爆；休闲旅游、观影观展，春节档电影总票房突破50亿元，国产科幻大片《流浪
地球》以20亿元票房领跑；民俗活动、文化过节，“紫禁城里过大年”，国家博物馆里
迎新春……2019年春节消费，红红火火亮点纷呈。
据商务部监测，除夕至正月初六（2月4日至10日），全国零售和餐饮企业实现销售额约
10050亿元，比去年春节黄金周增长8.5%。
消费旺盛年味浓
年夜饭、团圆饭、亲朋宴成为春节餐饮市场主角，大众化、特色化餐饮受到青睐……各
地餐饮企业年夜饭预订火爆，餐饮消费更显年味。
春节期间，天津重点监测的36家餐饮企业共预订年夜饭1.2万桌，同比增长5.3%；江苏
扬州重点餐饮企业预订年夜饭4000余桌，近4万人除夕夜“下馆子”；北京重点监测餐
饮企业销售额同比增长10%以上。许多餐饮企业和网络平台推出成品及半成品年夜饭外
卖、厨师上门制作年夜饭等服务，某外卖平台年夜饭订单量同比增长10... 阅读全帖 |
|
l****o
发帖数: 2909 | 5 10月23日消息，支付宝CTO李静明22日在北大进行校园招聘宣讲时透露，当前支付宝用
户超过4.7亿，日交易笔数已经达700万笔。Mitbbs.com
李静明说，可作类比的是今年二季度财报显示，Paypal日交易笔数不到400万笔。
Mitbbs.com
他表示，实际上支付宝系统后台已经支撑了全球最大的第三方支付交易，在未来的技术
研发上，“我们没有任何人可以模仿，我们必须走前人未走之路。”Mitbbs.com
据了解，除网购外，支付宝也进入航旅支付、物流支付等领域，这些业务带来的巨大交
易量，使支付宝对工程师的人才需求增加。10月19日，支付宝还宣布进入移动互联网支
付开发领域。Mitbbs.com
支付宝在9月26日启动2011年校园招聘项目，计划招聘500名应届毕业生，其中技术类岗
位超过300名。据介绍，此次校招的技术类岗主要包括JAVA工程师、数据仓库工程师、
数据挖掘工程师等。而非技术类岗位主要包括金融会计、数据分析师、运营专员等岗位
。 |
|
n*****8
发帖数: 19630 | 6 你就别二了，
你对计算机行业一无所知。
:-)
: 几乎都是偏冷门。工业界专业对口职位很少。热门一点de 还有什么图像处理 无
线通信
: 明显在抢EE 的研究方向。而且无线通信这块工业界的研发比学术界快太多了。
: GPU算是纯粹的CS 科研方向 但是如果混工业界 对口机会一样范围很窄 就那么
几家可
: 选。认识一个 做ray tracing 的老美 比较幸运 现在有机会还能做GPU的 研发
。这种
: CS 博士如果想找专业对口不是没有。但是可选择的机会就几个。还真不如CS
master
: 选择机会多。
: 大数据 和数据仓库 就扯淡了。你博士要是专攻这个烂大街的方向 说出来都掉
价儿。
: [在 nova888 (nova) 的大作中提到：]
: :编程是马工最基本的要求，
: :cs博士研究方向更与编程没有多大关系了，
|
|
y********2
发帖数: 20 | 7 我有6年的web开发经验,能够独立开发前端到后端整个网站, 有较强的架构设计能力.
设计过一个网站架构, 后端是用mysql+php+yii的基础上开发了一层自己的架构代码,
前端是在jquery+bootstrap的基础上开发了一层自己的架构. 前端是纯js写的前端, 跟
后端通信全部用纯json数据, 后端只包含controller和model和data层,view层全部由js
前端生成. 在我自己写的js前端架构中, 建立了前端类树结构, 前端的数据仓库, 前端
和后端的统一通信接口, 大大简化了后端的开发和运算成本,节省了大量的带宽. 我的
前端架构中还有统一的view配置系统, 将所有view统一变成舞台切换和元素摆放, 开发
了自己的元素库, 使得开发者几乎不用接触html就能完成强大的UI界面开发.
我本身从小有美术专长, 擅长美术设计.
从事过asp.net,java,python,ruby on rails,php的开发, 特别擅长javascript和php,
基本上任何语言我都能很快上手, 从前端到后端基本上所有岗位我都能干.
我现在就在Houston, 随时可以... 阅读全帖 |
|
y********2
发帖数: 20 | 8 我有6年的web开发经验,能够独立开发前端到后端整个网站, 有较强的架构设计能力.
设计过一个网站架构, 后端是用mysql+php+yii的基础上开发了一层自己的架构代码,
前端是在jquery+bootstrap的基础上开发了一层自己的架构. 前端是纯js写的前端, 跟
后端通信全部用纯json数据, 后端只包含controller和model和data层,view层全部由js
前端生成. 在我自己写的js前端架构中, 建立了前端类树结构, 前端的数据仓库, 前端
和后端的统一通信接口, 大大简化了后端的开发和运算成本,节省了大量的带宽. 我的
前端架构中还有统一的view配置系统, 将所有view统一变成舞台切换和元素摆放, 开发
了自己的元素库, 使得开发者几乎不用接触html就能完成强大的UI界面开发.
我本身从小有美术专长, 擅长美术设计.
从事过asp.net,java,python,ruby on rails,php的开发, 特别擅长javascript和php,
基本上任何语言我都能很快上手, 从前端到后端基本上所有岗位我都能干.
我现在就在Houston,TX, 随... 阅读全帖 |
|
y********2
发帖数: 20 | 9 我有6年的web开发经验,能够独立开发前端到后端整个网站, 有较强的架构设计能力.
设计过一个网站架构, 后端是用mysql+php+yii的基础上开发了一层自己的架构代码,
前端是在jquery+bootstrap的基础上开发了一层自己的架构. 前端是纯js写的前端, 跟
后端通信全部用纯json数据, 后端只包含controller和model和data层,view层全部由js
前端生成. 在我自己写的js前端架构中, 建立了前端类树结构, 前端的数据仓库, 前端
和后端的统一通信接口, 大大简化了后端的开发和运算成本,节省了大量的带宽. 我的
前端架构中还有统一的view配置系统, 将所有view统一变成舞台切换和元素摆放, 开发
了自己的元素库, 使得开发者几乎不用接触html就能完成强大的UI界面开发.
我本身从小有美术专长, 擅长美术设计.
从事过asp.net,java,python,ruby on rails,php的开发, 特别擅长javascript和php,
基本上任何语言我都能很快上手, 从前端到后端基本上所有岗位我都能干.
我现在就在Houston, 随时可以... 阅读全帖 |
|
B***i
发帖数: 297 | 10 我这干了多年的'数据仓库'就完啦？以后都是'大数据' 和Hadoopde1 天下？呜呼！ |
|
b*******l
发帖数: 590 | 11 Large-scale Data Systems?
现在好多job description上都能看到这个。 |
|
t*********h
发帖数: 941 | 12 date warehouse to me is more like database for structured data processed by
centralized mainframes. it's fucking dead. |
|
d**********x
发帖数: 4083 | 13 it's just dead, not fucking dead.
it still makes sense inside companies for erp systems.
by
2013年
BI- |
|
b***k
发帖数: 77 | 14 Big data technology doesn't kill data warehouse. It actually enhance it.
There is trend the user still want to model big data with the same concept
in data warehouse. So there is a lot of new product working on hadoop based
databases. |
|
L****Y
发帖数: 355 | 15 Oracle Exadata, IBM netezza， .... |
|
w****f
发帖数: 684 | 16 Agree.
NoSQL:
= not SQL （最初解释）
= not only SQL （去年的解释）
= not SQL yet （最新听到的）
based |
|
|
z*******3
发帖数: 13709 | 18 理论上无关，但是现有的工具都需要开发的支持才能搞
光dba之类的角色难以搞定 |
|
b***k
发帖数: 190 | 19 就是营销手法而已，还是那些东西，换了叫法，新瓶装旧酒 |
|
|
g********s
发帖数: 3652 | 21 【 以下文字转载自 ITRelief 俱乐部 】
发信人: greenlands (sunflower), 信区: ITRelief
标 题: 跪求前辈帮新手修改简历
发信站: BBS 未名空间站 (Sun Mar 16 13:10:19 2014, 美东)
印度人传帮带是他们抱团文化的具体体现。我们华人岂敢落后！多一个华人入职就少一
个印度人！
为此跪求前辈志愿帮助新手（研究生等）修改简历。请志愿者留下ID 或邮箱和特长方
向如：
1.编程- Java, C++, .net
2. 网路安全 web security
3. 数据库 DBA：Oracle， SQL Server， Sybase， DBA2/UDB
4. 数据仓库， 商务智能：ETL， 数据模型， 报表
5. 服务器系统管理
6. SAS， 统计学
7. 精算师 actuary
8. quant
9. MBA, 经济，金融
10. 会计
11. 项目经理
还有什么专业，请慷慨补充 |
|
y********2
发帖数: 20 | 22 我有6年的web开发经验,能够独立开发前端到后端整个网站, 有较强的架构设计能力.
设计过一个网站架构, 后端是用mysql+php+yii的基础上开发了一层自己的架构代码,
前端是在jquery+bootstrap的基础上开发了一层自己的架构. 前端是纯js写的前端, 跟
后端通信全部用纯json数据, 后端只包含controller和model和data层,view层全部由js
前端生成. 在我自己写的js前端架构中, 建立了前端类树结构, 前端的数据仓库, 前端
和后端的统一通信接口, 大大简化了后端的开发和运算成本,节省了大量的带宽. 我的
前端架构中还有统一的view配置系统, 将所有view统一变成舞台切换和元素摆放, 开发
了自己的元素库, 使得开发者几乎不用接触html就能完成强大的UI界面开发.
我本身从小有美术专长, 擅长美术设计.
从事过asp.net,java,python,ruby on rails,php的开发, 特别擅长javascript和php,
基本上任何语言我都能很快上手, 从前端到后端基本上所有岗位我都能干.
我现在就在Houston, 随时可以... 阅读全帖 |
|
b****u
发帖数: 1130 | 23 这个版人多，所以发在这。
最近给公司搭了一个数据仓库，用Redshift。 查询和插入效率都很好。但本质还是一
个数据库。
现在的问题是，如果要做一些深入的统计和计算，那么仍然要把大量的数据导出来，放
到内存中做并行计算。这样我就可能会用spark，这样还不如直接用spark做数据库算了
。不知道有没有人这方面的经验和建议。 |
|
h*****h
发帖数: 1392 | 24 北京英孚斯迈特公司专注于数据仓库、商业智能、大数据技术，有10项软件产品的知识
产权，广泛的客户群，并是美国Cloudera公司在中国少数几家认证合作伙伴之一，目前
也在与Cloudera公司就中国市场的进一步、深入合作进行探讨。在Hadoop方面，公司正
在开展围绕Cloudera产品的培训、咨询服务、软件开发，力争成为国内这一领域的领先
者。
公司创始人具有丰富的软件行业经验，曾任职于Oracle、IBM多年，担任重要职务。同
时，与国内的腾讯、百度、阿里巴巴等大型互联网公司有紧密地联系。
诚聘兼职培训师两名，培训师需会讲中文普通话，有Cloudera培训师认证证书，工作方
式：在中国北京讲课，一次时间5天左右，每年2次左右，具体时间安排双方协商。同时
培训公司内部员工，并能就Hadoop开发工作给予指导和帮助。公司负责所有差旅费，劳
务报酬优厚。
公司网址：http://www.infosmart.cn
有意者请发简历到：[email protected] |
|
y********2
发帖数: 20 | 25 我有6年的web开发经验,能够独立开发前端到后端整个网站, 有较强的架构设计能力.
设计过一个网站架构, 后端是用mysql+php+yii的基础上开发了一层自己的架构代码,
前端是在jquery+bootstrap的基础上开发了一层自己的架构. 前端是纯js写的前端, 跟
后端通信全部用纯json数据, 后端只包含controller和model和data层,view层全部由js
前端生成. 在我自己写的js前端架构中, 建立了前端类树结构, 前端的数据仓库, 前端
和后端的统一通信接口, 大大简化了后端的开发和运算成本,节省了大量的带宽. 我的
前端架构中还有统一的view配置系统, 将所有view统一变成舞台切换和元素摆放, 开发
了自己的元素库, 使得开发者几乎不用接触html就能完成强大的UI界面开发.
我本身从小有美术专长, 擅长美术设计.
从事过asp.net,java,python,ruby on rails,php的开发, 特别擅长javascript和php,
基本上任何语言我都能很快上手, 从前端到后端基本上所有岗位我都能干.
我现在就在Houston,TX, 随... 阅读全帖 |
|
g********s
发帖数: 3652 | 26 【 以下文字转载自 ITRelief 俱乐部 】
发信人: greenlands (sunflower), 信区: ITRelief
标 题: 跪求前辈帮新手修改简历
发信站: BBS 未名空间站 (Sun Mar 16 13:10:19 2014, 美东)
印度人传帮带是他们抱团文化的具体体现。我们华人岂敢落后！多一个华人入职就少一
个印度人！
为此跪求前辈志愿帮助新手（研究生等）修改简历。请志愿者留下ID 或邮箱和特长方
向如：
1.编程- Java, C++, .net
2. 网路安全 web security
3. 数据库 DBA：Oracle， SQL Server， Sybase， DBA2/UDB
4. 数据仓库， 商务智能：ETL， 数据模型， 报表
5. 服务器系统管理
6. SAS， 统计学
7. 精算师 actuary
8. quant
9. MBA, 经济，金融
10. 会计
11. 项目经理
还有什么专业，请慷慨补充 |
|
g********s
发帖数: 3652 | 27 【 以下文字转载自 ITRelief 俱乐部 】
发信人: greenlands (sunflower), 信区: ITRelief
标 题: 跪求前辈帮新手修改简历
发信站: BBS 未名空间站 (Sun Mar 16 13:10:19 2014, 美东)
印度人传帮带是他们抱团文化的具体体现。我们华人岂敢落后！多一个华人入职就少一
个印度人！
为此跪求前辈志愿帮助新手（研究生等）修改简历。请志愿者留下ID 或邮箱和特长方
向如：
1.编程- Java, C++, .net
2. 网路安全 web security
3. 数据库 DBA：Oracle， SQL Server， Sybase， DBA2/UDB
4. 数据仓库， 商务智能：ETL， 数据模型， 报表
5. 服务器系统管理
6. SAS， 统计学
7. 精算师 actuary
8. quant
9. MBA, 经济，金融
10. 会计
11. 项目经理
还有什么专业，请慷慨补充 |
|
g********s
发帖数: 3652 | 28 【 以下文字转载自 ITRelief 俱乐部 】
发信人: greenlands (sunflower), 信区: ITRelief
标 题: 跪求前辈帮新手修改简历
发信站: BBS 未名空间站 (Sun Mar 16 13:10:19 2014, 美东)
印度人传帮带是他们抱团文化的具体体现。我们华人岂敢落后！多一个华人入职就少一
个印度人！
为此跪求前辈志愿帮助新手（研究生等）修改简历。请志愿者留下ID 或邮箱和特长方
向如：
1.编程- Java, C++, .net
2. 网路安全 web security
3. 数据库 DBA：Oracle， SQL Server， Sybase， DBA2/UDB
4. 数据仓库， 商务智能：ETL， 数据模型， 报表
5. 服务器系统管理
6. SAS， 统计学
7. 精算师 actuary
8. quant
9. MBA, 经济，金融
10. 会计
11. 项目经理
还有什么专业，请慷慨补充 |
|
y********2
发帖数: 20 | 29 我有6年的web开发经验,能够独立开发前端到后端整个网站, 有较强的架构设计能力.
设计过一个网站架构, 后端是用mysql+php+yii的基础上开发了一层自己的架构代码,
前端是在jquery+bootstrap的基础上开发了一层自己的架构. 前端是纯js写的前端, 跟
后端通信全部用纯json数据, 后端只包含controller和model和data层,view层全部由js
前端生成. 在我自己写的js前端架构中, 建立了前端类树结构, 前端的数据仓库, 前端
和后端的统一通信接口, 大大简化了后端的开发和运算成本,节省了大量的带宽. 我的
前端架构中还有统一的view配置系统, 将所有view统一变成舞台切换和元素摆放, 开发
了自己的元素库, 使得开发者几乎不用接触html就能完成强大的UI界面开发.
我本身从小有美术专长, 擅长美术设计.
从事过asp.net,java,python,ruby on rails,php的开发, 特别擅长javascript和php,
基本上任何语言我都能很快上手, 从前端到后端基本上所有岗位我都能干.
我现在就在Houston, 随时可以... 阅读全帖 |
|
f*****g
发帖数: 15860 | 30 这个作弊可能，但是难度较大，很可能费力不讨好，尤其是还有各网站竞争的问题。
这个比BJ作弊要难得多，因为BJ的模型简单，相当于每把押(no fold preflop)，必须
看到showdown，而且bet amount已经事先固定，网站想搞你一个，还是一群，都易如反
掌，要你中你就中，要你爆你就爆。
而扑克，要想隐蔽，貌似“正常波动”，它们首先得有一个强大的数据仓库，来支持对
每一个牌手的数据分析，以确定具体的行为模式(你怎么打每种牌，起码比较靠谱)。
然后，它们得利用这些分析去具体设局，按说不难，其实不易，这得局中每个演员都积
极配合才行，这个完全是动态规划的问题。
比如这的各位整天挂口上, balance your range，就是设局的一大障碍。
再比如，各位玩家手里的HUD，notes，也是一个问题，对A能这么打，对B可能就完全是
另一个风格，这里面有太多的人为不定因素，不是一个简单模型就能搞定的。
最简单的，本来给你发AA，给B发KK，设计好了river suckout full stack，结果B一看
你的数据，整个一super nit，preflop就fold to 4... 阅读全帖 |
|
t****g
发帖数: 35582 | 31 这东西其实可以这样解决。
家里的所有机器本地都不存数据，弄个NAS跑raid5做数据仓库，Gb网连接。然后NAS上
跑一个乌龟之类的版本控制软件防止误操作。
然后再做一个NAS，每天半夜把主NAS的数据备份以下防止主NAS出意外。
这样的话就平时基本没有什么管理工作了。 |
|
l*****8
发帖数: 16949 | 32 还真未必比你自己装贵。而且这个机箱，主板是定制的，你不用折腾，不用担心兼容性
。我自己装过一个unraid的server,光考察主板就搞了好久。一般主板不是为服务器设
计的。需要的功能没有，不需要的功能很强劲。如果能支持10几个盘，要装SAS卡，这
个价钱也不便宜。机箱，电源，主板，CPU, memory,SAS卡，SAS->SATA接线，如果在买
软件，自己装一个的话价钱也欻不了太多了。不要光看CPU和memory就觉得不值钱。
我自己装的一个unraid server,买的装5个盘的Dock就是100多，
http://www.amazon.com/gp/product/B000KMAWHO/ref=oh_details_o00_
SAS卡+SAS->SATA接线100多。如果要做装15个盘的server,光dock+SAS+接线就600多了
，不要说还有其他那么多东西了。
unraid的缺点是写速度比较慢。我的装载虚拟机上的server读能到67MB/s,写能到25MB/
s. 但如果用一个盘作buffer的话，写能到40+MB/s.如果不隔层虚拟机，速度还能更快
一点。
un... 阅读全帖 |
|
e****7
发帖数: 4387 | 33
是的，这是一个相当classic 的many to many 在dimension model 里的应用，通常叫
faceless fact.
假如数据多，而且其它的数据都在dimension model 里，又有OLAP engine , 这个还挺
好用的。 |
|
e****7
发帖数: 4387 | 34
我是玩MS BI的，觉得这个DW/BI的意义不完全在于能否取得数据，而是在于能否给予用
户(我这儿一般是business analyst ) analytical capabilities.
对于搞数据库的，可能我们写两行Code就能解决问题了，但一般analyst 没这个能力。
我们做个CUBE，把数据放入Olap Engine, 这样Analyst 可以轻松的用Olap Browser获
取资料，做他们的的Analysis。个人觉得性价比最高的OLAP BROWSER，莫过于MS Excel
了。谁都会用，基本免费(因为基本大家都有)。
虽然这个好似对Job Security 不好，不过大势所趋。
欢迎做BI的来拍。 |
|
g********s
发帖数: 3652 | 35 通过ETL这道工序，不同来源不同格式的数据被收拾整齐后放进一批用于产生报表的
tables.
这些tables是按照star schema的方式设计的，它们分为Dimension tables 和Fact
tables. 举个简单的例子，假设数据仓库记录的是Mutual Funds 销售业绩，那么
每卖出的一份Mutual Fund，都需要记录某推销员，某月某日，卖出了某个Mutual Fund
给某某客户。
这一条条记录就叫 row, record or transaction. 如果你买了三个不同的Mutual Fund
，就有三行记录。这些细节被存放在叫Fact table里。
问：既然一切信息都包括在 Fact table了，那么Dimension tables放什么信息？
答：举个例子
Fact table 每条记录只是这个样子的：
客户 产品 时间 推销员 金额
55551 E12 321 098 4,800
55551 R78 321 ... 阅读全帖 |
|
a******g
发帖数: 725 | 36 你自己都搞不清楚。
所有数据其实都是从OPERATION DATABASE来的。 那些FLAT FILE 难道不是？
做了几个BI PROJECT。
“不仅仅是 OPERATION 数据库。这个过程是普通的 SQL 语句无法处理和完成的，一定是
需要 ETL 的过程，加载，转换和清洗的，这个工作占据了数据仓库构建的 60%-70% 的
时间。 ”
好吧， ETL（在不同系统）这些都是低级程序员可以干的。 这点玩意被你当成了高达
上了。
复杂数学算法都没有的，不叫IT。
有本事你去考FLAG的算法题，肯定吓尿了。 |
|
x****o
发帖数: 142 | 37 讨论下， 这个算说的靠谱吗？
----------------------------------------------
（Big）Data Engineer（更偏计算机应用）是一个最近比较流行的职位， 其有部分类
似于但又不完全类同于Data Scientist （更偏统计模型）也不同于以往BI Engineer/
developer。
一般市场对Data Engineer的要求是，
1， Good work experience in using SQL and databases in a business
environment.
熟知数据库技术
2， Strong experience in Data Warehouse and Business Intelligence
application development
深刻理解数据仓库/商务智能应用开发
3， Experience with scripting languages, i.e. Perl, Python etc. preferred
掌握一门语言， 一般推荐学习Python
4， Evaluate and i... 阅读全帖 |
|
发帖数: 1 | 38 本人好长时间以来上班下班尽折腾这个了。
公司大概有2000个左右的SQL Server 实例(真正的prod实例大概占一半)，版本比较复
杂，DR/HA方案也好几套，比较多的是DB Mirroring, AG, Replication，基本都是移
植到ec2的实例，少数简单的移到了RDS，因为都是SQL Server,过程比较顺利。
真正痛苦的是数据仓库的移植，原来用的是Netezza(再之前用的是Vertica), 移植的目
标是Redshift, 数据量大,好多表都是billion级别，境界危恶，层见错处，非人世所堪
...... |
|
o*******8
发帖数: 249 | 39 如果在数据仓库里需要建个新的 partition表，数据从别的表导过来，大概有10B 的
行。
1, 是先load data到空白的没有partition的表，然后 partition，然后index。
2, 还是先建一个有partition的表，然后load data，然后index。
partition是在日期列上。
哪个方法快？谢谢。 |
|
发帖数: 1 | 40 HIVE的partitioning 非常强大。
如果在数据仓库里需要建个新的 partition表，数据从别的表导过来，大概有10B 的 |
|
kn
发帖数: 2446 | 41 系统装在SSD，程序安装在D盘，显然享受了SSD的优越性。
实际上，程序装在哪里，对性能影响微乎其微；影响性能的是系统进程程序和虚拟内存
文件在哪里。所有系统进程程序全部都在C盘，整个系统调度和需要频繁执行的东西全都
在SSD上，使用者显然会从中收益。
机械硬盘真正担当了数据仓库的作用。程序在启动的时候会被读入虚拟内存和主内存，
之后就不会频繁读取程序安装目录了（大的程序会在执行过程中会进行虚拟内存的页更
替操作，但这个发生的频率和虚拟内存文件的读写频率相比可以忽略）。
还真没想出来啥程序会频繁读写安装目录下的文件。。。除了一些科学计算程序，需要
频繁读写数据。
难道你以为所有程序都会频繁读写安装目录下的文件么？
/V
sea |
|
s********s
发帖数: 4011 | 42 你以为只有desktop和notebook用硬盘? 你知道数据仓库啊云之类的需要多少硬盘来存
储不断增长的数据？真是无知者无畏 |
|
b****u
发帖数: 1130 | 43 【 以下文字转载自 JobHunting 讨论区 】
发信人: bobohu (bobohu), 信区: JobHunting
标 题: Redshift 的使用
发信站: BBS 未名空间站 (Fri Sep 4 17:11:19 2015, 美东)
这个版人多，所以发在这。
最近给公司搭了一个数据仓库，用Redshift。 查询和插入效率都很好。但本质还是一
个数据库。
现在的问题是，如果要做一些深入的统计和计算，那么仍然要把大量的数据导出来，放
到内存中做并行计算。这样我就可能会用spark，这样还不如直接用spark做数据库算了
。不知道有没有人这方面的经验和建议。 |
|
s****y
发帖数: 503 | 44 现在的云计算、大数据技术，比如hadoop，好像涉及数据仓库的知识。比如hive和BI、
ETL有联系。
云计算技术还会向数据挖掘和机器学习方向发展吗？data mining有很多算法和技术，
今后有没有可能被云计算运用？
现在云计算技术的发展方向是什么？ |
|
z****e
发帖数: 54598 | 45 java对于persistence没有太多办法
这个从本质上说是persitence自身的性能瓶颈
你java怎么做也做不了太多，最好的方式就是想办法把原来的db效率给提升提升
适当地把一些次重要的数据交给nosql尤其是cassandra是一个比较好的方法
其次数据库读写分离，做成数据仓库也是一种方法
当然还有建cache，建连接池，做成异步的，等等 |
|
|
c********1
发帖数: 5269 | 47 #1数据仓库->大数据->深度学习
#2 SQL DB-> noSQL DB |
|
a9
发帖数: 21638 | 48 我的意思是
以前叫数据仓库，然后改名叫大数据，现在改叫深度学习了，其实本质是差不多的东西？ |
|
s*********y
发帖数: 6151 | 49 当然不是啦
数据仓库是老一点的概念 主要是RDBMS
大数据主要是Hadoop， Hive 这些东西
深度学习只是个其实说的是算法层面，
但怎么说 这三个本质上都差的挺多的
西？ |
|
|
