w***g
发帖数: 5958 | 1 前端 vue.js, iview。
后端 python. 不带数据库的用flask， 带数据库的用django。
前后端之间用ajax web service交互，完全弃用django的模板系统。
部署用nginx。
核心技术系统底层C++，数据python。如果哪天后端发现python出现
瓶颈了，应该能很快用C++模块顶上。
大数据这块，对外暂时宣称用hadoop, spark这些，实际我会用高性能
大内存的单机系统（真正计算部分）。我认为在hadoop是15年前的硬件
技术的软件解决方案，5年前就应该已经过时了。必要时上GPU加速。尽
量避免分布式计算。
我自认为作为CTO我给公司选择了正确的技术路线，能帮助我们
在前进的道路上避免不少冤枉活。我们目前是2B业务比较早期，
将来还不知道会咋样，且看我这套体系能玩到什么时候。
这套体系目前还不能覆盖手机端。我对app开发不熟，这个是个缺憾。
但是新手学语言找工作，我觉得需要学js和python两种语言，先学哪
一个都没关系。从语言本身来说, js比python要有意思。n年前我来
吹过用js通吃前后台，现在数据这块崛起了，会python有太多的优势了。
Python的难度其实已经不在语言了，而是拼CS专业知识了。
再接下来，光靠会一个语言本身其实很难有什么红利了。 |
h**k
发帖数: 662 | |
T*******x
发帖数: 8565 | 3 赞干货！
【在 w***g 的大作中提到】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask， 带数据库的用django。
: 前后端之间用ajax web service交互，完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++，数据python。如果哪天后端发现python出现
: 瓶颈了，应该能很快用C++模块顶上。
: 大数据这块，对外暂时宣称用hadoop, spark这些，实际我会用高性能
: 大内存的单机系统（真正计算部分）。我认为在hadoop是15年前的硬件
: 技术的软件解决方案，5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
|
l*******m
发帖数: 1096 | |
g****t
发帖数: 31659 | 5 我司主要是Cassandra, postgreSQL。 |
l*******m
发帖数: 1096 | 6 Hadoop的背景是那时千兆以太网比硬盘快，还有内存小。现在是要让数据靠近ALU
：前端 vue.js, iview。
：后端 python. 不带数据库的用flask， 带数据库的用django。 |
r****t
发帖数: 10904 | 7 ajax web service 是啥，第一次听说 😓
贵司的客户是哪些公司？已经有 revenue 了吗/？
app 学个 flutter 差不多了。
我司目前是 loopback 后端 + angular/flutter 前端。
另外一个项目是 golang + C#
【在 w***g 的大作中提到】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask， 带数据库的用django。
: 前后端之间用ajax web service交互，完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++，数据python。如果哪天后端发现python出现
: 瓶颈了，应该能很快用C++模块顶上。
: 大数据这块，对外暂时宣称用hadoop, spark这些，实际我会用高性能
: 大内存的单机系统（真正计算部分）。我认为在hadoop是15年前的硬件
: 技术的软件解决方案，5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
|
g****t
发帖数: 31659 | 8 现实中的internet service 架构和人员也很有关系。技术考虑只是一方面。另一方面
，也需要考虑人员最熟悉和擅长什么。初创公司包袱小，相对自由些。但是wdong琢磨
这些事不是浪费时间吗。招个靠谱的architecture并不难。
: Hadoop的背景是那时千兆以太网比硬盘快，还有内存小。现在是要让数据
靠近
ALU
: ：前端 vue.js, iview。
: ：后端 python. 不带数据库的用flask， 带数据库的用django。
【在 l*******m 的大作中提到】
: Hadoop的背景是那时千兆以太网比硬盘快，还有内存小。现在是要让数据靠近ALU
:
: ：前端 vue.js, iview。
: ：后端 python. 不带数据库的用flask， 带数据库的用django。
|
|
g****t
发帖数: 31659 | 9 搴旇灏辨槸璇磝mlhttprrquest涓哄熀纭殑涓鍓嶇鎷挎暟鎹殑鍔炴硶銆br />
銆鍦repast(xebec) 鐨勫ぇ浣滀腑鎻愬埌: 銆br />
: ajax web service 鏄暐
锛岀涓鍚 馃槗
|
w***g
发帖数: 5958 | 10 一开始招人跟不上，我现在还自己写javascript呢。
在revenue能跟上之前，招人还是比较谨慎。毕竟人一来每月都是好几万人刀，
没事干了又不能开除掉。
【在 g****t 的大作中提到】
: 现实中的internet service 架构和人员也很有关系。技术考虑只是一方面。另一方面
: ，也需要考虑人员最熟悉和擅长什么。初创公司包袱小，相对自由些。但是wdong琢磨
: 这些事不是浪费时间吗。招个靠谱的architecture并不难。
:
:
: Hadoop的背景是那时千兆以太网比硬盘快，还有内存小。现在是要让数据
: 靠近
: ALU
:
: ：前端 vue.js, iview。
:
: ：后端 python. 不带数据库的用flask， 带数据库的用django。
:
|
|
|
g****t
发帖数: 31659 | 11 你是拿股份的毕竟不一样啊。我是打工的。现在汲取教训，人事和财务都不发声。
另外像你这个架构，我司几十个angular的人，几十个java的人，几十个.net都无法参
与进来新项目了。这样也不合适。
: 一开始招人跟不上，我现在还自己写javascript呢。
: 在revenue能跟上之前，招人还是比较谨慎。毕竟人一来每月都是好几万人刀，
: 没事干了又不能开除掉。
【在 w***g 的大作中提到】
: 一开始招人跟不上，我现在还自己写javascript呢。
: 在revenue能跟上之前，招人还是比较谨慎。毕竟人一来每月都是好几万人刀，
: 没事干了又不能开除掉。
|
r****t
发帖数: 10904 | 12 站太破了，乱码了
#65533;
【在 g****t 的大作中提到】
: 搴旇灏辨槸璇磝mlhttprrquest涓哄熀纭殑涓鍓嶇鎷挎暟鎹殑鍔炴硶銆br />
: 銆鍦repast(xebec) 鐨勫ぇ浣滀腑鎻愬埌: 銆br />
:
: ajax web service 鏄暐
: 锛岀涓鍚 馃槗
:
|
w***g
发帖数: 5958 | 13 这就是我从头做的好处啊， 只招js和python的人。
现在年轻人都会这些。.net其实国内很流行，也是一条路子。
我最近碰到的才好玩，就是人家只用excel。写文档都不用word。
应用啥的，全在excel里面搞。VBA。
不过隔壁说的云是个大问题。我估计马上就要考虑了。
云的便捷很诱人的。但是实际有两个问题：
1. 不能吊死在一棵树上。
2. 客户不允许上云。数据必须只进不出。
【在 g****t 的大作中提到】
: 你是拿股份的毕竟不一样啊。我是打工的。现在汲取教训，人事和财务都不发声。
: 另外像你这个架构，我司几十个angular的人，几十个java的人，几十个.net都无法参
: 与进来新项目了。这样也不合适。
:
:
: 一开始招人跟不上，我现在还自己写javascript呢。
:
: 在revenue能跟上之前，招人还是比较谨慎。毕竟人一来每月都是好几万人刀，
:
: 没事干了又不能开除掉。
:
|
g****t
发帖数: 31659 | 14 我猜就是指xmlhttprequest 为基础协议的各种新一代设计吧。我以前有个帖子讲，我
个人认为
是xmlhttprequest 救了当年崩溃的.net泡沫。
旧时模版都是吐完整的一个页面的。
: 站太破了，乱码了
: #65533;
【在 r****t 的大作中提到】
: 站太破了，乱码了
:
: #65533;
|
l******n
发帖数: 9344 | 15 赞干货，看来国内vue还是很流行的
问一下，完全弃用django的模板系统是说DTL还是说不用任何template系统，jinja2也
不用？
spa design开发比用template要慢很多吧？
【在 w***g 的大作中提到】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask， 带数据库的用django。
: 前后端之间用ajax web service交互，完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++，数据python。如果哪天后端发现python出现
: 瓶颈了，应该能很快用C++模块顶上。
: 大数据这块，对外暂时宣称用hadoop, spark这些，实际我会用高性能
: 大内存的单机系统（真正计算部分）。我认为在hadoop是15年前的硬件
: 技术的软件解决方案，5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
|
r****t
发帖数: 10904 | 16 问一下部署在国内除了阿里云，还有哪些比较靠谱的啊？
【在 w***g 的大作中提到】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask， 带数据库的用django。
: 前后端之间用ajax web service交互，完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++，数据python。如果哪天后端发现python出现
: 瓶颈了，应该能很快用C++模块顶上。
: 大数据这块，对外暂时宣称用hadoop, spark这些，实际我会用高性能
: 大内存的单机系统（真正计算部分）。我认为在hadoop是15年前的硬件
: 技术的软件解决方案，5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
|
e*******o
发帖数: 4654 | 17 vue 本身就有template，比后端写template 开发效率高太多了，性能可能差一点，不
过无关紧要。
【在 l******n 的大作中提到】
: 赞干货，看来国内vue还是很流行的
: 问一下，完全弃用django的模板系统是说DTL还是说不用任何template系统，jinja2也
: 不用？
: spa design开发比用template要慢很多吧？
|
e*******o
发帖数: 4654 | 18 大数据这块，对外暂时宣称用hadoop, spark这些，实际我会用高性能
大内存的单机系统（真正计算部分）。我认为在hadoop是15年前的硬件
技术的软件解决方案，5年前就应该已经过时了。必要时上GPU加速。尽
量避免分布式计算。
======
老司机啊 |
w***g
发帖数: 5958 | 19 我用过青云也很不错. 不过目前我就是用阿里云.
【在 r****t 的大作中提到】
: 问一下部署在国内除了阿里云，还有哪些比较靠谱的啊？
|
m******e
发帖数: 242 | 20 赞！ 刚入门的想问下大牛， python数据这块想学习一下的话，应该学什么呢？ 是
numpy， pandas， tensorflow 这种包的使用么？ |
|
|
e*******o
发帖数: 4654 | 21 去kaggle 上刷，看人家的代码。飞速前进。
【在 m******e 的大作中提到】
: 赞！ 刚入门的想问下大牛， python数据这块想学习一下的话，应该学什么呢？ 是
: numpy， pandas， tensorflow 这种包的使用么？
|
m******e
发帖数: 242 | 22 再就是您说的“ajax web service交互”， 是指用 django RESTFUL 来连接前端的东
西么？ |
m******e
发帖数: 242 | 23 谢谢大神。 基本没学过数据，想开始自己搞。 kaggle 有没有啥教程？ 我看周围人都
是组队搞得。
【在 e*******o 的大作中提到】
: 去kaggle 上刷，看人家的代码。飞速前进。
|
w***g
发帖数: 5958 | 24 数据的话就是 numpy, pandas, scikit-learn
如果偏图像就是keras.
【在 m******e 的大作中提到】
: 赞！ 刚入门的想问下大牛， python数据这块想学习一下的话，应该学什么呢？ 是
: numpy， pandas， tensorflow 这种包的使用么？
|
d*******r
发帖数: 3299 | 25 赞完全弃用Django模版, 那一套确实太老了, 和 Vue.js React.js 完全不搭.
如果使用 Django REST 做 API server 的话, 应该连 Flask 也不用了.
Flask 还要自己配置 JSON Serializer/Validator 之类, 属于重复劳动. 除非你用的
是 JSON Schema.
【在 w***g 的大作中提到】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask， 带数据库的用django。
: 前后端之间用ajax web service交互，完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++，数据python。如果哪天后端发现python出现
: 瓶颈了，应该能很快用C++模块顶上。
: 大数据这块，对外暂时宣称用hadoop, spark这些，实际我会用高性能
: 大内存的单机系统（真正计算部分）。我认为在hadoop是15年前的硬件
: 技术的软件解决方案，5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
|
w***g
发帖数: 5958 | 26 django的url配置，比flask的decorator，落后了一个时代。
其实从界面设计来讲，decorator的url和函数名还是有冗余。
经常需要同一个单词写两遍。还有改进的余地。
【在 d*******r 的大作中提到】
: 赞完全弃用Django模版, 那一套确实太老了, 和 Vue.js React.js 完全不搭.
: 如果使用 Django REST 做 API server 的话, 应该连 Flask 也不用了.
: Flask 还要自己配置 JSON Serializer/Validator 之类, 属于重复劳动. 除非你用的
: 是 JSON Schema.
|
d*******r
发帖数: 3299 | 27 我怎么感觉 url 明文写在一个文件里更 organized
flask 那个 decorator 以前 bottle.py 也这么搞的, 我不是很感冒
【在 w***g 的大作中提到】
: django的url配置，比flask的decorator，落后了一个时代。
: 其实从界面设计来讲，decorator的url和函数名还是有冗余。
: 经常需要同一个单词写两遍。还有改进的余地。
|
d*******r
发帖数: 3299 | 28 而且我喜欢把 url 和内部函数名分开. 看来每个人喜好很不一样.
因为一个是对外被引用, 一个是对内被引用
【在 w***g 的大作中提到】
: django的url配置，比flask的decorator，落后了一个时代。
: 其实从界面设计来讲，decorator的url和函数名还是有冗余。
: 经常需要同一个单词写两遍。还有改进的余地。
|
b****u
发帖数: 1130 | 29 我个人建议加上Kafka作中间层。这样解耦的效果非常好。
我们公司也做B2B，客户有顶级的投行，有大量的service运行，没有消息层就特别混乱。
【在 w***g 的大作中提到】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask， 带数据库的用django。
: 前后端之间用ajax web service交互，完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++，数据python。如果哪天后端发现python出现
: 瓶颈了，应该能很快用C++模块顶上。
: 大数据这块，对外暂时宣称用hadoop, spark这些，实际我会用高性能
: 大内存的单机系统（真正计算部分）。我认为在hadoop是15年前的硬件
: 技术的软件解决方案，5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
|
y**********u
发帖数: 2839 | 30 东哥牛逼🐂，爱你！
【在 w***g 的大作中提到】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask， 带数据库的用django。
: 前后端之间用ajax web service交互，完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++，数据python。如果哪天后端发现python出现
: 瓶颈了，应该能很快用C++模块顶上。
: 大数据这块，对外暂时宣称用hadoop, spark这些，实际我会用高性能
: 大内存的单机系统（真正计算部分）。我认为在hadoop是15年前的硬件
: 技术的软件解决方案，5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
|
|
|
e*******o
发帖数: 4654 | 31 还是取决于应用。
另外，kafaka 与 rabbitmq 比优势在哪里？
我感觉如果流量不是特别大，rabbitmq 功能更全，更好用。
乱。
【在 b****u 的大作中提到】
: 我个人建议加上Kafka作中间层。这样解耦的效果非常好。
: 我们公司也做B2B，客户有顶级的投行，有大量的service运行，没有消息层就特别混乱。
|
d*******r
发帖数: 3299 | 32 rabbitmq 没有自带的 horizontal scalling, 不好 scale
还有, kafka 默认是写到硬盘, rabbitmq 默认在内存, 用途不一样
【在 e*******o 的大作中提到】
: 还是取决于应用。
: 另外，kafaka 与 rabbitmq 比优势在哪里？
: 我感觉如果流量不是特别大，rabbitmq 功能更全，更好用。
:
: 乱。
|
d****n
发帖数: 12461 | 33 写python小心，没静态类型检查维护要死人，所以靠python做技术栈的公司通常做不大
，通常做到上百人以后就要重写了。
【在 w***g 的大作中提到】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask， 带数据库的用django。
: 前后端之间用ajax web service交互，完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++，数据python。如果哪天后端发现python出现
: 瓶颈了，应该能很快用C++模块顶上。
: 大数据这块，对外暂时宣称用hadoop, spark这些，实际我会用高性能
: 大内存的单机系统（真正计算部分）。我认为在hadoop是15年前的硬件
: 技术的软件解决方案，5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
|
w*****r
发帖数: 197 | 34 大数据这块也许可以参考RAPIDS
手机前段要想省事，还是网页 |
h**********c
发帖数: 4120 | 35 前端你得补补bootstrap
最近半年的词,keycloak, tableau, helm chart
看来词汇量还得是在加州能练出来
我就不特别深究具体语言mono flux etc etc
这些都是开源大陆货,是凡公司独门的东西我不讲 |
h**********c
发帖数: 4120 | 36 市上小儿唱动态类型一时爽,代码重构火葬场
三国开头那几章的巴?
【在 d****n 的大作中提到】
: 写python小心，没静态类型检查维护要死人，所以靠python做技术栈的公司通常做不大
: ，通常做到上百人以后就要重写了。
|
w********m
发帖数: 1137 | 37 你out了。
Python现在的写法是type hint加pycharm。
静态类型检查跟其他的语言没区别。
【在 d****n 的大作中提到】
: 写python小心，没静态类型检查维护要死人，所以靠python做技术栈的公司通常做不大
: ，通常做到上百人以后就要重写了。
|
w***g
发帖数: 5958 | 38 我最近正在写javascript。可以负责地说，bootstrap已经out了：）
tableau我没用过，我们用了下fine BI觉得很不错。
别的几个我去了解下。
【在 h**********c 的大作中提到】
: 前端你得补补bootstrap
: 最近半年的词,keycloak, tableau, helm chart
: 看来词汇量还得是在加州能练出来
: 我就不特别深究具体语言mono flux etc etc
: 这些都是开源大陆货,是凡公司独门的东西我不讲
|
d****n
发帖数: 12461 | 39 你说的是没错，可是实际工程当中写代码要防下限。
例如你找几个志同道合的人一起用pycharm一起加type hint搞个开源工程没啥问题。但
是业务要发展吧，你总要加新功能改写api吧，你总要招新手吧？万一你想招的AI大牛
只会核心算法不会写单元测试呢？你就不要了？
慢慢你就趟雷了。
不过python还不是最坑的，坑不过javascript。
【在 w********m 的大作中提到】
: 你out了。
: Python现在的写法是type hint加pycharm。
: 静态类型检查跟其他的语言没区别。
|
s********k
发帖数: 6180 | 40 已经有客户了啊，那客户不准上云，自己难道买机器架机器？话说产品是啥能透露下？
【在 w***g 的大作中提到】
: 这就是我从头做的好处啊， 只招js和python的人。
: 现在年轻人都会这些。.net其实国内很流行，也是一条路子。
: 我最近碰到的才好玩，就是人家只用excel。写文档都不用word。
: 应用啥的，全在excel里面搞。VBA。
: 不过隔壁说的云是个大问题。我估计马上就要考虑了。
: 云的便捷很诱人的。但是实际有两个问题：
: 1. 不能吊死在一棵树上。
: 2. 客户不允许上云。数据必须只进不出。
|
|
|
s********k
发帖数: 6180 | 41 赞，高性能单机系统又都在内存贵司对于单机crash之后数据丢失不太在意？更在意数
据实时性？
【在 w***g 的大作中提到】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask， 带数据库的用django。
: 前后端之间用ajax web service交互，完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++，数据python。如果哪天后端发现python出现
: 瓶颈了，应该能很快用C++模块顶上。
: 大数据这块，对外暂时宣称用hadoop, spark这些，实际我会用高性能
: 大内存的单机系统（真正计算部分）。我认为在hadoop是15年前的硬件
: 技术的软件解决方案，5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
|
w**z
发帖数: 8232 | 42 让我想起了老魏的无敌单机。
：赞，高性能单机系统又都在内存贵司对于单机crash之后数据丢失不太在意？更在意数
：据实时性？ |
l*******m
发帖数: 1096 | 43 人家数据肯定往DB放。这个hpc是取代hadoop的
：赞，高性能单机系统又都在内存贵司对于单机crash之后数据丢失不太在意？更在意数
：据实时性？ |
w***g
发帖数: 5958 | 44 我刚要说, 单机数据丢失的处理方法n年前老魏就都讨论过了.
我们只是做数据分析不是做内存数据库, crash了重新再load一次就可以了.
意数
【在 w**z 的大作中提到】
: 让我想起了老魏的无敌单机。
:
: ：赞，高性能单机系统又都在内存贵司对于单机crash之后数据丢失不太在意？更在意数
: ：据实时性？
|
D***n
发帖数: 19 | 45 高性能大内存的单机系统（真正计算部分）
这块能展开讲讲吗？
【在 w***g 的大作中提到】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask， 带数据库的用django。
: 前后端之间用ajax web service交互，完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++，数据python。如果哪天后端发现python出现
: 瓶颈了，应该能很快用C++模块顶上。
: 大数据这块，对外暂时宣称用hadoop, spark这些，实际我会用高性能
: 大内存的单机系统（真正计算部分）。我认为在hadoop是15年前的硬件
: 技术的软件解决方案，5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
|
s********k
发帖数: 6180 | 46 I see,所以说用大单机内存足够装下所有数据直接处理就可以？
意数
【在 l*******m 的大作中提到】
: 人家数据肯定往DB放。这个hpc是取代hadoop的
:
: ：赞，高性能单机系统又都在内存贵司对于单机crash之后数据丢失不太在意？更在意数
: ：据实时性？
|
s********k
发帖数: 6180 | 47 老魏的方法是什么？记不得当时的讨论了，就是persistent到硬盘或者DB？还是其他什
么方案？
【在 w***g 的大作中提到】
: 我刚要说, 单机数据丢失的处理方法n年前老魏就都讨论过了.
: 我们只是做数据分析不是做内存数据库, crash了重新再load一次就可以了.
:
: 意数
|
l*******m
发帖数: 1096 | 48 从算法上，很多算法是mini batch的或者streaming的，不需要把全部数据放到RAM 里。
从硬件上，nvme ssd速度很快就要和RAM 速度一样了。IO的瓶颈是机器间的网络，在机
器内是CPU到RAM连接
：I see,所以说用大单机内存足够装下所有数据直接处理就可以？
：【 在 lightroom (吃一条鱼，思考一个问题，法号三丰) 的大作中提到: 】 |
w***g
发帖数: 5958 | 49 无非就是各种花样replicate和backup。当时讨论主要的结论是老魏的那套单机架构其
实没法证伪。楼上说的，SSD有新技术出来，啥啥啥的，所以单机吞吐量其实还是会有
很大程度提高的。
【在 s********k 的大作中提到】
: 老魏的方法是什么？记不得当时的讨论了，就是persistent到硬盘或者DB？还是其他什
: 么方案？
|
r****t
发帖数: 10904 | 50 这些单机都玩过，deploy有坑吧？我之前认识的人直接说 python无法 deploy,
我接下来的项目打算走你的路线，python用了多年了还没有正经做过服务。
我看你没提，deploy python 有必要用 docker 吗？
【在 w***g 的大作中提到】
: 数据的话就是 numpy, pandas, scikit-learn
: 如果偏图像就是keras.
|
|
|
n******t
发帖数: 4406 | 51 你說得明顯不對，IO的瓶頸是python.lol
里。
【在 l*******m 的大作中提到】
: 从算法上，很多算法是mini batch的或者streaming的，不需要把全部数据放到RAM 里。
: 从硬件上，nvme ssd速度很快就要和RAM 速度一样了。IO的瓶颈是机器间的网络，在机
: 器内是CPU到RAM连接
:
: ：I see,所以说用大单机内存足够装下所有数据直接处理就可以？
: ：【 在 lightroom (吃一条鱼，思考一个问题，法号三丰) 的大作中提到: 】
|
w**z
发帖数: 8232 | 52 啥叫 Python 无法deploy？放docker 里就行了。
：这些单机都玩过，deploy有坑吧？我之前认识的人直接说 python无法 deploy,
：我接下来的项目打算走你的路线，python用了多年了还没有正经做过服务。 |
s********k
发帖数: 6180 | 53 streaming 的东西不仅仅是SSD或者IO瓶颈啊，很多时候CPU也是个瓶颈。不过看大多数
业务，如果其他不重要的外围交给其他服务做，单机做最核心的，起步阶段其实也可以
里。
【在 l*******m 的大作中提到】
: 从算法上，很多算法是mini batch的或者streaming的，不需要把全部数据放到RAM 里。
: 从硬件上，nvme ssd速度很快就要和RAM 速度一样了。IO的瓶颈是机器间的网络，在机
: 器内是CPU到RAM连接
:
: ：I see,所以说用大单机内存足够装下所有数据直接处理就可以？
: ：【 在 lightroom (吃一条鱼，思考一个问题，法号三丰) 的大作中提到: 】
|
r****t
发帖数: 10904 | 54 Django 现在直接支持 chunked transfer encoding 了吗？
flask 呢？
【在 w***g 的大作中提到】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask， 带数据库的用django。
: 前后端之间用ajax web service交互，完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++，数据python。如果哪天后端发现python出现
: 瓶颈了，应该能很快用C++模块顶上。
: 大数据这块，对外暂时宣称用hadoop, spark这些，实际我会用高性能
: 大内存的单机系统（真正计算部分）。我认为在hadoop是15年前的硬件
: 技术的软件解决方案，5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
|
d*******r
发帖数: 3299 | 55 wdong 能说说你这个牛x的单机大概是什么配置? 啥样的内存和CPU?
【在 w***g 的大作中提到】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask， 带数据库的用django。
: 前后端之间用ajax web service交互，完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++，数据python。如果哪天后端发现python出现
: 瓶颈了，应该能很快用C++模块顶上。
: 大数据这块，对外暂时宣称用hadoop, spark这些，实际我会用高性能
: 大内存的单机系统（真正计算部分）。我认为在hadoop是15年前的硬件
: 技术的软件解决方案，5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
|
r****t
发帖数: 10904 | 56 查了下现状，估计等不到那一天，第一版老老实实算长度，以后再说。
【在 r****t 的大作中提到】
: Django 现在直接支持 chunked transfer encoding 了吗？
: flask 呢？
|
l*******m
发帖数: 1096 | 57 对于CPU的瓶颈，硬件上，AMD新CPU使得多核变得便宜，还有可以offload到GPU上。
算法上有两个大方向，并行和cache friendly算法/数据结构
【在 s********k 的大作中提到】
: streaming 的东西不仅仅是SSD或者IO瓶颈啊，很多时候CPU也是个瓶颈。不过看大多数
: 业务，如果其他不重要的外围交给其他服务做，单机做最核心的，起步阶段其实也可以
:
: 里。
|
A******g
发帖数: 1 | 58 为什么不考虑后段用node + mongodb？这样上手只需要学习JavaScript/typescript |
n*****3
发帖数: 1584 | 59 I guess for Machine learning/DS part , u need python
【在 A******g 的大作中提到】
: 为什么不考虑后段用node + mongodb？这样上手只需要学习JavaScript/typescript
|
n*****3
发帖数: 1584 | 60 I guess for Machine learning/DS part , u need python
【在 A******g 的大作中提到】
: 为什么不考虑后段用node + mongodb？这样上手只需要学习JavaScript/typescript
|
|
|
n***c
发帖数: 1 | 61
带数据库的也直接flask+sqlalchemy不行吗？
【在 w***g 的大作中提到】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask， 带数据库的用django。
: 前后端之间用ajax web service交互，完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++，数据python。如果哪天后端发现python出现
: 瓶颈了，应该能很快用C++模块顶上。
: 大数据这块，对外暂时宣称用hadoop, spark这些，实际我会用高性能
: 大内存的单机系统（真正计算部分）。我认为在hadoop是15年前的硬件
: 技术的软件解决方案，5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
|
f*******t
发帖数: 7549 | |
s*****l
发帖数: 7106 | |
H****E
发帖数: 254 | 64 单机再快也跑不了大量图像识别之类的AI模型吧？ |
s*********y
发帖数: 6151 | 65 多大公司？ 2b 还是2c？
您这个架构 可能会被人说不scalable |
A******g
发帖数: 1 | 66 但front-end需要js，所以这是一个trade off。到底backend和ml/data结合更紧密，还
是front和backend更紧密。不同的应用可能不太一样。我的经验是frontend-backend更紧
【在 n*****3 的大作中提到】
: I guess for Machine learning/DS part , u need python
|
g****t
发帖数: 31659 | 67 新领域值钱。如果是工程师，就往ml engineer的万金油方向靠。不用瞎琢磨了。
python的几个数值计算库是必须的。你想想matlab多少年不败。
后端的常规任务，增删查改什么的。20年经验的java老师傅多的是。早就人满为患了。
: 但front-end需要js，所以这是一个trade off。到底backend和ml/data结
合更紧
密，还
: 是front和backend更紧密。不同的应用可能不太一样。我的经验是
frontend-
backend更紧
【在 A******g 的大作中提到】
: 但front-end需要js，所以这是一个trade off。到底backend和ml/data结合更紧密，还
: 是front和backend更紧密。不同的应用可能不太一样。我的经验是frontend-backend更紧
|
ET
发帖数: 10701 | 68 都用阿里云了， 阿里的quick BI也可以看下。
另外，element UI，很好的前端theme框架。
阿里的ice work， 很好的搭建enterprise web app 的框架。
这样开发前端的成本低太多了
【在 w***g 的大作中提到】
: 我最近正在写javascript。可以负责地说，bootstrap已经out了：）
: tableau我没用过，我们用了下fine BI觉得很不错。
: 别的几个我去了解下。
|
s*********n
发帖数: 34 | 69 学习了。
【在 w***g 的大作中提到】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask， 带数据库的用django。
: 前后端之间用ajax web service交互，完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++，数据python。如果哪天后端发现python出现
: 瓶颈了，应该能很快用C++模块顶上。
: 大数据这块，对外暂时宣称用hadoop, spark这些，实际我会用高性能
: 大内存的单机系统（真正计算部分）。我认为在hadoop是15年前的硬件
: 技术的软件解决方案，5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
|
x****u
发帖数: 44466 | 70 后端是深度学习用flask没问题，如果还有其他复杂逻辑的，最好抱定java或者C#大腿
防止出坑
我是看不出有什么非要用C++的场合
【在 w***g 的大作中提到】
: 前端 vue.js, iview。
: 后端 python. 不带数据库的用flask， 带数据库的用django。
: 前后端之间用ajax web service交互，完全弃用django的模板系统。
: 部署用nginx。
: 核心技术系统底层C++，数据python。如果哪天后端发现python出现
: 瓶颈了，应该能很快用C++模块顶上。
: 大数据这块，对外暂时宣称用hadoop, spark这些，实际我会用高性能
: 大内存的单机系统（真正计算部分）。我认为在hadoop是15年前的硬件
: 技术的软件解决方案，5年前就应该已经过时了。必要时上GPU加速。尽
: 量避免分布式计算。
|
|
|
s*********n
发帖数: 34 | 71 ML engineer 哪个方面比较好？
深学用在time series做预测（股市？）怎么样？
还是把ML用在 IoT上？
【在 g****t 的大作中提到】
: 新领域值钱。如果是工程师，就往ml engineer的万金油方向靠。不用瞎琢磨了。
: python的几个数值计算库是必须的。你想想matlab多少年不败。
: 后端的常规任务，增删查改什么的。20年经验的java老师傅多的是。早就人满为患了。
:
:
: 但front-end需要js，所以这是一个trade off。到底backend和ml/data结
: 合更紧
: 密，还
:
: 是front和backend更紧密。不同的应用可能不太一样。我的经验是
: frontend-
: backend更紧
|
a****i
发帖数: 1182 | 72 replicate还叫什么单机？
TW就没有解决办法
【在 w***g 的大作中提到】
: 无非就是各种花样replicate和backup。当时讨论主要的结论是老魏的那套单机架构其
: 实没法证伪。楼上说的，SSD有新技术出来，啥啥啥的，所以单机吞吐量其实还是会有
: 很大程度提高的。
|
