g*****g
发帖数: 34805 | 1 Check Cassandra, Memcached, Redis design and you'll understand. The userId
can be hashed and distributed in a cluster. And any single piece of data can
be further replicated, consistency can be reached as long as read+write >
replication factor. |
|
g*****g
发帖数: 34805 | 2 这个容易，上Memcached, Redis。也可以走写path，写入这1M用户的数据里。你这要求
跟twitter的很像，你可以狗一下有一堆blog。 |
|
g*****g
发帖数: 34805 | 3 你如果要追求读的速度，读memcache还是嫌慢。直接把更新写入每个相关用户，反正每
个用户关心的用户有限。这个写本身可以分布写。用户登录的时候直接一下把所有更新
读出来了。这就是写得慢，读得快。 |
|
|
g*****g
发帖数: 34805 | 5 我们同时用 RDS, Cassandra, S3, ES, Memcached, Kafka. |
|
r**i
发帖数: 1222 | 6 1相当于memcache，2才体现redis value可以是hash的优势。2可以通过hgetall读整个
hash出来，或hget读其中一个value。 |
|
c********l
发帖数: 125 | 7 Technologies Used
• NginX / PHP-FPM
• JQuery
• Backbone
• Redis (For Queuing)
• MemCached
• Sphinx
• Chat
• Pinf
• Pinf Lib
• MySQL
• Barker
好像还有些java 和objective c |
|
j**********3
发帖数: 3211 | 8 我急着下班走写错了，但你理解我说的了。就是这个意思。
我昨天发现慢的不能忍了，于是想了几个办法，您看看也给点建议：
1. 写个dict，每次返回的结果放里边 －－－－－－－这个是最没用的，我啥也没学
2. 需要上个memcache么？ 先存内存里？然后再写进disk中的其他db？ －－－ 好吧暴
露我的无知了。。。
3. 我要不要多线程call人家的api，storm＋hadoop里 －－－－ 我知道我更无知了。
。。希望大家多给我讲讲。。。我只知道storm是对于stream的。。。。hadoop里边可
以分块，所以？？？
我就是想玩玩这些而已。。。大牛请多指教，求狠批 |
|
g*****g
发帖数: 34805 | 9 我们用RDS，自己维护memcached based cluster. |
|
t**r
发帖数: 3428 | 10 0. data gathering: use whatever scripts and generate some csv files.
1. ETL phase: use hadoop or pig to process and save result to cassandra or
mongodb.
2. online streaming process. Usually use kafka as queue and use either storm
or spark streaming to process it quickly.
3. off line analysis: use hadoop mapredue or spark to do detailed analysis.
4. data persistence: save to s3 / hdfs , or cassandra
5. you may need cache layer. No need to hit DB or process query every time.
candidates are memc... 阅读全帖 |
|
w**z
发帖数: 8232 | 11 cache 试试 memcached 和 redis. 图片文件为什么自己cache, CDN 不好吗? |
|
k******n
发帖数: 184 | 12
这里说的内存数据库实际上就是cache, 像redis或者memcache之类的， 一样要写进
disk， 一样要做同步， 而且要多cache consistency的开销。 并且在极端测试中并不
绝对安全， 因为和disk同步consistency level设计有关。现在TB以上的内存磁盘同步
是一直分布式系统里的研究问题之一， 断电的时候没法保证完全写进去。 |
|
w********m
发帖数: 1137 | 13 第一性能惊人。再烂的机器100k QPS毫无压力。
第二什么都能干。cache, message queue. 还能当DB。性能秒杀memcached，rabbitmq
还有mongoDB。
现在搭个cluster也相当容易。
上一个可以比较的神器就是nginx了，都是linux平台上出现的。 |
|
发帖数: 1 | 14 不就是Cassandra或者memcache吗 |
|
发帖数: 1 | 15
看需要什么的环境吧
如果是要上关系数据库，只考虑读的速度memcached 和上面提到的 redis 都可以
关系数据库要读写都快，那就是redis
如果数据关联性不强， 那就用 nosql。或者土方法直接 hashtable + 大文件块
真要搞海量文件系统 google那篇 bigtable 要好好读
另外现在好像有新的海量关系数据库，没仔细看 |
|
x********n
发帖数: 398 | 16 在网站架构演化中，这个阶段就需要引入分布式缓存了，比如memcached、redis。
好处就不多讲了，坏处就是速度慢。这里速度慢是与本机内存缓存相比，跨机器通信跟
直接读内存差的不是一数量级，对于并发量高、操作频繁的数据就不适用了。
所以把应用进程缓存的数据抽离出来，放在单独进程中，给应用提供一层缓存。缓
存的业务逻辑、并发处理在独立进程中做，使用进程通信进行交互。这样不但解决了数
据量大预热的麻烦，还能解耦部分应用的业务。
另外单独的进程也可以供外部使用，比如以WCF服务的方式提供给其他子系统使用。
缺点是跨进程读取的速度比进程内读取要稍慢。 |
|
h**********9
发帖数: 31 | 17 曾经在英国电信、网易和乐视网工作过，主要从事java开发，带过团队，目前是F2
签证在DC，想找一个兼职的工作（可以全天工作），对spring/struts/myBatis/
velocity非常熟练，对redis/couchbase/memcache/mongoDB非常了解，对jvm调优，高
性能、大并发也有丰富的经验。
工作内容从设计大型互联网应用到开发个人网站都能胜任。
如果你有这样的需求，请联系我， mail:liunaikun549#163.com(把#改为@) 或者电
话 202 812 5707 |
|
y*****g
发帖数: 15 | 18 SC Innovative Technologies, LLC is a well-funded, emerging web startup that
is headquartered in Laurel, MD and has operations in Beijing, China. The
Company is currently looking for a well-rounded Software Engineer / Web
Developer who is familiar with the growing Web 2.0 landscape and desires to
contribute in a fast-paced startup environment. The candidate must be able
to develop robust, elegant, web-based applications, and have a solid
understanding of, and practical experience with, Java web a... 阅读全帖 |
|
r*****1
发帖数: 111 | 19 请问谁公司有Android developer职位开放的，请帮忙推荐一下，我经历主要用到以下
工具和平台。我在湾区
Skills：
◆ Comprehend and apply new technologies to products.
◆Java, Android, JavaFX, C#.NET winform, ASP.NET, Javascript, HTML.
◆ Vert.x, JBoss, Node.js, Intel Edison
◆ MVP Pattern, Dagger2, Otto, Retrofit, OkHttp, ButterKnife, RxJava, etc.
◆ Http RESTful API, Web Socket, TCP socket, Bluetooth/BLE, Scaling,
Multithread programming, Memcached, JSON/XML.
◆ Eclipse, Android Studio, ADT, Visual Studio, Maven, Gradle, Git, SVN,
JIRA, Jenkins, ... 阅读全帖 |
|
x******n
发帖数: 9057 | 20 跟浏览器无关，是从memcache里取两个数据的时候出错了，所以最后存数据库和发贴的
代码就没有执行。也就是要么之前执行了一条出乎我预料的code path导致这两个数据没
有存进去，要么就是运行环境出错。我实在找不出这样一条code path，不过还是把存这
两个数据的代码放到更外面来了，也就是无论如何现在肯定会执行的。 |
|
x******n
发帖数: 9057 | 21 AppEngine限制了每个request只能运行30秒，所以我这整个处理过程不是一个进程跑下
去的，而是使用它的task queue，每个主题的一页是一个task，运行完了再开下一个ta
sk搞下一页这样子。整个过程由几千个task组成，所以中间的数据要通过memcache来传
，这个有1MB的size限制。但是我这个主要的应用不是统计古轮，而是分析买买提的小圈
子，那可是几万乘几万的数组最少。 |
|
