由买买提看人间百态

topics

全部话题 - 话题: 数据压缩
首页 上页 1 2 3 4 5 6 7 8 9 10 下页 末页 (共10页)
f****n
发帖数: 148
1
来自主题: EmergingNetworking版 - 如何通过internet快速传输大数据文件
压缩的话估计能缩小1/3,不过数据量还是很大。
据说国内对外企可以开通专线,与国外通讯的速度比较快,但不知道具体能够达到什么
速度。
n**h
发帖数: 694
2
来自主题: Hardware版 - 请教下SSD Benchmark的问题
OCZ Vertex 2用的是不同的controller, ATTO的测试比较适合它。因为OCZ Vertex 2得
sandforce controller是通过实时数据压缩来实现小的write amplification,以此提高
random读写速率。你提到的几个其他的benchmark软件使用的是完全随机的数据做读写
的测试,这时
候OCZ Vertex 2的优势就无法体现了。

SSD
a***e
发帖数: 27968
3
来自主题: Hardware版 - Pogoplug Pro当NAS速度是可以上20M的
你确定能到50MB/s?
加上overhead,这个已经超过USB2.0 480Mbps的带宽了
USB2.0是个分时协议,导致带宽利用率很低,关键是握手通信也占一个时段
结果就是能用来给一个device下数据的,也就是一半的样子
USB2.0的存储,如果没有数据压缩,很难超过30MB/s
多数情况不如1394 400Mbps,这个大概能到35MB/s
要50MB/s 一个东西得映射成俩,然后拼接,还没见过这么干的USB drive
g*****g
发帖数: 34805
4
我已经说过很多次了,顺序写和并行写差距是很大的。你要维护余票,就只能顺序写。
厂商的这个测试不符合要求。硬件写的能力跟数据大小关系也很大,这是64bytes的写,
超过512B,这个硬件的只能写140K/秒。你如果要对数据压缩,CPU解压又受不了了。
总之,20行的程序不敢写,打嘴炮是没用的。

nanoseconds,
the
m****s
发帖数: 1481
5
来自主题: Programming版 - R李怎么搞big data和deep learning?
真要用的话先用python,java之类的在hadoop,spark上把数据压缩一下(转化成小容量
feature),再port到R里面做后续的分析。
R本身目前没什么很好的并行运算包,楼主可以看看snow package,是一个相对比较成
熟的并行计算包,不过也是需要手动分割数据给各个计算终端,没有mapreduce自动化
程度高
deep learning的话,大部分都是deep neural networks,现在还是GPU是主流,因为要
train的neuron太多了,每个neuron的计算又相对很简单,正好适合GPU核多但是单个核
计算能力和存储都弱的特点,自学下opencl或者cuda,其实跟C差不多,而且现在有一
些现成的deep learning的GPU包,这个R真的不是很适合
D***n
发帖数: 6804
6
表搞那么复杂。最简单的是:
发送方建立一个目录,把你着些数据存在这个目录下,然后一个zip ....
接收方收到,unzip解压缩 ...
不信你可以去试,这是最灵活最可靠的方法。库可以考虑下面这个。
http://www.libarchive.org/
c*********r
发帖数: 19468
7
来自主题: _Auto_Fans版 - C7 Vette的初步引擎数据发表了
代号LT1(印象中这不是C4的引擎吗?:)
没有象传闻一样downsizing,还是和LS3一样的6.2L排量,但是基本上是全新的设计,
增加了如下主要技术特征:
直喷,压缩比11.5,150bar 6孔喷油嘴,看活塞应该是Air/Wall Guided
VVT,没有用类似Viper那种Cam-in-Cam设计,所以进、排气门重叠角不能改变,但是比
Cam-in-Cam简单紧凑
歇缸,排量没有降到5.5L的主要原因也是为了让歇缸更好的发挥作用
其它的细节变化也很多,但大多数是针对耐用性以及控制成本的,看来实用性还是放在
了首位
目前只有初步数据,功率、扭矩至少都是450,尤其4000rpm之前的中段扭矩,比LS3高
出最多到50lb-ft
油耗在C7上会比C6更省油,GM宣称LT1会是目前最省油的450hp级V8
引擎依旧紧凑,重量比LS3略重,但还是比N63B44轻40磅,功率密度还是刚刚的
另外就是LT1和LS3一样,会有干油底版本,据此推测,C7还是分成基本型和Grand
Sport版吧
且看C7 Z06能搞到什么程度吧……

发帖数: 1
8
“反美等于爱国” - 日本一群明白人为何集体发疯,走上偷袭珍珠港的不归路
来源:史事挖掘机
1941年12月7日,日军偷袭珍珠港。
战术上,日本人取得巨大成功,但战略上,却是自杀。在深陷中国战区同时,又树敌于
美国,决策如此无理性,堪称丧心病狂。
当时的日本政客真是一群疯子?
堀(音同窟)田江理这本《日本大败局》通过对“偷袭珍珠港”决策过程的勾勒,展现
出理性是如何被吞没的——每个人都是明白人,可谁也不敢说不,都指望别人出头、自
己附和,最终酿成集体灾难。
事实证明,决策失误不仅是最高决策人的问题,更是决策机制的问题,当高层利益与底
层利益分离时,疯狂蠢行在所难免。
把球踢给东条英机
1941年10月16日,近卫文麿首相宣布辞职,第二天,天皇召见东条英机,命他为首相,
这让东条大感意外。
在近卫内阁中,陆相东条英机令人头痛,他力主对美强硬,在决策圈中,人人都知道东
条在瞎扯,就算和美国打,靠的也是海军,与陆军无关,且日本不可能打赢。
据估算,当时美国石油产量是日本的500多倍,生铁20倍,铜9倍,铝7倍,美国平均工
业产量是日本的74倍以上。如开战,日本年均损失战舰140万吨,远超补充... 阅读全帖
a*******m
发帖数: 14194
9
发信人: LindaLiao (梅影清吟), 信区: Military
标 题: 广东服装外贸行业利润下降至零
发信站: BBS 未名空间站 (Mon Jan 2 21:03:30 2012, 美东)
广东服装外贸行业利润下降至零 出现企业倒闭潮
今年,在欧洲经济衰退、美国经济疲软的情况下,我国的外贸出口将面临更
加严峻的挑
战。目前业界普遍预测,今年将是金融危机以来最难熬的一年,出口疲弱态
势或将延续
,甚至可能出现贸易逆差,出口寒潮来袭!
珠三角出口型中小企业以劳动密集型加工企业为主,一方面面对欧美经济不
景气,另一
方面技术壁垒使生存愈加困难。目前它们的生存状况如何?外贸从业者面临
哪些生存考
验?未来应该如何应对?本报记者深入服装业、鞋业、玩具业、陶瓷业进行
调查,敬请
关注相关报道。
压力重重
过去一单生意提成20万
现在工厂关停失业在家
10年前一单生意提成就有二三十万元,现在却因厂子关停而失业两个月。
“附近做外贸
的倒了三成,转行势在必行!”老外贸员阿辉做起了按摩师,并在网上叫
卖。
记者近日见到阿辉本人,听他讲述外贸业的沧桑巨变:由10年前遍地黄金,
利润高到两
三成... 阅读全帖
y***k
发帖数: 9459
10
黑匣子Honeywell产的,地道美国货。据说采用了高位数据压缩和加密技术,详见
aviation weekly哪一期记不清了。跟1980年代的磁带记录不可同日而语。解读的难度
肯定更大。
n*****t
发帖数: 22014
11
贪官的钱真没几个,跟反腐的成本比不定能剩几个子。关键还是压缩地房政府开支,准
备勒紧裤带了,毕竟不能再靠卖地过日子。
D*****i
发帖数: 2068
12
司机违规超车和疲劳驾驶是直接原因。
这个和旅行社行程规划紧张,压缩路上时间赶点有很大关系。
低价旅游恶性竞争导致安全因素严重减退。

SB
i**o
发帖数: 1161
13
来自主题: Military版 - 我来质疑美国人69年登陆月球

没有数据压缩,没有数字调制,没有纠错码,处理器速度只相当于
现在的一个大号计算器。
有没有登月先放一边,这个地月电视直播打死我都不信。

发帖数: 1
14
@everwanna
211高校行政岗,中部省份,正式编制,工作两年,某权利部门科员。工资:每个月到
手工资大约4000左右,年终绩效工资2.5万。房子:住房公积金每月500多。加班工资:
由于部门特殊,经常有加班工资,加一天大概发1000左右,也算隐性福利了。全年到手
差不多11-12万,能拿课题报帐等。社会地位而言,女性较高,男性较低。工作也的确
更适合女性,只能慢慢熬,争取评职称,多拿课题。目前学校跳槽率逐年升高,招不到
人的现象也逐渐出现。我也想跑,可文科感觉跑不掉的感觉。
@ryd994
广东,非珠三角城市,普通二本,副教授,正常工资月薪到手8800,另供积金2500,绩
效工资根据你课时量,50元一节,正常每月3000元课时费左右,全部加起来每月14000
左右,每年约18万,科研看每个人的能力,比上不足,比下有余,这也是高校教师的现
状。总结:平淡生活耐心过、科研决定生存状态。
@Ramsden
中部省会城市,大专行政岗,硕士有编,每月到手大概5500,公积金双边约2000,年底
约1万的绩效,次年3-4月发一波大概5~6万,每年住房补贴约7-8k,子女有医疗救助,
还有... 阅读全帖
M******a
发帖数: 6723
15
紫荆花开了 紫荆花开了 微信号 HK13017799998
功能介绍
一朵散发着自由之香的花
生于东京的堀田江理(Eri Hotta),先后在日本、美国和英国接受教育,并先后执教
于牛津、东京和耶路撒冷,研究领域为国际关系。
堀田江理将二战中日本偷袭珍珠港事件前八个月的历史细节,整个计划的决策过程,以
及日本政府在1941年面临的两难处境。包括日本自1937年入侵中国后,耗尽人力和有限
的资源,经济也每况愈下。日本的统治阶层在是否继续扩张主义的问题上严重分裂,甚
至在军队高层中也不乏质疑者,军方强硬派内部亦有人认为如果美国开战,日本将必输
无疑。在这种情况下,为什么军人、文官、外交官,以及天皇,要将自己的国家和人民
置于不必要的危难之中?等等这些问题,通过深度剖析许多迄今未公开过的日文第一手
资料,描述那些将国家引向灾难的存疑者、谋划者和所谓的爱国者的动机及作为,展示
了当一个强大国家的政治体系失灵时可能带来的全球性危险,展现出理性是如何被吞没
的,当每个人都是明白人,可谁也不敢说不,都指望别人出头、自己附和,最终酿成集
体灾难的过程写进了《日本大败局》一书。
1941年12月7日,日... 阅读全帖
d********f
发帖数: 43471
16
来自主题: Military版 - 从数据看完全没控制住啊
疑似压缩的很大还是比确诊多,看起来我的50万有点低估了。这个潜伏期的beta可能比
发病期还高,我要调参了
G**********r
发帖数: 563
17
我的想法是把文件打成一个压缩包,然后改扩展名,伪装成一个音乐文件,存在ipod里,和
一大堆真音乐混在一起.
还有手机的存储卡,存成手机导航的地图文件,也是FBI容易疏忽的地方.
j******2
发帖数: 362
18
来自主题: JobHunting版 - 贡献两道没见过的大数据题
实战得来的,都没答好,希望对后人有用
1.一个文件里超多行,每行格式是
user_id, item_id
其中item_id有很多重复。怎样压缩。
答案:用哈夫曼coding(越常见的用越少bit)
2.一个超大磁盘(大于内存),串行存了很多文本文件,格式是
file_name, file_size, file_content
有几十台机器可用,怎么找出重复文件。
答案:第一步:分区,用哈希函数把文件内容映射到一个整数,按整数分区到不同机器
上;第二步:在各机器上用哈希表(文件内容为key,个数为value),最后输出重复的
t*********h
发帖数: 941
19
来自主题: JobHunting版 - 贡献两道没见过的大数据题
第一个看你的揭发就是纯粹的压缩阿 和文件格式, user id貌似没什么关系
S*********n
发帖数: 387
20
来自主题: JobHunting版 - 一个小startup的tech screen挺有意思
呵呵,我也碰上过,要求写个数据压缩程序,过几天说这职位没有了,作为感谢,给您
五十块运通礼品卡,还算有一点良心
s*********g
发帖数: 1506
21
来自主题: NextGeneration版 - 如何保存宝宝的照片视频等数据?
压缩一下 然后刻光盘 想看的时候捞出来看看
a*****g
发帖数: 19398
22
来自主题: Parenting版 - 高等数学有什么用?zz
高等数学有什么用?zz
来源: 康宸的日志
高等数学有什么用?很多人问过我这个问题。其实大多数人在问这个问题的时候,心里
已经预设了否定的答案。确实,对于大多数人来说,已经发展到了连数字都基本很少用
了的一些高等数学分支,是过于虚无飘渺了。但是实际上,今天我们的生活已经完全离
不开数学。甚至可以这么说,没有高等数学的发展,就不会有今天的现代社会。
也许很多人会怀疑这点,那么我就来稍微介绍一下现在高等数学的各主要学科的“用处
”。初等数学就不说了,一些如离散数学、运筹学、控制论等纯粹就是为了应用而发展
起来的分支也不说了,重点介绍基础方面的。
数学分析:主要包括微积分和级数理论。微积分是高等数学的基础,应用范围非常广,
基本上涉及到函数的领域都需要微积分的知识。级数中,傅立叶级数和傅立叶变换主要
应用在信号分析领域,包括滤波、数据压缩、电力系统的监控等,电子产品的制造离不
开它。
实变函数(实分析):数学分析的加强版之一。主要应用于经济学等注重数据分析的领
域。
复变函数(复分析):数学分析加强版之二。应用很广的一门学科,在航空力学、流体
力学、固体力学、信息工程、电气工程等领域都有广泛... 阅读全帖
g********g
发帖数: 2172
23
来自主题: StartUp版 - 网站项目寻合作伙伴
同时在线600人已经是很大的流量了, 你现在远没有到这个流量, 估计你一天都没有600
人, 所以你主要要解决流量的问题, 先不说你的网站的美观和功能 (这个我认为还很差
), 你这类网站要解决鸡和蛋的问题, 否则无论如何也上不去, 我以前做过类似的网,
上线半年后放弃了, 因为觉得靠我那点实力不可能解决这个问题. 还有比较好的
STRATEGY是不要一下子铺那么开, 而已要先集中精力做到点突破, Craigslist (SF BAY
AREA), Facebook (HARVARD, STANFORD),等 都是点突破后红火起来的.
当然你这个网站一点都不快(很慢), 比如 albuquerque.sumsale.com 有184 resources
,1.24MB file size, 812kB download size. 这种情况即使你用GOOGLE的DATA CENTER
也快不了. 你要能把数据压缩到<20 resources,<200KB file size, <100kB download
size就有可能快了. 最好是<8 resources,<80KB file ... 阅读全帖
w****k
发帖数: 10542
24
QE1都没起作用,QE2还有什么用?要么改,要么撤。
尤其是近来热炒的通货膨胀的概念,后果居然是让中美两国的消费者拼命压缩自己的日
常生活开支,然后搞投资保值,从而导致大宗商品价格猛涨,中国房价猛涨。但是这些
价格最终还是要靠消费者的消费能力托住啊。
我现在看到那些关于通膨的新闻就害怕。TMD,老百姓都打算冬天只吃白菜和土豆了,
你Y的就不能消停会。
e****e
发帖数: 158
25
代友发帖,一般国际杂志,需要1-2审稿人。
有兴趣请回站内信箱,提供些个人信息。
谢谢!
e****e
发帖数: 158
26
自己顶一下。有兴趣审稿的请跟我站内联系,谢谢!
T****k
发帖数: 1374
27
需要解压缩,MDBfile和Excel类似。
o***s
发帖数: 42149
28
来自主题: CanadaNews版 - [JNPT]加国修改网络IP电话政策
近日,加拿大联邦政府要求加拿大广播电视委员会(CRTC)修改其部分网络电话(也称
为IP电话)规章制度。
在多伦多经济俱乐部发表讲话时,加国工业部长Maxime Bernier表示,政府的这个决定
将会使消费者和一些小企业获利。而政府在消除了不必要的经济规则之后,必然会促使
该行业的竞争变得根激烈。而激烈的竞争又必然促使各个企业不断降低其生产成本,因
此,最后收益的还是广大消费者。
但是,经济学家们却认为,政府的这一政策主要是对一些大公司有利,如Bell Canada
和Telus。因为,一旦政府对该行业的政策放宽,这些大公司的违规行为会越来越多,
这势必对小企业不利。电信顾问Eamon Hoey也表示,加国的电信大企业一定会对政府的
这个政策感到满意,因为这个决定将使他们拥有更多违规操作的空间。
网络IP电话工作原理
VoIP,全称Voice over Internet Protocol,俗称IP电话,或者网络IP电话,是利用互
联网实现语音通信的一种先进通信手段,是基于IP网络的语音传输技术。它利用电话网
关服务器之类的设备将电话语音数字化,将数据压缩后打包成数据包,通过IP网络传
f******a
发帖数: 211
29
来自主题: Toronto版 - 从GOOGLE找回了自我
我抱着试探的心情,就在google上打入了大名.果不其然,共有200余条赫然于目,之中清楚地嵌有鄙人的名字.这么说,那就是真的了.真的从GOOGLE上找回了自我!
近日,一位朋友告我,说在google上用你的名字搜索到了不少条款.你是否曾出版过一本书什么的.我在诧异惊疑之余,竟无言以对.因为,出书之事虽有,但见之网络则无?我抱着试探的心情,就在google上打入了大名.果不其然,共有200余条赫然于目,之中清楚地嵌有鄙人的名字.这么说,那就是真的了.真的从GOOGLE上找回了自我!
溯其缘由,则在于若干年前出版的一本书”数据压缩”,网上的条目,部分来自诸图书馆目录查讯系统,也来自许多学报,刊物中研究成果的参考引用文献.还有若干资讯网络的搜索条款等等.所以,今天的结局或可看成是对本人前几十年科教事业的认可和评说.是我多年企盼追寻但又不敢正视面对的境界. 真是:
少年自负凌云笔, 到而今春华落尽, 方知痕迹。
虽说仅是区区一书,但却铭刻和记录了我半世心血和坎坷历程.此书的原型是我自编.的几本教材,而它又是我多年来科研与教学工作的结晶,.再说到底,又与”十年寒窗苦”紧密相依.记得在大学读的最
k****t
发帖数: 12697
30
来自主题: PhotoGear版 - 厚度数据贴
不对镜头动刀动枪的向后转.
经常改口镜头有时要找个厚度合适的SHIM 不是太容易. 俺基本定下这一套SHIM.
尽量用熟铝, 比铁的容易加工. 又不象塑料那样容易压宿. 除了1MM, 基本上是日常生
活中容易见到的
1mm:
废铝PC机箱, 不一定全是1MM 但俺见到的那两个都是. 用PINCERS 钳CUT, 钻个洞.
0.27mm:
MORTON 盐罐上的嘴巴. 剪刀就可以CUT.
0.08mm:
COLA 罐. 别的牌不知道, 但红的COKE COLA 是0.08
0.04mm:
没找到铝的, 用了塑料. 用METALISED ANTI STATIC BAG. 就是装硬盘的袋, 那种灰色
带金属光泽的, 那是很硬不大会压缩的POLYPROPYLENE. 不要那中又厚又软的PINK 或透
明有黑方格的- 那些是PE的.
0.01mm:
其实用大不着, 留点余地, INFINITY 冲过头一点没关系. 要用的话, REYNOLDS
ALUMINUM FOIL, HEAVY DUTY 的那种是0.01MM.
S*****e
发帖数: 6676
31
俺下了那个压缩的CSV包,打开一开好多中文姓名的。。。
https://offshoreleaks.icij.org/pages/database
d****o
发帖数: 32610
32
全部还是他们筛过的?
[在 Simeone (迭戈 西蒙尼) 的大作中提到:]
:俺下了那个压缩的CSV包,打开一开好多中文姓名的。。。

:...........
g****t
发帖数: 31659
33
来自主题: paladin版 - 关于二相箔
降维不就是从(x,y,z)到(x,y)的映射么。如果你不要求连续函数。那任何一个编码或者
数据压缩的办法都能能算降维了。但显然人家说的不是这么回事。
再说了,数学远不是你想象的那样只是符号,不是实在。数学家里面认为数学的几何对
象是客观存在的大有人在。还有人认为数学尤其是几何本身是物理的一部分。

价但物理意义不同,或者不等价的维度描述。攻击数学模型,说明大刘把公里当真理学
了。
r****y
发帖数: 26819
34
There are tons of other commercial codes which are not opensource.
Just pay some money.
check this link: http://datacompression.info/Zlib.shtml
That's even easier.
p*********u
发帖数: 219
35
先压缩再存入百度云 哈哈
l******e
发帖数: 12192
36
高清回放我看行,基本上数据都是要走GPU的
游戏,不是就是看显卡么
j****i
发帖数: 68152
37
step 1 删除不想让别人看的文件
step 2 找一些垃圾文件垃圾电影把硬盘塞满
step 3 (optional) 删除这些垃圾文件
如果这样还能恢复原來的文件,那么恭喜你,你发明了一种数据压缩的牛鼻方法
y****i
发帖数: 12114
38
来自主题: Hardware版 - 我软药丸
即便如此,把TB量级的数据压缩到GB量级,这也是高科技了。
y****e
发帖数: 23939
39
来自主题: Programming版 - 问一个hash code的问题
有这样一个三个字节的字符串,NT0, NbR, etc., 其中第一个是一个字母,第二个是
【B,b, A, a, T】中的一个,第三个是一个字母或数字。怎样设计一个hash function
能够把它用尽可能少的hash code表示出来。其实也是一个数据压缩的问题。
t****t
发帖数: 6806
40
来自主题: Programming版 - 问一个hash code的问题
等概率的话, 加权相加不就好了. 这是数据压缩. 如果是hash就再mod一个数.
N******K
发帖数: 10202
41
有没有这种文件:
貌似是zip 但是里面的文件都没有被压缩过
也就是一个超级文件 看起来是一个文件 其实是多个文件联合体
w***g
发帖数: 5958
42
来自主题: Programming版 - spark load数据速度
如果是text, 上一个快点的压缩算法可能比自己写code好.
没有查hdfs/spark是不是支持snappy. 我上次玩的时候,
gzip/deflate啥的还是有点太占CPU.
w***g
发帖数: 5958
43
来自主题: Programming版 - spark load数据速度
binary通用压缩算法就没用了. 可以去草了.
L****8
发帖数: 3938
44
来自主题: Programming版 - 从数据压缩角度理解CNN
免费idea 谁发文章了 记得把我的帖子cite一下
w*****r
发帖数: 197
45
来自主题: Programming版 - 从数据压缩角度理解CNN
与其说是compression,不如说是constrained information reduction?
首页 上页 1 2 3 4 5 6 7 8 9 10 下页 末页 (共10页)