c*****t
发帖数: 1879 | 1 其实 UDF 是可以 optimize 的。但是根本问题是执行 UDF 的 cost 太高。
1) Expression Index 可以直接储存 UDF(column) 的结果
2) Collect Statistics 也可以比较容易的改成执行 UDF 。
F(T.b) 很简单，因为只有一个 column 。复杂点的其实也可以，不过要有
点 restriction :
a) Columns 只能来自一个 table 。
b) 要不就是 constant 。
其中 a) 可以用 join index 绕过。
其实从另一方面来看，multi-column statistics 其实就是用一个内部的
F(...) 来将多个 column 的值变成一个值来搞 statistics 。
但是执行 UDF 的 cost 太高。依此得到 statistics 似乎有点得不偿失。
如果 UDF 在另外一个 process 里执行的话，不管是 C 写的还是 Java，.NET
都会比同一 process 里的 UDF 慢上 10-20 倍。但是同一 process 里面执行
的话，security ... 阅读全帖 |
|
u**d
发帖数: 211 | 2 我的意思是，如果 udf 是用 sql 在 db 内部定义的
udf 完全可以看成一个宏，query compilation 的时候替换掉
整个 query 就是一个 sql
比如 f(x) = x + 1
R JOIN T on R.a = f(T.b)
编译的时候就等价于 R JOIN T on R.a = T.b +１
optimizer 完全没有问题
但是如果 f 是用 .NET 写的 udf，f(T.b) 就是一个 black hole
但是 sql 自己提供的 operators 是有限的
很多 function 都无法实现
没办法，扩展性和效率很多时候都是矛盾的
和 sql server 和 teradata 的人都聊过，udf 都是一个很头疼的问题
udf 的调用效率问题，几乎也是因为 query engine 根本无法把 udf
抽象成 high level operators，所以只能按照 semantics，一遍一遍的调用
cost 很高 |
|
u**d
发帖数: 211 | 3 oracle 说的是有道理的
根本问题是 udf 对于 optimizer 来说就是 black box
如何优化、有什么特性 optimizer 完全不知道
一个很简单的 udf 很可能完全 mess up query plan
到头来还是要用各种 hints 来强行指定 plan
pl/sql 无非就是把 udf 用 db 自己的 operator 描述一遍
每一步对于 db 都是透明的，也可以优化
on
any |
|
c**t
发帖数: 2744 | 4 If you're a sql server dba; user "needs" CLR UDF, what will you do? |
|
a9
发帖数: 21638 | 5 clr udf 无非就是.net，如何优化看你自己了。
procedure |
|
c*****t
发帖数: 1879 | 6 Just curious, in Oracle, does the database server and .NET
UDF run in the same process?
If not, there is a significant IPC cost. |
|
c**t
发帖数: 2744 | 7 我觉得主要的问题是 replication；在server挂掉的重建情况下，CLR UDF容易被漏掉 |
|
u**d
发帖数: 211 | 8 优化的核心在于 data-sensitive
动态选择(认为)最优的 execution plan 是 optimizer 的长处
特别是非常复杂的操作
从开发的角度，用 high level operators 不仅减少代码量
而且还减少 debug 的时间，不易出错
另外如果 query 本身就包含了 udf，比如
R JOIN T on R.a = f(T.b)
不知道 f 的特性，选择 hash join，还是 merge join，还是 nested loop
optimizer 就是一头雾水 |
|
l******k
发帖数: 53 | 9 UDF is a system for CD-RW supported by directCD. With direct
CD, one can read and write files on a CD-RW as on a
harddisk. However, you will lose about 50 M space. |
|
r*****d
发帖数: 346 | 10 我又要请教大家一个问题了，，
我在试验怎么用Pig UDF in Python,
当运行：
grunt>register '/absolute_path_to/my_first_udf.py' using jython as myfuncs;
得到：
ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2999: Unexpected internal
error. null
Details at pig_1400616625260.log
我查了下log file, 里面写着：
Pig Stack Trace
---------------
ERROR 2999: Unexpected internal error. null
SyntaxError: ("mismatched input '' expecting DEDENT", ('', 5,
20, ' return decoratorn'))
我比较确定.py file没问题。
谁知道这是怎么回事？谢谢了！ |
|
j*******g
发帖数: 331 | 11 UDF里面的package必须要是implemented by Jyphon才可以, 有些Cython编译的就不行 |
|
r*****d
发帖数: 346 | 12 i don't know how to code in java..
yeah i was convinced today that UDFs should be coded in java
10- |
|
r*****d
发帖数: 346 | 13 update:
如果python udf 不 import any module, 没问题，
但是，奇葩的是
一个python script(里面有import ast), say test.py
执行python test.py没问题
执行jython test.py也没问题
但是，，
如果在Pig script里register test.py using jython
得到ImportError: No module named ast |
|
r*****d
发帖数: 346 | 14 嗯，是某一个field是json而不是整个table所以不是load function这边。
anyway, 我在学java coding, 目标就是写写udf酱紫
pig |
|
l*******m
发帖数: 1096 | 15 elephant bird有jsonStringToMap的UDF. 当然自己写，也没几行 |
|
m****m
发帖数: 2452 | 16 Here is the link to the discuss forum:
http://www.demonoid.me/files/details/2789697/?
load_bal=007049514374&show_files=&page=6
Also there is a BT link to download the seed. Should be easy to find the
White Disk seed.
Then follow the following instructions:
- Update/install IMGBurn on your computer
- Update/install 7zip on your computer
- Using 7zip, extract large 4.A2 white.rar file
- Using 7zip, extract the first of many zipped files that were created
- Using 7zip, extract the ISO that was crea... 阅读全帖 |
|
G***U
发帖数: 83 | 17 之前是call web service，基本程序跟这个（http://blog.hoegaerden.be/2008/11/11/calling-a-web-service-from-sql-server-2005/）是一样的。
但是升级后用WCF就不work了，总是提示：
CREATE ASSEMBLY for assembly 'UDF' failed because assembly 'UDF' failed
verification. Check if the referenced assemblies are up-to-date and trusted
(for external_access or unsafe) to execute in the database. CLR Verifier
error messages if any will follow this message
请大牛们指教啊！ |
|
c****8
发帖数: 283 | 18 自己觉的还是比较熟的，几乎所有的turbulent model 和 multiphase model 都弄过，
都用udf 改着用过，自己还用udf写了个小model。但是感觉只会fluent 和 meshing 还
是不够啊，好多工作还要好多其他机械技能。
能推荐些behavior的书嘛？我网上搜了好多个不知道该钻研哪些好。
谢谢啦～ |
|
g**********l
发帖数: 214 | 19 请问 what is the "real" advantage of scalding over pig?
想找学scalding的动力, for analyst/data scientist。
i see one "real" advantage of pig over scalding is the utilization of
hcatalog.
公司用很多hive做dataware housing 的话，pig can access all those tables's
metadata directly. no need to parse anything. this is especially helpful
when you have hundreds or even thousands of columns.
pig can also write to hive via hcatalog so other coworkers (who uses mostly
hive) can use my result easily.
另外就是pig's UDF libraries,... 阅读全帖 |
|
D**u
发帖数: 288 | 20 nice， share workflow最受用了。
顺便分享一下，我现在学习用Notepad++写Python的Pig UDF，然后用Jython 在 Linux
Putty里compile。
还有一种很流行的方式是用Maven+Eclipse 写java的 Pig UDF，稍微学习了一下，还没
有领悟精要。
and |
|
r*******y
发帖数: 626 | 21 First, I think it depends the nature of your processing work. Not every
computationally heavy job can be accelerated by parallelization (e.g. using
map-reduce framework). So please tell us more about your data processing.
Second, to my knowledge, there are a couple of options to use Python on
hadoop. As others have suggested, you can use Python in Pig, for example,
Jython User Defined Functions (UDFs), Pig streaming or more recent option
CPython UDF.
Another option is to develop your code under ... 阅读全帖 |
|
b********t
发帖数: 24 | 22 Updated to reflect new rate: 0.9 now.
All cards bought from Shoppers for personal use originally, but all Exxon
Mobile stations close to me have been changed to UDF fuel, and the gift
cards are no longer accepted. |
|
q*******l
发帖数: 300 | 23 来自主题: JobHunting版 - 问个SQL 这个得首先要清楚一些边界条件, 比如 parent ID doesn't exist in the item Table
, what's the behavior?
以下是假设 non-null parent ID will be existed in the table. 当然你可以写一个
udf 使用递归算出level.
下面的思路是不用递归,你可以引入一表变量, 仅含item ID & Level (初始为0 if
parent ID is not null, otherwise set it as 1 ), 然后 join it with item table
, and set the item's level as level + 1 if its parent Id item's level is not
0, use while loop until you can't find any 0. Finally, join this table and
item table to get the results. |
|
a*****d
发帖数: 18 | 24 我现在的公司想扩张data science team。是一个做大数据的pre-ipo公司(比较有前途
的一个)，在PALO ALTO，几个月后搬到237那边吧。这个team主要是做consulting
service，项目比较有意思。老板是白人，人非常好。
Key responsibilities include:
Help customers understand and evaluate data science use-cases appropriate
for their business
Collaborate with customer teams to formulate the problem, recommend a
solution approach and design a data architecture
Create a prototype in R, Python, Java or similar stack to demonstrate the
results of various algorithmic approaches and evaluate ... 阅读全帖 |
|
y*****e
发帖数: 712 | 25 请问hadoop dev and ops具体是指什么样的experience?
是指用hadoop分析数据.i.e.写pig script, java UDF
还是指写hadoop job script，比如写mapper, reducer去parse logs? |
|
c****2
发帖数: 83 | 26 Amazon Dev 面试用什么语言呢？自己选？如果跟大数据相关的组会考hHive query UDF
哪些吗？ |
|
m******n
发帖数: 51 | 27 I choose C#
Payment team
UDF |
|
h********m
发帖数: 116 | 28 不好意思啊大侠，能帮我解释清楚点么？
我的意思是我有个Oracle的表，从Java用jdbc连过去，想把表里的每
个值用udf变成另一个值。
举个简单例子，我有个groovy或者Scala的function f(x), return 2*x
那我想jdbc连到oracle的某个表，然后调用f(x), 把这个表某列的值全部变成2x |
|
g***e
发帖数: 5292 | 29 谢谢！我刚刻了盘，是用Nero 8刻的。刻盘时提示有大文件，
无法刻成ISO格式的盘，遂刻成了UDF格式的盘，
可是此盘开机无法启动，请问是为什么？
多谢！ |
|
w********2
发帖数: 16371 | 30 tomorrow before market hour:
AAWW,ACIW,ACRE,ACTA,AES,AGIO,AGU,AINV,ALQA,ALSK,AMCX,AMRC,AMRI,AMTX,ANSS,APA
,ATHM,ATRS,AZN,AZUR,BAK,BBEP,BCRX,BDBD,BEE,BPY,BR,BWINA,BWINB,BXE,CAS,CASM,
CBLI,CC,CCC,CCO,CCOI,CCU,CECE,CELG,CLDT,CLGRF,CLNY,CLSN,CMRX,CNCE,CNP,CNQ,
CNSL,CONE,CORE,COTY,CPK,CROX,CSTM,CVGI,CWEI,DEA,DIIBF,DNR,DTEGY,DUK,DWSN,ECT
,EGL,ENB,ENDP,ENOC,ESI,ESNT,EVA,FCSC,FNMA,FUN,FUR,GEO,GI,GLOG,GLP,GNCA,GOGO,
GTS,GTT,HAIN,HDNG,HFC,HGG,HII,HLTOY,HMHC,HMY,HRC,HWCC,IEP,IHRT,INSY,IPCC,IRC
,IT,ITC,ITCI... 阅读全帖 |
|
s***n
发帖数: 459 | 31 谢谢楼上转贴。
礼拜五大早iPhone突然提示要set up，结果set up了重启还是set up，
死循环。Google俩钟头；打苹果技术支持俩钟头；苹果版学了UDF刷
固件也不行；最后天黑前去到Verizon，客服刷了刷觉着是硬件问题，
给order了一个新iPhone，还没寄到。刚才看八圈才恍然大悟，苹果
锁了它认为盗版iOS 5 beta的iPhone。一试Apple账户也不能用了。
我估计是因为Apple账户是LD的名，iPhone是我的名，但我们一直
共用一个Apple ID，一个iPhone，信用卡也是共同的，苹果的判定
盗版算法考虑不全，没想到苹果合法用户里还有夫妻俩穷的合穿一条
裤子的吧？
对这个事儿生气，一是损失惨重，礼拜五一整天时间全耽误，别说给
换个新iPhone，就是白赔我一个解锁的iPhone也不够啊。另外刚旅游
回来，孩子不少照片都在里边；自从入了iPhone，所有亲朋好友联络
都给腾进去了，也俩月没Sync了，这些数据损失就不是一两个iPhone
iPad能补回来的了。二是苹果做的太不地道，当年MS黑屏提前多少天
全世界预告，而且不损伤用户数据，尚且被... 阅读全帖 |
|
|
|
l*****8
发帖数: 16949 | 34 小Mike认为茄子对提包太过分，应该早点release他，让他试试FA.现在连屎都没有热的
了。只能和UDF争位子。大Mike认为business is business.茄子希望有人用选秀权和他
们换提包，没人换再release. |
|
f**********n
发帖数: 10757 | 35 这家伙能在NFL打这么久，我真的没想到。当年在Oregon跟Boise state打架，被开掉，
然后应该UDF，竟然现在还在 |
|
p******o
发帖数: 2682 | 36 UDF和后面几轮选上的球员在收入方面的差别不会太大，主要差在SIGNING-ON BONUS。
但是据说第6轮和第7轮草稿球员的SIGNING-ON BONUS也就10来万美元。
强。 |
|
|
l*****y
发帖数: 4887 | 38 第七轮的signing bonus也就5万块
而且现在大凡drafted的球员，都签4年格式合同
还真不如UDF签个短约，打出来了可以早些换大合同
不过短约球队可能不愿意投入培养，也不给表现机会～ |
|
|
g***u
发帖数: 5413 | 40 http://en.wikipedia.org/wiki/Copy_protection
Copy protection methods of recent video game console systems
When Sega's Dreamcast was released September 9, 1999, it came with a newer d
isc format, called the GD-ROM. Using a modified CD player, one could access
the game functionality. Using a special swap method could allow reading a GD
-ROM game through a CD-ROM just using common MIL-CD (standard CD Boot loadin
g, commonly found on Windows Installation Discs, Linux Live CDs, and others)
. Dreamcas... 阅读全帖 |
|
k**0
发帖数: 19737 | 41 ☆─────────────────────────────────────☆
hwppq (hwppq) 于 (Sat Jan 1 21:48:55 2011, 美东) 提到:
什么原理？有什么破解么？
☆─────────────────────────────────────☆
baldmice (Xbox360陪我过寒假T.T) 于 (Sat Jan 1 22:15:12 2011, 美东) 提到:
..........
传说中的文科女？
☆─────────────────────────────────────☆
baldmice (Xbox360陪我过寒假T.T) 于 (Sat Jan 1 22:16:50 2011, 美东) 提到:
游戏镜像复制当然没问题
但是光盘上有一块特殊区域是用来验证的。不是可以刻录的部分。
☆─────────────────────────────────────☆
hwppq (hwppq) 于 (Sun Jan 2 05:20:33 2011, 美东) 提到:
知道这点儿东西没啥好炫耀的吧，... 阅读全帖 |
|
|
n*******e
发帖数: 4894 | 43 搜索怎么进入UDF模式，或者什么相近，忘记了，然后刷 |
|
c**t
发帖数: 2744 | 44 2005-03-07T12:29:21.714402-05:00
Is there any built-in function? UDF is easy.. |
|
c**t
发帖数: 2744 | 45 SQL server doesn't store timezone information. So I assume there is no such
a
built-in function... has to use UDF instead... |
|
|
w*r
发帖数: 2421 | 47 doubt it will be Teradata. Teradata is not quite robust on this task. DB2
has very good
extensibility(udf+xml+java) as well as descent support on large objects. I
believe IBM's mainframe will win
this battle for sure. |
|
c*****t
发帖数: 1879 | 48 I need to do it on the server end (i.e. in UDF). How to do it?
For the # of rows, I can do a query to find the # of rows in the table.
thanks. |
|
