Зависит от базы.

Например в Sybase/MS SQL :
if not exists (select * from my_table where a=@a)
insert into my_table ....

Вернее

if exists (select * from my_table where a=@a)
update my_table set ...
else
insert into my_table ....

POSIX threads & signals

А в MySQL - REPLACE

to Havoc:

Etog nachrena tak bazu ganyat ?

moget prosto

if (update my_table set ... ) = 0 else insert into my_table ....

Поиск по любому будет. А если по кластерному индексу, то будет быстро.
Просто с конструкцией if (update ) я не сталкивался.