Предполагам, че просто трябва да включите номер на ред с всяка избрана стойност и да ограничите резултатите от броя на редовете, нещо подобно:(не е тествано)
SELECT T0.experiment_id as `id`,
(SELECT SUM(x.value) from
(SELECT value,@rownum := @rownum + 1 AS rownum
FROM data
JOIN (SELECT @rownum := 0) r
WHERE experiment_id = t0.experiment_id
ORDER BY value
) AS x
WHERE x,rownum < t0.clip_index
) AS `sum`
FROM data_clip AS t0
вижте:MySQL - Получаване на номер на ред при избор