... окружностей (цилиндров) в квадрат (коробку) - то есть оптимальный варинт укладки?

Цилиндр впиши в квадрат, а их в коробку

(1) Плотнее будет 6-угольник

предположу что как ни крутись, будет в районе - п/4

(3) не, если не одинаковые, то можно уплотнить

(2) стоимость шестиугольных коробок пожрёт всю оптимизацию

(0) http://youtu.be/nHeZc-EO2RQ

пчелиные соты.

если класть один на другой то будет 4-pi то есть ~85%
но можно окружности класть не одна на другую, а одну окружность в ложбинку между двумя другими..
тогда сколько будет?

(8) гугли про намотку катушек

(8)  в пределе пи/(2sqrt(3))

(10) то бишь ~91%

а как это считается? дайте ссылку на ликбез плиз

(12) Если класть в ложбинки, и принять что в коробку вкладывается M(нечетное) рядов по N(или N-1) кругов, то:
имеем формулу площади коробки: (1+(M-1)*sqrt(3)/2)*N
и площадь кругов pi/4*(M*N-M/2)

Если устремить M и N одновременно к бесконечности, то в пределе отношение площадей будет равно отношению коэф у старших членов полиномов т.е. pi/4/sqrt(3)/2 = 0.91

в деталях могу ошибаться )

(14) спсб.
надо будет на досуге почертить и попробловать хоть ум размять школьной геометрией ;-)